Open-ILS/src/perlmods/OpenILS/Application/Vandelay.pm

   1 package OpenILS::Application::Vandelay;
   2 use strict; use warnings;
   3 use OpenILS::Application;
   4 use base qw/OpenILS::Application/;
   5 use Unicode::Normalize;
   6 use OpenSRF::EX qw/:try/;
   7 use OpenSRF::AppSession;
   8 use OpenSRF::Utils::SettingsClient;
   9 use OpenSRF::Utils::Cache;
  10 use OpenILS::Utils::Fieldmapper;
  11 use OpenILS::Utils::CStoreEditor qw/:funcs/;
  12 use MARC::Batch;
  13 use MARC::Record;
  14 use MARC::File::XML;
  15 use OpenILS::Utils::Fieldmapper;
  16 use Time::HiRes qw(time);
  17 use OpenSRF::Utils::Logger qw/$logger/;
  18 use MIME::Base64;
  19 use OpenILS::Const qw/:const/;
  20 use OpenILS::Application::AppUtils;
  21 use OpenILS::Application::Cat::BibCommon;
  22 use OpenILS::Application::Cat::AuthCommon;
  23 use OpenILS::Application::Cat::AssetCommon;
  24 my $U = 'OpenILS::Application::AppUtils';
  25
  26 sub initialize {}
  27 sub child_init {}
  28
  29 # --------------------------------------------------------------------------------
  30 # Biblio ingest
  31
  32 sub create_bib_queue {
  33         my $self = shift;
  34         my $client = shift;
  35         my $auth = shift;
  36         my $name = shift;
  37         my $owner = shift;
  38         my $type = shift;
  39         my $import_def = shift;
  40
  41         my $e = new_editor(authtoken => $auth, xact => 1);
  42
  43         return $e->die_event unless $e->checkauth;
  44         return $e->die_event unless $e->allowed('CREATE_BIB_IMPORT_QUEUE');
  45     $owner ||= $e->requestor->id;
  46
  47     return OpenILS::Event->new('BIB_QUEUE_EXISTS')
  48         if $e->search_vandelay_bib_queue(
  49             {name => $name, owner => $owner, queue_type => $type})->[0];
  50
  51         my $queue = new Fieldmapper::vandelay::bib_queue();
  52         $queue->name( $name );
  53         $queue->owner( $owner );
  54         $queue->queue_type( $type ) if ($type);
  55         $queue->item_attr_def( $import_def ) if ($import_def);
  56
  57         my $new_q = $e->create_vandelay_bib_queue( $queue );
  58         return $e->die_event unless ($new_q);
  59         $e->commit;
  60
  61     return $new_q;
  62 }
  63 __PACKAGE__->register_method(
  64         api_name        => "open-ils.vandelay.bib_queue.create",
  65         method          => "create_bib_queue",
  66         api_level       => 1,
  67         argc            => 4,
  68 );
  69
  70
  71 sub create_auth_queue {
  72         my $self = shift;
  73         my $client = shift;
  74         my $auth = shift;
  75         my $name = shift;
  76         my $owner = shift;
  77         my $type = shift;
  78
  79         my $e = new_editor(authtoken => $auth, xact => 1);
  80
  81         return $e->die_event unless $e->checkauth;
  82         return $e->die_event unless $e->allowed('CREATE_AUTHORITY_IMPORT_QUEUE');
  83     $owner ||= $e->requestor->id;
  84
  85     return OpenILS::Event->new('AUTH_QUEUE_EXISTS')
  86         if $e->search_vandelay_bib_queue(
  87             {name => $name, owner => $owner, queue_type => $type})->[0];
  88
  89         my $queue = new Fieldmapper::vandelay::authority_queue();
  90         $queue->name( $name );
  91         $queue->owner( $owner );
  92         $queue->queue_type( $type ) if ($type);
  93
  94         my $new_q = $e->create_vandelay_authority_queue( $queue );
  95         $e->die_event unless ($new_q);
  96         $e->commit;
  97
  98     return $new_q;
  99 }
 100 __PACKAGE__->register_method(
 101         api_name        => "open-ils.vandelay.authority_queue.create",
 102         method          => "create_auth_queue",
 103         api_level       => 1,
 104         argc            => 3,
 105 );
 106
 107 sub add_record_to_bib_queue {
 108         my $self = shift;
 109         my $client = shift;
 110         my $auth = shift;
 111         my $queue = shift;
 112         my $marc = shift;
 113         my $purpose = shift;
 114     my $bib_source = shift;
 115
 116         my $e = new_editor(authtoken => $auth, xact => 1);
 117
 118         $queue = $e->retrieve_vandelay_bib_queue($queue);
 119
 120         return $e->die_event unless $e->checkauth;
 121         return $e->die_event unless
 122                 ($e->allowed('CREATE_BIB_IMPORT_QUEUE', undef, $queue) ||
 123                  $e->allowed('CREATE_BIB_IMPORT_QUEUE'));
 124
 125         my $new_rec = _add_bib_rec($e, $marc, $queue->id, $purpose, $bib_source);
 126
 127         return $e->die_event unless ($new_rec);
 128         $e->commit;
 129     return $new_rec;
 130 }
 131 __PACKAGE__->register_method(
 132         api_name        => "open-ils.vandelay.queued_bib_record.create",
 133         method          => "add_record_to_bib_queue",
 134         api_level       => 1,
 135         argc            => 3,
 136 );
 137
 138 sub _add_bib_rec {
 139         my $e = shift;
 140         my $marc = shift;
 141         my $queue = shift;
 142         my $purpose = shift;
 143     my $bib_source = shift;
 144
 145         my $rec = new Fieldmapper::vandelay::queued_bib_record();
 146         $rec->marc( $marc );
 147         $rec->queue( $queue );
 148         $rec->purpose( $purpose ) if ($purpose);
 149     $rec->bib_source($bib_source);
 150
 151         return $e->create_vandelay_queued_bib_record( $rec );
 152 }
 153
 154 sub add_record_to_authority_queue {
 155         my $self = shift;
 156         my $client = shift;
 157         my $auth = shift;
 158         my $queue = shift;
 159         my $marc = shift;
 160         my $purpose = shift;
 161
 162         my $e = new_editor(authtoken => $auth, xact => 1);
 163
 164         $queue = $e->retrieve_vandelay_authority_queue($queue);
 165
 166         return $e->die_event unless $e->checkauth;
 167         return $e->die_event unless
 168                 ($e->allowed('CREATE_AUTHORITY_IMPORT_QUEUE', undef, $queue) ||
 169                  $e->allowed('CREATE_AUTHORITY_IMPORT_QUEUE'));
 170
 171         my $new_rec = _add_auth_rec($e, $marc, $queue->id, $purpose);
 172
 173         return $e->die_event unless ($new_rec);
 174         $e->commit;
 175     return $new_rec;
 176 }
 177 __PACKAGE__->register_method(
 178         api_name        => "open-ils.vandelay.queued_authority_record.create",
 179         method          => "add_record_to_authority_queue",
 180         api_level       => 1,
 181         argc            => 3,
 182 );
 183
 184 sub _add_auth_rec {
 185         my $e = shift;
 186         my $marc = shift;
 187         my $queue = shift;
 188     my $purpose = shift;
 189
 190         my $rec = new Fieldmapper::vandelay::queued_authority_record();
 191         $rec->marc( $marc );
 192         $rec->queue( $queue );
 193         $rec->purpose( $purpose ) if ($purpose);
 194
 195         return $e->create_vandelay_queued_authority_record( $rec );
 196 }
 197
 198 sub process_spool {
 199         my $self = shift;
 200         my $client = shift;
 201         my $auth = shift;
 202         my $fingerprint = shift || '';
 203         my $queue_id = shift;
 204     my $purpose = shift;
 205     my $filename = shift;
 206     my $bib_source = shift;
 207
 208         my $e = new_editor(authtoken => $auth, xact => 1);
 209     return $e->die_event unless $e->checkauth;
 210
 211     my $queue;
 212     my $type = $self->{record_type};
 213
 214     if($type eq 'bib') {
 215         $queue = $e->retrieve_vandelay_bib_queue($queue_id) or return $e->die_event;
 216     } else {
 217         $queue = $e->retrieve_vandelay_authority_queue($queue_id) or return $e->die_event;
 218     }
 219
 220     my $evt = check_queue_perms($e, $type, $queue);
 221     return $evt if $evt;
 222
 223         my $method = "open-ils.vandelay.queued_${type}_record.create";
 224         $method = $self->method_lookup( $method );
 225
 226     my $cache = new OpenSRF::Utils::Cache();
 227
 228     if($fingerprint) {
 229         my $data = $cache->get_cache('vandelay_import_spool_' . $fingerprint);
 230             $purpose = $data->{purpose};
 231         $filename = $data->{path};
 232         $bib_source = $data->{bib_source};
 233     }
 234
 235     unless(-r $filename) {
 236         $logger->error("unable to read MARC file $filename");
 237         return -1; # make this an event XXX
 238     }
 239
 240     $logger->info("vandelay spooling $fingerprint purpose=$purpose file=$filename");
 241
 242     my $marctype = 'USMARC';
 243
 244     open F, $filename;
 245     $marctype = 'XML' if (getc(F) =~ /^\D/o);
 246     close F;
 247
 248         my $batch = new MARC::Batch ($marctype, $filename);
 249         $batch->strict_off;
 250
 251         my $response_scale = 10;
 252         my $count = 0;
 253         my $r = -1;
 254         while (try { $r = $batch->next } otherwise { $r = -1 }) {
 255                 if ($r == -1) {
 256                         $logger->warn("Proccessing of record $count in set $filename failed.  Skipping this record");
 257                         $count++;
 258                 }
 259
 260                 $logger->info("processing record $count");
 261
 262                 try {
 263                         (my $xml = $r->as_xml_record()) =~ s/\n//sog;
 264                         $xml =~ s/^<\?xml.+\?\s*>//go;
 265                         $xml =~ s/>\s+</></go;
 266                         $xml =~ s/\p{Cc}//go;
 267                         $xml = $U->entityize($xml);
 268                         $xml =~ s/[\x00-\x1f]//go;
 269
 270             my $qrec;
 271                         if ($type eq 'bib') {
 272                                 $qrec = _add_bib_rec( $e, $xml, $queue_id, $purpose, $bib_source ) or return $e->die_event;
 273                         } else {
 274                                 $qrec = _add_auth_rec( $e, $xml, $queue_id, $purpose ) or return $e->die_event;
 275                         }
 276
 277             if($self->api_name =~ /stream_results/ and $qrec) {
 278                             $client->respond($qrec->id)
 279             } else {
 280                             $client->respond($count) if (++$count % $response_scale) == 0;
 281                             $response_scale *= 10 if ($count == ($response_scale * 10));
 282             }
 283                 } catch Error with {
 284                         my $error = shift;
 285                         $logger->warn("Encountered a bad record at Vandelay ingest: ".$error);
 286                 }
 287         }
 288
 289         $e->commit;
 290     unlink($filename);
 291     $cache->delete_cache('vandelay_import_spool_' . $fingerprint) if $fingerprint;
 292         return $count;
 293 }
 294
 295 __PACKAGE__->register_method(
 296         api_name        => "open-ils.vandelay.bib.process_spool",
 297         method          => "process_spool",
 298         api_level       => 1,
 299         argc            => 3,
 300         record_type     => 'bib'
 301 );
 302 __PACKAGE__->register_method(
 303         api_name        => "open-ils.vandelay.auth.process_spool",
 304         method          => "process_spool",
 305         api_level       => 1,
 306         argc            => 3,
 307         record_type     => 'auth'
 308 );
 309
 310 __PACKAGE__->register_method(
 311         api_name        => "open-ils.vandelay.bib.process_spool.stream_results",
 312         method          => "process_spool",
 313         api_level       => 1,
 314         argc            => 3,
 315         record_type     => 'bib'
 316 );
 317 __PACKAGE__->register_method(
 318         api_name        => "open-ils.vandelay.auth.process_spool.stream_results",
 319         method          => "process_spool",
 320         api_level       => 1,
 321         argc            => 3,
 322         record_type     => 'auth'
 323 );
 324
 325 __PACKAGE__->register_method(
 326         api_name        => "open-ils.vandelay.bib_queue.records.retrieve",
 327         method          => 'retrieve_queued_records',
 328         api_level       => 1,
 329         argc            => 2,
 330     stream      => 1,
 331         record_type     => 'bib'
 332 );
 333 __PACKAGE__->register_method(
 334         api_name        => "open-ils.vandelay.auth_queue.records.retrieve",
 335         method          => 'retrieve_queued_records',
 336         api_level       => 1,
 337         argc            => 2,
 338     stream      => 1,
 339         record_type     => 'auth'
 340 );
 341
 342 __PACKAGE__->register_method(
 343         api_name        => "open-ils.vandelay.bib_queue.records.matches.retrieve",
 344         method          => 'retrieve_queued_records',
 345         api_level       => 1,
 346         argc            => 2,
 347     stream      => 1,
 348         record_type     => 'bib',
 349     signature   => {
 350         desc => q/Only retrieve queued bib records that have matches against existing records/
 351     }
 352 );
 353 __PACKAGE__->register_method(
 354         api_name        => "open-ils.vandelay.auth_queue.records.matches.retrieve",
 355         method          => 'retrieve_queued_records',
 356         api_level       => 1,
 357         argc            => 2,
 358     stream      => 1,
 359         record_type     => 'auth',
 360     signature   => {
 361         desc => q/Only retrieve queued authority records that have matches against existing records/
 362     }
 363
 364 );
 365
 366 sub retrieve_queued_records {
 367     my($self, $conn, $auth, $queue_id, $options) = @_;
 368     my $e = new_editor(authtoken => $auth);
 369     return $e->event unless $e->checkauth;
 370     $options ||= {};
 371     my $limit = $$options{limit} || 20;
 372     my $offset = $$options{offset} || 0;
 373
 374     my $type = $self->{record_type};
 375     my $queue;
 376     if($type eq 'bib') {
 377         $queue = $e->retrieve_vandelay_bib_queue($queue_id) or return $e->die_event;
 378     } else {
 379         $queue = $e->retrieve_vandelay_authority_queue($queue_id) or return $e->die_event;
 380     }
 381     my $evt = check_queue_perms($e, $type, $queue);
 382     return $evt if $evt;
 383
 384     my $class = ($type eq 'bib') ? 'vqbr' : 'vqar';
 385     my $search = ($type eq 'bib') ?
 386         'search_vandelay_queued_bib_record' : 'search_vandelay_queued_authority_record';
 387     my $retrieve = ($type eq 'bib') ?
 388         'retrieve_vandelay_queued_bib_record' : 'retrieve_vandelay_queued_authority_record';
 389
 390     my $filter = ($$options{non_imported}) ? {import_time => undef} : {};
 391
 392     my $record_ids;
 393     if($self->api_name =~ /matches/) {
 394         # fetch only matched records
 395         $record_ids = queued_records_with_matches($e, $type, $queue_id, $limit, $offset, $filter);
 396     } else {
 397         # fetch all queue records
 398         $record_ids = $e->$search([
 399                 {queue => $queue_id, %$filter},
 400                 {order_by => {$class => 'id'}, limit => $limit, offset => $offset}
 401             ],
 402             {idlist => 1}
 403         );
 404     }
 405
 406
 407     for my $rec_id (@$record_ids) {
 408         my $params = {
 409             flesh => 1,
 410             flesh_fields => {$class => ['attributes', 'matches']},
 411         };
 412         my $rec = $e->$retrieve([$rec_id, $params]);
 413         $rec->clear_marc if $$options{clear_marc};
 414         $conn->respond($rec);
 415     }
 416     return undef;
 417 }
 418
 419 sub check_queue_perms {
 420     my($e, $type, $queue) = @_;
 421         if ($type eq 'bib') {
 422                 return $e->die_event unless
 423                         ($e->allowed('CREATE_BIB_IMPORT_QUEUE', undef, $queue) ||
 424                          $e->allowed('CREATE_BIB_IMPORT_QUEUE'));
 425         } else {
 426                 return $e->die_event unless
 427                         ($e->allowed('CREATE_AUTHORITY_IMPORT_QUEUE', undef, $queue) ||
 428                          $e->allowed('CREATE_AUTHORITY_IMPORT_QUEUE'));
 429         }
 430
 431     return undef;
 432 }
 433
 434 __PACKAGE__->register_method(
 435         api_name        => "open-ils.vandelay.bib_record.list.import",
 436         method          => 'import_record_list',
 437         api_level       => 1,
 438         argc            => 2,
 439     stream      => 1,
 440         record_type     => 'bib'
 441 );
 442
 443 __PACKAGE__->register_method(
 444         api_name        => "open-ils.vandelay.auth_record.list.import",
 445         method          => 'import_record_list',
 446         api_level       => 1,
 447         argc            => 2,
 448     stream      => 1,
 449         record_type     => 'auth'
 450 );
 451
 452 sub import_record_list {
 453     my($self, $conn, $auth, $rec_ids, $args) = @_;
 454     my $e = new_editor(authtoken => $auth);
 455     return $e->event unless $e->checkauth;
 456     $args ||= {};
 457     my $err = import_record_list_impl($self, $conn, $rec_ids, $e->requestor, $args);
 458     return $err if $err;
 459     return {complete => 1};
 460 }
 461
 462
 463 __PACKAGE__->register_method(
 464         api_name        => "open-ils.vandelay.bib_queue.import",
 465         method          => 'import_queue',
 466         api_level       => 1,
 467         argc            => 2,
 468     stream      => 1,
 469         record_type     => 'bib'
 470 );
 471
 472 __PACKAGE__->register_method(
 473         api_name        => "open-ils.vandelay.auth_queue.import",
 474         method          => 'import_queue',
 475         api_level       => 1,
 476         argc            => 2,
 477     stream      => 1,
 478         record_type     => 'auth'
 479 );
 480 __PACKAGE__->register_method(
 481         api_name        => "open-ils.vandelay.bib_queue.nomatch.import",
 482         method          => 'import_queue',
 483         api_level       => 1,
 484         argc            => 2,
 485     stream      => 1,
 486     signature   => {
 487         desc => q/Only import records that have no collisions/
 488     },
 489         record_type     => 'bib'
 490 );
 491
 492 __PACKAGE__->register_method(
 493         api_name        => "open-ils.vandelay.auth_queue.nomatch.import",
 494         method          => 'import_queue',
 495         api_level       => 1,
 496         argc            => 2,
 497     stream      => 1,
 498     signature   => {
 499         desc => q/Only import records that have no collisions/
 500     },
 501         record_type     => 'auth'
 502 );
 503 sub import_queue {
 504     my($self, $conn, $auth, $q_id, $options) = @_;
 505     my $e = new_editor(authtoken => $auth);
 506     return $e->event unless $e->checkauth;
 507     $options ||= {};
 508     my $type = $self->{record_type};
 509     my $class = ($type eq 'bib') ? 'vqbr' : 'vqar';
 510
 511     my $query = {queue => $q_id, import_time => undef};
 512
 513     if($self->api_name =~ /nomatch/) {
 514         my $matched_recs = queued_records_with_matches($e, $type, $q_id, undef, undef, {import_time => undef});
 515         $query->{id} = {'not in' => $matched_recs} if @$matched_recs;
 516     }
 517
 518     my $search = ($type eq 'bib') ?
 519         'search_vandelay_queued_bib_record' : 'search_vandelay_queued_authority_record';
 520     my $rec_ids = $e->$search($query, {idlist => 1});
 521     my $err = import_record_list_impl($self, $conn, $rec_ids, $e->requestor, $options);
 522     return $err if $err;
 523     return {complete => 1};
 524 }
 525
 526 # returns a list of queued record IDs for a given queue that
 527 # have at least one entry in the match table
 528 sub queued_records_with_matches {
 529     my($e, $type, $q_id, $limit, $offset, $filter) = @_;
 530
 531     my $match_class = 'vbm';
 532     my $rec_class = 'vqbr';
 533     if($type eq 'auth') {
 534         $match_class = 'vam';
 535          $rec_class = 'vqar';
 536     }
 537
 538     $filter ||= {};
 539     $filter->{queue} = $q_id;
 540
 541     my $query = {
 542         distinct => 1,
 543         select => {$match_class => ['queued_record']},
 544         from => {
 545             $match_class => {
 546                 $rec_class => {
 547                     field => 'id',
 548                     fkey => 'queued_record',
 549                     filter => $filter,
 550                 }
 551             }
 552         }
 553     };
 554
 555     if($limit or defined $offset) {
 556         $limit ||= 20;
 557         $offset ||= 0;
 558         $query->{limit} = $limit;
 559         $query->{offset} = $offset;
 560     }
 561
 562     my $data = $e->json_query($query);
 563     return [ map {$_->{queued_record}} @$data ];
 564 }
 565
 566 sub import_record_list_impl {
 567     my($self, $conn, $rec_ids, $requestor, $args) = @_;
 568
 569     my $overlay_map = $args->{overlay_map} || {};
 570     my $type = $self->{record_type};
 571     my $total = @$rec_ids;
 572     my $count = 0;
 573     my %queues;
 574     my @ingest_queue;
 575     my $auto_overlay_exact = $$args{auto_overlay_exact};
 576     my $auto_overlay_1match = $$args{auto_overlay_1match};
 577     my $merge_profile = $$args{merge_profile};
 578     my $bib_source = $$args{bib_source};
 579
 580     my $overlay_func = 'vandelay.overlay_bib_record';
 581     my $auto_overlay_func = 'vandelay.auto_overlay_bib_record';
 582     my $retrieve_func = 'retrieve_vandelay_queued_bib_record';
 583     my $update_func = 'update_vandelay_queued_bib_record';
 584     my $search_func = 'search_vandelay_queued_bib_record';
 585     my $retrieve_queue_func = 'retrieve_vandelay_bib_queue';
 586     my $update_queue_func = 'update_vandelay_bib_queue';
 587     my $rec_class = 'vqbr';
 588
 589     if($type eq 'auth') {
 590         $overlay_func =~ s/bib/auth/o;
 591         $auto_overlay_func = s/bib/auth/o;
 592         $retrieve_func =~ s/bib/authority/o;
 593         $retrieve_queue_func =~ s/bib/authority/o;
 594         $update_queue_func =~ s/bib/authority/o;
 595         $update_func =~ s/bib/authority/o;
 596         $search_func =~ s/bib/authority/o;
 597         $rec_class = 'vqar';
 598     }
 599
 600     my $ingest_ses = OpenSRF::AppSession->connect('open-ils.ingest');
 601
 602     for my $rec_id (@$rec_ids) {
 603
 604         my $overlay_target = $overlay_map->{$rec_id};
 605
 606         my $e = new_editor(xact => 1);
 607         $e->requestor($requestor);
 608
 609         my $rec = $e->$retrieve_func([
 610             $rec_id,
 611             {   flesh => 1,
 612                 flesh_fields => { $rec_class => ['matches']},
 613             }
 614         ]);
 615
 616         unless($rec) {
 617             $conn->respond({total => $total, progress => ++$count, imported => $rec_id, err_event => $e->die_event});
 618             $e->rollback;
 619             next;
 620         }
 621
 622         if($rec->import_time) {
 623             $e->rollback;
 624             next;
 625         }
 626
 627         $queues{$rec->queue} = 1;
 628
 629         my $record;
 630         my $imported = 0;
 631
 632         if(defined $overlay_target) {
 633             # Caller chose an explicit overlay target
 634
 635             my $res = $e->json_query(
 636                 {
 637                     from => [
 638                         $overlay_func,
 639                         $rec->id,
 640                         $overlay_target,
 641                         $merge_profile
 642                     ]
 643                 }
 644             )->[0];
 645
 646             if($res->{$overlay_func} eq 't') {
 647                 $logger->info("vl: $type direct overlay succeeded for queued rec " .
 648                     $rec->id . " and overlay target $overlay_target");
 649                 $imported = 1;
 650             }
 651
 652         } else {
 653
 654             if($auto_overlay_1match) {
 655                 # caller says to overlay if there is exactly 1 match
 656
 657                 my %match_recs = map { $_->eg_record => 1 } @{$rec->matches};
 658
 659                 if( scalar(keys %match_recs) == 1) { # all matches point to the same record
 660
 661                     my $res = $e->json_query(
 662                         {
 663                             from => [
 664                                 $overlay_func,
 665                                 $rec->id,
 666                                 $rec->matches->[0]->eg_record,
 667                                 $merge_profile
 668                             ]
 669                         }
 670                     )->[0];
 671
 672                     if($res->{$overlay_func} eq 't') {
 673                         $logger->info("vl: $type overlay-1match succeeded for queued rec " . $rec->id);
 674                         $imported = 1;
 675                     }
 676                 }
 677             }
 678
 679             if(!$imported and $auto_overlay_exact and scalar(@{$rec->matches}) == 1 ) {
 680
 681                 # caller says to overlay if there is an /exact/ match
 682
 683                 my $res = $e->json_query(
 684                     {
 685                         from => [
 686                             $auto_overlay_func,
 687                             $rec->id,
 688                             $merge_profile
 689                         ]
 690                     }
 691                 )->[0];
 692
 693                 if($res->{$auto_overlay_func} eq 't') {
 694                     $logger->info("vl: $type auto-overlay succeeded for queued rec " . $rec->id);
 695                     $imported = 1;
 696                 }
 697             }
 698
 699             if(!$imported) {
 700
 701                 # No overlay / merge occured.  Do a traditional record import by creating a new record
 702
 703                 if($type eq 'bib') {
 704                     $record = OpenILS::Application::Cat::BibCommon->biblio_record_xml_import($e, $rec->marc); #$rec->bib_source
 705
 706                 } else {
 707
 708                     $record = OpenILS::Application::Cat::AuthCommon->import_authority_record($e, $rec->marc); #$source);
 709                     push @ingest_queue, {
 710                         req => $ingest_ses->request('open-ils.ingest.full.authority.record', $record->id),
 711                         rec_id => $record->id
 712                     };
 713                 }
 714
 715                 if($U->event_code($record)) {
 716
 717                     $e->event($record);
 718
 719                 } else {
 720
 721                     $logger->info("vl: successfully importid new $type record");
 722                     $rec->imported_as($record->id);
 723                     $rec->import_time('now');
 724
 725                     $imported = 1 if $e->$update_func($rec);
 726                 }
 727             }
 728         }
 729
 730         if($imported) {
 731
 732             $e->commit;
 733             $conn->respond({total => $total, progress => ++$count, imported => $rec_id});
 734
 735         } else {
 736
 737             $e->rollback;
 738             $conn->respond({total => $total, progress => ++$count, imported => $rec_id, err_event => $e->die_event});
 739         }
 740
 741         $conn->respond({total => $total, progress => $count, imported => $rec_id}) if (++$count % 10) == 0;
 742     }
 743
 744     # see if we need to mark any queues as complete
 745     my $e = new_editor(xact => 1);
 746     for my $q_id (keys %queues) {
 747
 748         my $remaining = $e->$search_func(
 749             [{queue => $q_id, import_time => undef}, {limit =>1}], {idlist => 1});
 750
 751         unless(@$remaining) {
 752             my $queue = $e->$retrieve_queue_func($q_id);
 753
 754             unless($U->is_true($queue->complete)) {
 755                 $queue->complete('t');
 756                 $e->$update_queue_func($queue) or return $e->die_event;
 757                 $e->commit;
 758                 last
 759             }
 760
 761         }
 762     }
 763     $e->rollback;
 764
 765     $count = 0;
 766     for my $ingest (@ingest_queue) {
 767         try { $ingest->{req}->gather(1); } otherwise {};
 768         $conn->respond({total => $total, progress => $count, imported => $ingest->{rec_id}}) if (++$count % 10) == 0;
 769     }
 770
 771     $ingest_ses->disconnect();
 772     return undef;
 773 }
 774
 775
 776 __PACKAGE__->register_method(
 777         api_name        => "open-ils.vandelay.bib_queue.owner.retrieve",
 778         method          => 'owner_queue_retrieve',
 779         api_level       => 1,
 780         argc            => 2,
 781     stream      => 1,
 782         record_type     => 'bib'
 783 );
 784 __PACKAGE__->register_method(
 785         api_name        => "open-ils.vandelay.authority_queue.owner.retrieve",
 786         method          => 'owner_queue_retrieve',
 787         api_level       => 1,
 788         argc            => 2,
 789     stream      => 1,
 790         record_type     => 'auth'
 791 );
 792
 793 sub owner_queue_retrieve {
 794     my($self, $conn, $auth, $owner_id, $filters) = @_;
 795     my $e = new_editor(authtoken => $auth);
 796     return $e->die_event unless $e->checkauth;
 797     $owner_id = $e->requestor->id; # XXX add support for viewing other's queues?
 798     my $queues;
 799     $filters ||= {};
 800     my $search = {owner => $owner_id};
 801     $search->{$_} = $filters->{$_} for keys %$filters;
 802
 803     if($self->{record_type} eq 'bib') {
 804         $queues = $e->search_vandelay_bib_queue(
 805             [$search, {order_by => {vbq => 'lower(name)'}}]);
 806     } else {
 807         $queues = $e->search_vandelay_authority_queue(
 808             [$search, {order_by => {vaq => 'lower(name)'}}]);
 809     }
 810     $conn->respond($_) for @$queues;
 811     return undef;
 812 }
 813
 814 __PACKAGE__->register_method(
 815         api_name        => "open-ils.vandelay.bib_queue.delete",
 816         method          => "delete_queue",
 817         api_level       => 1,
 818         argc            => 2,
 819         record_type     => 'bib'
 820 );
 821 __PACKAGE__->register_method(
 822         api_name        => "open-ils.vandelay.auth_queue.delete",
 823         method          => "delete_queue",
 824         api_level       => 1,
 825         argc            => 2,
 826         record_type     => 'auth'
 827 );
 828
 829 sub delete_queue {
 830     my($self, $conn, $auth, $q_id) = @_;
 831     my $e = new_editor(xact => 1, authtoken => $auth);
 832     return $e->die_event unless $e->checkauth;
 833     if($self->{record_type} eq 'bib') {
 834             return $e->die_event unless $e->allowed('CREATE_BIB_IMPORT_QUEUE');
 835         my $queue = $e->retrieve_vandelay_bib_queue($q_id)
 836             or return $e->die_event;
 837         $e->delete_vandelay_bib_queue($queue)
 838             or return $e->die_event;
 839     } else {
 840             return $e->die_event unless $e->allowed('CREATE_AUTHORITY_IMPORT_QUEUE');
 841         my $queue = $e->retrieve_vandelay_authority_queue($q_id)
 842             or return $e->die_event;
 843         $e->delete_vandelay_authority_queue($queue)
 844             or return $e->die_event;
 845     }
 846     $e->commit;
 847     return 1;
 848 }
 849
 850
 851 __PACKAGE__->register_method(
 852         api_name        => "open-ils.vandelay.queued_bib_record.html",
 853         method          => 'queued_record_html',
 854         api_level       => 1,
 855         argc            => 2,
 856     stream      => 1,
 857         record_type     => 'bib'
 858 );
 859 __PACKAGE__->register_method(
 860         api_name        => "open-ils.vandelay.queued_authority_record.html",
 861         method          => 'queued_record_html',
 862         api_level       => 1,
 863         argc            => 2,
 864     stream      => 1,
 865         record_type     => 'auth'
 866 );
 867
 868 sub queued_record_html {
 869     my($self, $conn, $auth, $rec_id) = @_;
 870     my $e = new_editor(authtoken => $auth);
 871     return $e->event unless $e->checkauth;
 872     my $rec;
 873     if($self->{record_type} eq 'bib') {
 874         $rec = $e->retrieve_vandelay_queued_bib_record($rec_id)
 875             or return $e->event;
 876     } else {
 877         $rec = $e->retrieve_vandelay_queued_authority_record($rec_id)
 878             or return $e->event;
 879     }
 880
 881     return $U->simplereq(
 882         'open-ils.search',
 883         'open-ils.search.biblio.record.html', undef, 1, $rec->marc);
 884 }
 885
 886
 887 __PACKAGE__->register_method(
 888         api_name        => "open-ils.vandelay.bib_queue.summary.retrieve",
 889         method          => 'retrieve_queue_summary',
 890         api_level       => 1,
 891         argc            => 2,
 892     stream      => 1,
 893         record_type     => 'bib'
 894 );
 895 __PACKAGE__->register_method(
 896         api_name        => "open-ils.vandelay.auth_queue.summary.retrieve",
 897         method          => 'retrieve_queue_summary',
 898         api_level       => 1,
 899         argc            => 2,
 900     stream      => 1,
 901         record_type     => 'auth'
 902 );
 903
 904 sub retrieve_queue_summary {
 905     my($self, $conn, $auth, $queue_id) = @_;
 906     my $e = new_editor(authtoken => $auth);
 907     return $e->event unless $e->checkauth;
 908
 909     my $queue;
 910     my $type = $self->{record_type};
 911     if($type eq 'bib') {
 912         $queue = $e->retrieve_vandelay_bib_queue($queue_id)
 913             or return $e->event;
 914     } else {
 915         $queue = $e->retrieve_vandelay_authority_queue($queue_id)
 916             or return $e->event;
 917     }
 918
 919     my $evt = check_queue_perms($e, $type, $queue);
 920     return $evt if $evt;
 921
 922     my $search = 'search_vandelay_queued_bib_record';
 923     $search =~ s/bib/authority/ if $type ne 'bib';
 924
 925     return {
 926         queue => $queue,
 927         total => scalar(@{$e->$search({queue => $queue_id}, {idlist=>1})}),
 928         imported => scalar(@{$e->$search({queue => $queue_id, import_time => {'!=' => undef}}, {idlist=>1})}),
 929     };
 930 }
 931
 932
 933 __PACKAGE__->register_method(
 934         api_name        => "open-ils.vandelay.bib_record.list.asset.import",
 935         method          => 'import_record_list_assets',
 936         api_level       => 1,
 937         argc            => 2,
 938     stream      => 1,
 939         record_type     => 'bib'
 940 );
 941 __PACKAGE__->register_method(
 942         api_name        => "open-ils.vandelay.bib_record.queue.asset.import",
 943         method          => 'import_record_queue_assets',
 944         api_level       => 1,
 945         argc            => 2,
 946     stream      => 1,
 947         record_type     => 'bib'
 948 );
 949
 950 sub import_record_list_assets {
 951     my($self, $conn, $auth, $import_def, $rec_ids) = @_;
 952     my $e = new_editor(authtoken => $auth);
 953     return $e->event unless $e->checkauth;
 954     my $err = import_record_asset_list_impl($conn, $import_def, $rec_ids, $e->requestor);
 955     return $err if $err;
 956     return {complete => 1};
 957 }
 958
 959 sub import_record_queue_assets {
 960     my($self, $conn, $auth, $import_def, $q_id) = @_;
 961     my $e = new_editor(authtoken => $auth);
 962     return $e->event unless $e->checkauth;
 963     my $rec_ids = $e->search_vandelay_queued_bib_record(
 964         {queue => $q_id, import_time => {'!=' => undef}}, {idlist => 1});
 965     my $err = import_record_asset_list_impl($conn, $import_def, $rec_ids, $e->requestor);
 966     return $err if $err;
 967     return {complete => 1};
 968 }
 969
 970 # --------------------------------------------------------------------------------
 971 # Given a list of queued record IDs, imports all items attached to those records
 972 # --------------------------------------------------------------------------------
 973 sub import_record_asset_list_impl {
 974     my($conn, $import_def, $rec_ids, $requestor) = @_;
 975
 976     my $total = @$rec_ids;
 977     my $try_count = 0;
 978     my $in_count = 0;
 979     my $roe = new_editor(requestor => $requestor);
 980
 981     for my $rec_id (@$rec_ids) {
 982         my $rec = $roe->retrieve_vandelay_queued_bib_record($rec_id);
 983         next unless $rec and $rec->import_time;
 984         my $item_ids = $roe->search_vandelay_import_item({definition => $import_def, record => $rec->id}, {idlist=>1});
 985
 986         for my $item_id (@$item_ids) {
 987             my $e = new_editor(requestor => $requestor, xact => 1);
 988             my $item = $e->retrieve_vandelay_import_item($item_id);
 989             $try_count++;
 990
 991             # --------------------------------------------------------------------------------
 992             # Find or create the volume
 993             # --------------------------------------------------------------------------------
 994             my ($vol, $evt) =
 995                 OpenILS::Application::Cat::AssetCommon->find_or_create_volume(
 996                     $e, $item->call_number, $rec->imported_as, $item->owning_lib);
 997
 998             if($evt) {
 999                 respond_with_status($conn, $total, $try_count, $in_count, $evt);
1000                 $e->rollback;
1001                 next;
1002             }
1003
1004             # --------------------------------------------------------------------------------
1005             # Create the new copy
1006             # --------------------------------------------------------------------------------
1007             my $copy = Fieldmapper::asset::copy->new;
1008             $copy->loan_duration(2);
1009             $copy->fine_level(2);
1010             $copy->barcode($item->barcode);
1011             $copy->location($item->location);
1012             $copy->circ_lib($item->circ_lib || $item->owning_lib);
1013             $copy->status($item->status || OILS_COPY_STATUS_IN_PROCESS);
1014             $copy->circulate($item->circulate);
1015             $copy->deposit($item->deposit);
1016             $copy->deposit_amount($item->deposit_amount);
1017             $copy->ref($item->ref);
1018             $copy->holdable($item->holdable);
1019             $copy->price($item->price);
1020             $copy->circ_as_type($item->circ_as_type);
1021             $copy->alert_message($item->alert_message);
1022             $copy->opac_visible($item->opac_visible);
1023             $copy->circ_modifier($item->circ_modifier);
1024
1025             # --------------------------------------------------------------------------------
1026             # see if a valid circ_modifier was provided
1027             # --------------------------------------------------------------------------------
1028             #if($copy->circ_modifier and not $e->retrieve_config_circ_modifier($item->circ_modifier)) {
1029             if($copy->circ_modifier and not $e->search_config_circ_modifier({code=>$item->circ_modifier})->[0]) {
1030                 respond_with_status($conn, $total, $try_count, $in_count, $e->die_event);
1031                 $e->rollback;
1032                 next;
1033             }
1034
1035             if($evt = OpenILS::Application::Cat::AssetCommon->create_copy($e, $vol, $copy)) {
1036                 $e->rollback;
1037                 respond_with_status($conn, $total, $try_count, $in_count, $evt);
1038                 next;
1039             }
1040
1041             # --------------------------------------------------------------------------------
1042             # create copy notes
1043             # --------------------------------------------------------------------------------
1044             $evt = OpenILS::Application::Cat::AssetCommon->create_copy_note(
1045                 $e, $copy, '', $item->pub_note, 1) if $item->pub_note;
1046
1047             if($evt) {
1048                 respond_with_status($conn, $total, $try_count, $in_count, $evt);
1049                 $e->rollback;
1050                 next;
1051             }
1052
1053             $evt = OpenILS::Application::Cat::AssetCommon->create_copy_note(
1054                 $e, $copy, '', $item->priv_note, 1) if $item->priv_note;
1055
1056             if($evt) {
1057                 respond_with_status($conn, $total, $try_count, $in_count, $evt);
1058                 $e->rollback;
1059                 next;
1060             }
1061
1062             # --------------------------------------------------------------------------------
1063             # Item import succeeded
1064             # --------------------------------------------------------------------------------
1065             $e->commit;
1066             respond_with_status($conn, $total, $try_count, ++$in_count, undef, imported_as => $copy->id);
1067         }
1068     }
1069     return undef;
1070 }
1071
1072
1073 sub respond_with_status {
1074     my($conn, $total, $try_count, $success_count, $err, %args) = @_;
1075     $conn->respond({
1076         total => $total,
1077         progress => $try_count,
1078         err_event => $err,
1079         success_count => $success_count, %args }) if $err or ($try_count % 5 == 0);
1080 }
1081
1082
1083 1;