Open-ILS/src/perlmods/OpenILS/Application/Vandelay.pm

   1 package OpenILS::Application::Vandelay;
   2 use strict; use warnings;
   3 use OpenILS::Application;
   4 use base qw/OpenILS::Application/;
   5 use Unicode::Normalize;
   6 use OpenSRF::EX qw/:try/;
   7 use OpenSRF::AppSession;
   8 use OpenSRF::Utils::SettingsClient;
   9 use OpenSRF::Utils::Cache;
  10 use OpenILS::Utils::Fieldmapper;
  11 use OpenILS::Utils::CStoreEditor qw/:funcs/;
  12 use MARC::Batch;
  13 use MARC::Record;
  14 use MARC::File::XML;
  15 use OpenILS::Utils::Fieldmapper;
  16 use Time::HiRes qw(time);
  17 use OpenSRF::Utils::Logger qw/$logger/;
  18 use MIME::Base64;
  19 use OpenILS::Const qw/:const/;
  20 use OpenILS::Application::AppUtils;
  21 use OpenILS::Application::Cat::BibCommon;
  22 use OpenILS::Application::Cat::AuthCommon;
  23 use OpenILS::Application::Cat::AssetCommon;
  24 my $U = 'OpenILS::Application::AppUtils';
  25
  26 sub initialize {}
  27 sub child_init {}
  28
  29 # --------------------------------------------------------------------------------
  30 # Biblio ingest
  31
  32 sub create_bib_queue {
  33         my $self = shift;
  34         my $client = shift;
  35         my $auth = shift;
  36         my $name = shift;
  37         my $owner = shift;
  38         my $type = shift;
  39         my $import_def = shift;
  40
  41         my $e = new_editor(authtoken => $auth, xact => 1);
  42
  43         return $e->die_event unless $e->checkauth;
  44         return $e->die_event unless $e->allowed('CREATE_BIB_IMPORT_QUEUE');
  45     $owner ||= $e->requestor->id;
  46
  47     return OpenILS::Event->new('BIB_QUEUE_EXISTS')
  48         if $e->search_vandelay_bib_queue(
  49             {name => $name, owner => $owner, queue_type => $type})->[0];
  50
  51         my $queue = new Fieldmapper::vandelay::bib_queue();
  52         $queue->name( $name );
  53         $queue->owner( $owner );
  54         $queue->queue_type( $type ) if ($type);
  55         $queue->item_attr_def( $import_def ) if ($import_def);
  56
  57         my $new_q = $e->create_vandelay_bib_queue( $queue );
  58         return $e->die_event unless ($new_q);
  59         $e->commit;
  60
  61     return $new_q;
  62 }
  63 __PACKAGE__->register_method(
  64         api_name        => "open-ils.vandelay.bib_queue.create",
  65         method          => "create_bib_queue",
  66         api_level       => 1,
  67         argc            => 4,
  68 );
  69
  70
  71 sub create_auth_queue {
  72         my $self = shift;
  73         my $client = shift;
  74         my $auth = shift;
  75         my $name = shift;
  76         my $owner = shift;
  77         my $type = shift;
  78
  79         my $e = new_editor(authtoken => $auth, xact => 1);
  80
  81         return $e->die_event unless $e->checkauth;
  82         return $e->die_event unless $e->allowed('CREATE_AUTHORITY_IMPORT_QUEUE');
  83     $owner ||= $e->requestor->id;
  84
  85     return OpenILS::Event->new('AUTH_QUEUE_EXISTS')
  86         if $e->search_vandelay_bib_queue(
  87             {name => $name, owner => $owner, queue_type => $type})->[0];
  88
  89         my $queue = new Fieldmapper::vandelay::authority_queue();
  90         $queue->name( $name );
  91         $queue->owner( $owner );
  92         $queue->queue_type( $type ) if ($type);
  93
  94         my $new_q = $e->create_vandelay_authority_queue( $queue );
  95         $e->die_event unless ($new_q);
  96         $e->commit;
  97
  98     return $new_q;
  99 }
 100 __PACKAGE__->register_method(
 101         api_name        => "open-ils.vandelay.authority_queue.create",
 102         method          => "create_auth_queue",
 103         api_level       => 1,
 104         argc            => 3,
 105 );
 106
 107 sub add_record_to_bib_queue {
 108         my $self = shift;
 109         my $client = shift;
 110         my $auth = shift;
 111         my $queue = shift;
 112         my $marc = shift;
 113         my $purpose = shift;
 114     my $bib_source = shift;
 115
 116         my $e = new_editor(authtoken => $auth, xact => 1);
 117
 118         $queue = $e->retrieve_vandelay_bib_queue($queue);
 119
 120         return $e->die_event unless $e->checkauth;
 121         return $e->die_event unless
 122                 ($e->allowed('CREATE_BIB_IMPORT_QUEUE', undef, $queue) ||
 123                  $e->allowed('CREATE_BIB_IMPORT_QUEUE'));
 124
 125         my $new_rec = _add_bib_rec($e, $marc, $queue->id, $purpose, $bib_source);
 126
 127         return $e->die_event unless ($new_rec);
 128         $e->commit;
 129     return $new_rec;
 130 }
 131 __PACKAGE__->register_method(
 132         api_name        => "open-ils.vandelay.queued_bib_record.create",
 133         method          => "add_record_to_bib_queue",
 134         api_level       => 1,
 135         argc            => 3,
 136 );
 137
 138 sub _add_bib_rec {
 139         my $e = shift;
 140         my $marc = shift;
 141         my $queue = shift;
 142         my $purpose = shift;
 143     my $bib_source = shift;
 144
 145         my $rec = new Fieldmapper::vandelay::queued_bib_record();
 146         $rec->marc( $marc );
 147         $rec->queue( $queue );
 148         $rec->purpose( $purpose ) if ($purpose);
 149     $rec->bib_source($bib_source);
 150
 151         return $e->create_vandelay_queued_bib_record( $rec );
 152 }
 153
 154 sub add_record_to_authority_queue {
 155         my $self = shift;
 156         my $client = shift;
 157         my $auth = shift;
 158         my $queue = shift;
 159         my $marc = shift;
 160         my $purpose = shift;
 161
 162         my $e = new_editor(authtoken => $auth, xact => 1);
 163
 164         $queue = $e->retrieve_vandelay_authority_queue($queue);
 165
 166         return $e->die_event unless $e->checkauth;
 167         return $e->die_event unless
 168                 ($e->allowed('CREATE_AUTHORITY_IMPORT_QUEUE', undef, $queue) ||
 169                  $e->allowed('CREATE_AUTHORITY_IMPORT_QUEUE'));
 170
 171         my $new_rec = _add_auth_rec($e, $marc, $queue->id, $purpose);
 172
 173         return $e->die_event unless ($new_rec);
 174         $e->commit;
 175     return $new_rec;
 176 }
 177 __PACKAGE__->register_method(
 178         api_name        => "open-ils.vandelay.queued_authority_record.create",
 179         method          => "add_record_to_authority_queue",
 180         api_level       => 1,
 181         argc            => 3,
 182 );
 183
 184 sub _add_auth_rec {
 185         my $e = shift;
 186         my $marc = shift;
 187         my $queue = shift;
 188     my $purpose = shift;
 189
 190         my $rec = new Fieldmapper::vandelay::queued_authority_record();
 191         $rec->marc( $marc );
 192         $rec->queue( $queue );
 193         $rec->purpose( $purpose ) if ($purpose);
 194
 195         return $e->create_vandelay_queued_authority_record( $rec );
 196 }
 197
 198 sub process_spool {
 199         my $self = shift;
 200         my $client = shift;
 201         my $auth = shift;
 202         my $fingerprint = shift;
 203         my $queue_id = shift;
 204
 205         my $e = new_editor(authtoken => $auth, xact => 1);
 206     return $e->die_event unless $e->checkauth;
 207
 208     my $queue;
 209     my $type = $self->{record_type};
 210
 211     if($type eq 'bib') {
 212         $queue = $e->retrieve_vandelay_bib_queue($queue_id) or return $e->die_event;
 213     } else {
 214         $queue = $e->retrieve_vandelay_authority_queue($queue_id) or return $e->die_event;
 215     }
 216
 217     my $evt = check_queue_perms($e, $type, $queue);
 218     return $evt if $evt;
 219
 220         my $method = "open-ils.vandelay.queued_${type}_record.create";
 221         $method = $self->method_lookup( $method );
 222
 223     my $cache = new OpenSRF::Utils::Cache();
 224
 225     my $data = $cache->get_cache('vandelay_import_spool_' . $fingerprint);
 226         my $purpose = $data->{purpose};
 227     my $filename = $data->{path};
 228     my $bib_source = $data->{bib_source};
 229
 230     unless(-r $filename) {
 231         $logger->error("unable to read MARC file $filename");
 232         return -1; # make this an event XXX
 233     }
 234
 235     $logger->info("vandelay spooling $fingerprint purpose=$purpose file=$filename");
 236
 237     my $marctype = 'USMARC';
 238
 239     open F, $filename;
 240     $marctype = 'XML' if (getc(F) =~ /^\D/o);
 241     close F;
 242
 243         my $batch = new MARC::Batch ($marctype, $filename);
 244         $batch->strict_off;
 245
 246         my $count = 0;
 247         my $r = -1;
 248         while (try { $r = $batch->next } otherwise { $r = -1 }) {
 249                 if ($r == -1) {
 250                         $logger->warn("Proccessing of record $count in set $fingerprint failed.  Skipping this record");
 251                         $count++;
 252                 }
 253
 254                 $logger->info("processing record $count");
 255
 256                 try {
 257                         (my $xml = $r->as_xml_record()) =~ s/\n//sog;
 258                         $xml =~ s/^<\?xml.+\?\s*>//go;
 259                         $xml =~ s/>\s+</></go;
 260                         $xml =~ s/\p{Cc}//go;
 261                         $xml = $U->entityize($xml);
 262                         $xml =~ s/[\x00-\x1f]//go;
 263
 264                         if ($type eq 'bib') {
 265                                 _add_bib_rec( $e, $xml, $queue_id, $purpose, $bib_source ) or return $e->die_event;
 266                         } else {
 267                                 _add_auth_rec( $e, $xml, $queue_id, $purpose ) or return $e->die_event;
 268                         }
 269                         $client->respond($count) if (++$count % 10) == 0;
 270                 } catch Error with {
 271                         my $error = shift;
 272                         $logger->warn("Encountered a bad record at Vandelay ingest: ".$error);
 273                 }
 274         }
 275
 276         $e->commit;
 277     unlink($filename);
 278     $cache->delete_cache('vandelay_import_spool_' . $fingerprint);
 279         return undef;
 280 }
 281
 282 __PACKAGE__->register_method(
 283         api_name        => "open-ils.vandelay.bib.process_spool",
 284         method          => "process_spool",
 285         api_level       => 1,
 286         argc            => 3,
 287         record_type     => 'bib'
 288 );
 289 __PACKAGE__->register_method(
 290         api_name        => "open-ils.vandelay.auth.process_spool",
 291         method          => "process_spool",
 292         api_level       => 1,
 293         argc            => 3,
 294         record_type     => 'auth'
 295 );
 296
 297
 298 __PACKAGE__->register_method(
 299         api_name        => "open-ils.vandelay.bib_queue.records.retrieve",
 300         method          => 'retrieve_queued_records',
 301         api_level       => 1,
 302         argc            => 2,
 303     stream      => 1,
 304         record_type     => 'bib'
 305 );
 306 __PACKAGE__->register_method(
 307         api_name        => "open-ils.vandelay.auth_queue.records.retrieve",
 308         method          => 'retrieve_queued_records',
 309         api_level       => 1,
 310         argc            => 2,
 311     stream      => 1,
 312         record_type     => 'auth'
 313 );
 314
 315 __PACKAGE__->register_method(
 316         api_name        => "open-ils.vandelay.bib_queue.records.matches.retrieve",
 317         method          => 'retrieve_queued_records',
 318         api_level       => 1,
 319         argc            => 2,
 320     stream      => 1,
 321         record_type     => 'bib',
 322     signature   => {
 323         desc => q/Only retrieve queued bib records that have matches against existing records/
 324     }
 325 );
 326 __PACKAGE__->register_method(
 327         api_name        => "open-ils.vandelay.auth_queue.records.matches.retrieve",
 328         method          => 'retrieve_queued_records',
 329         api_level       => 1,
 330         argc            => 2,
 331     stream      => 1,
 332         record_type     => 'auth',
 333     signature   => {
 334         desc => q/Only retrieve queued authority records that have matches against existing records/
 335     }
 336
 337 );
 338
 339 sub retrieve_queued_records {
 340     my($self, $conn, $auth, $queue_id, $options) = @_;
 341     my $e = new_editor(authtoken => $auth);
 342     return $e->event unless $e->checkauth;
 343     $options ||= {};
 344     my $limit = $$options{limit} || 20;
 345     my $offset = $$options{offset} || 0;
 346
 347     my $type = $self->{record_type};
 348     my $queue;
 349     if($type eq 'bib') {
 350         $queue = $e->retrieve_vandelay_bib_queue($queue_id) or return $e->die_event;
 351     } else {
 352         $queue = $e->retrieve_vandelay_authority_queue($queue_id) or return $e->die_event;
 353     }
 354     my $evt = check_queue_perms($e, $type, $queue);
 355     return $evt if $evt;
 356
 357     my $class = ($type eq 'bib') ? 'vqbr' : 'vqar';
 358     my $search = ($type eq 'bib') ?
 359         'search_vandelay_queued_bib_record' : 'search_vandelay_queued_authority_record';
 360     my $retrieve = ($type eq 'bib') ?
 361         'retrieve_vandelay_queued_bib_record' : 'retrieve_vandelay_queued_authority_record';
 362
 363     my $filter = ($$options{non_imported}) ? {import_time => undef} : {};
 364
 365     my $record_ids;
 366     if($self->api_name =~ /matches/) {
 367         # fetch only matched records
 368         $record_ids = queued_records_with_matches($e, $type, $queue_id, $limit, $offset, $filter);
 369     } else {
 370         # fetch all queue records
 371         $record_ids = $e->$search([
 372                 {queue => $queue_id, %$filter},
 373                 {order_by => {$class => 'id'}, limit => $limit, offset => $offset}
 374             ],
 375             {idlist => 1}
 376         );
 377     }
 378
 379
 380     for my $rec_id (@$record_ids) {
 381         my $params = {
 382             flesh => 1,
 383             flesh_fields => {$class => ['attributes', 'matches']},
 384         };
 385         my $rec = $e->$retrieve([$rec_id, $params]);
 386         $rec->clear_marc if $$options{clear_marc};
 387         $conn->respond($rec);
 388     }
 389     return undef;
 390 }
 391
 392 sub check_queue_perms {
 393     my($e, $type, $queue) = @_;
 394         if ($type eq 'bib') {
 395                 return $e->die_event unless
 396                         ($e->allowed('CREATE_BIB_IMPORT_QUEUE', undef, $queue) ||
 397                          $e->allowed('CREATE_BIB_IMPORT_QUEUE'));
 398         } else {
 399                 return $e->die_event unless
 400                         ($e->allowed('CREATE_AUTHORITY_IMPORT_QUEUE', undef, $queue) ||
 401                          $e->allowed('CREATE_AUTHORITY_IMPORT_QUEUE'));
 402         }
 403
 404     return undef;
 405 }
 406
 407 __PACKAGE__->register_method(
 408         api_name        => "open-ils.vandelay.bib_record.list.import",
 409         method          => 'import_record_list',
 410         api_level       => 1,
 411         argc            => 2,
 412     stream      => 1,
 413         record_type     => 'bib'
 414 );
 415
 416 __PACKAGE__->register_method(
 417         api_name        => "open-ils.vandelay.auth_record.list.import",
 418         method          => 'import_record_list',
 419         api_level       => 1,
 420         argc            => 2,
 421     stream      => 1,
 422         record_type     => 'auth'
 423 );
 424
 425 sub import_record_list {
 426     my($self, $conn, $auth, $rec_ids, $args) = @_;
 427     my $e = new_editor(authtoken => $auth);
 428     return $e->event unless $e->checkauth;
 429     $args ||= {};
 430     my $err = import_record_list_impl($self, $conn, $rec_ids, $e->requestor, $args);
 431     return $err if $err;
 432     return {complete => 1};
 433 }
 434
 435
 436 __PACKAGE__->register_method(
 437         api_name        => "open-ils.vandelay.bib_queue.import",
 438         method          => 'import_queue',
 439         api_level       => 1,
 440         argc            => 2,
 441     stream      => 1,
 442         record_type     => 'bib'
 443 );
 444
 445 __PACKAGE__->register_method(
 446         api_name        => "open-ils.vandelay.auth_queue.import",
 447         method          => 'import_queue',
 448         api_level       => 1,
 449         argc            => 2,
 450     stream      => 1,
 451         record_type     => 'auth'
 452 );
 453 __PACKAGE__->register_method(
 454         api_name        => "open-ils.vandelay.bib_queue.nomatch.import",
 455         method          => 'import_queue',
 456         api_level       => 1,
 457         argc            => 2,
 458     stream      => 1,
 459     signature   => {
 460         desc => q/Only import records that have no collisions/
 461     },
 462         record_type     => 'bib'
 463 );
 464
 465 __PACKAGE__->register_method(
 466         api_name        => "open-ils.vandelay.auth_queue.nomatch.import",
 467         method          => 'import_queue',
 468         api_level       => 1,
 469         argc            => 2,
 470     stream      => 1,
 471     signature   => {
 472         desc => q/Only import records that have no collisions/
 473     },
 474         record_type     => 'auth'
 475 );
 476 sub import_queue {
 477     my($self, $conn, $auth, $q_id, $options) = @_;
 478     my $e = new_editor(authtoken => $auth);
 479     return $e->event unless $e->checkauth;
 480     $options ||= {};
 481     my $type = $self->{record_type};
 482     my $class = ($type eq 'bib') ? 'vqbr' : 'vqar';
 483
 484     my $query = {queue => $q_id, import_time => undef};
 485
 486     if($self->api_name =~ /nomatch/) {
 487         my $matched_recs = queued_records_with_matches($e, $type, $q_id, undef, undef, {import_time => undef});
 488         $query->{id} = {'not in' => $matched_recs} if @$matched_recs;
 489     }
 490
 491     my $search = ($type eq 'bib') ?
 492         'search_vandelay_queued_bib_record' : 'search_vandelay_queued_authority_record';
 493     my $rec_ids = $e->$search($query, {idlist => 1});
 494     my $err = import_record_list_impl($self, $conn, $rec_ids, $e->requestor, $options);
 495     return $err if $err;
 496     return {complete => 1};
 497 }
 498
 499
 500 # returns a list of queued record IDs for a given queue that
 501 # have at least one entry in the match table
 502 sub queued_records_with_matches {
 503     my($e, $type, $q_id, $limit, $offset, $filter) = @_;
 504
 505     my $match_class = 'vbm';
 506     my $rec_class = 'vqbr';
 507     if($type eq 'auth') {
 508         $match_class = 'vam';
 509          $rec_class = 'vqar';
 510     }
 511
 512     $filter ||= {};
 513     $filter->{queue} = $q_id;
 514
 515     my $query = {
 516         distinct => 1,
 517         select => {$match_class => ['queued_record']},
 518         from => {
 519             $match_class => {
 520                 $rec_class => {
 521                     field => 'id',
 522                     fkey => 'queued_record',
 523                     filter => $filter,
 524                 }
 525             }
 526         }
 527     };
 528
 529     if($limit or defined $offset) {
 530         $limit ||= 20;
 531         $offset ||= 0;
 532         $query->{limit} = $limit;
 533         $query->{offset} = $offset;
 534     }
 535
 536     my $data = $e->json_query($query);
 537     return [ map {$_->{queued_record}} @$data ];
 538 }
 539
 540 sub import_record_list_impl {
 541     my($self, $conn, $rec_ids, $requestor, $args) = @_;
 542
 543     my $overlay_map = $args->{overlay_map} || {};
 544     my $type = $self->{record_type};
 545     my $total = @$rec_ids;
 546     my $count = 0;
 547     my %queues;
 548     my @ingest_queue;
 549
 550     my $ingest_ses = OpenSRF::AppSession->connect('open-ils.ingest');
 551
 552     for my $rec_id (@$rec_ids) {
 553
 554         my $overlay_target = $overlay_map->{$rec_id};
 555
 556         my $e = new_editor(xact => 1);
 557         $e->requestor($requestor);
 558
 559         if($type eq 'bib') {
 560
 561             my $rec = $e->retrieve_vandelay_queued_bib_record($rec_id) ;
 562             unless($rec) {
 563                 $conn->respond({total => $total, progress => ++$count, imported => $rec_id, err_event => $e->die_event});
 564                 $e->rollback;
 565                 next;
 566             }
 567
 568             if($rec->import_time) {
 569                 $e->rollback;
 570                 next;
 571             }
 572
 573             $queues{$rec->queue} = 1;
 574
 575             my $record;
 576             if(defined $overlay_target) {
 577                 $logger->info("vl: overlaying record $overlay_target");
 578                 $record = OpenILS::Application::Cat::BibCommon->biblio_record_replace_marc(
 579                     $e, $overlay_target, $rec->marc); #$rec->bib_source
 580             } else {
 581                 $logger->info("vl: importing new record");
 582                 $record = OpenILS::Application::Cat::BibCommon->biblio_record_xml_import(
 583                     $e, $rec->marc); #$rec->bib_source
 584             }
 585
 586             if($U->event_code($record)) {
 587                 $conn->respond({total => $total, progress => ++$count, imported => $rec_id, err_event => $record});
 588                 $e->rollback;
 589                 next;
 590             }
 591             $rec->imported_as($record->id);
 592             $rec->import_time('now');
 593
 594             unless($e->update_vandelay_queued_bib_record($rec)) {
 595                 $conn->respond({total => $total, progress => ++$count, imported => $rec_id, err_event => $e->die_event});
 596                 $e->rollback;
 597                 next;
 598             }
 599
 600             $e->commit;
 601             # XXX handled by the db now
 602             #push @ingest_queue, { req => $ingest_ses->request('open-ils.ingest.full.biblio.record', $record->id), rec_id => $record->id };
 603
 604         } else { # authority
 605
 606             my $rec = $e->retrieve_vandelay_queued_authority_record($rec_id);
 607             unless($rec) {
 608                 $conn->respond({total => $total, progress => ++$count, imported => $rec_id, err_event => $e->die_event});
 609                 $e->rollback;
 610                 next;
 611             }
 612
 613             if($rec->import_time) {
 614                 $e->rollback;
 615                 next;
 616             }
 617
 618             $queues{$rec->queue} = 1;
 619
 620             my $record;
 621             if(defined $overlay_target) {
 622                 $logger->info("vl: overlaying record $overlay_target");
 623                 $record = OpenILS::Application::Cat::AuthCommon->overlay_authority_record(
 624                     $overlay_target, $rec->marc); #$source);
 625             } else {
 626                 $logger->info("vl: importing new record");
 627                 $record = OpenILS::Application::Cat::AuthCommon->import_authority_record(
 628                     $e, $rec->marc) #$source);
 629             }
 630
 631             if($U->event_code($record)) {
 632                 $conn->respond({total => $total, progress => ++$count, imported => $rec_id, err_event => $record});
 633                 $e->rollback;
 634                 next;
 635             }
 636
 637             $rec->imported_as($record->id);
 638             $rec->import_time('now');
 639             unless($e->update_vandelay_queued_authority_record($rec)) {
 640                 $conn->respond({total => $total, progress => ++$count, imported => $rec_id, err_event => $e->die_event});
 641                 $e->rollback;
 642                 next;
 643             }
 644
 645             $e->commit;
 646             push @ingest_queue, { req => $ingest_ses->request('open-ils.ingest.full.authority.record', $record->id), rec_id => $record->id };
 647         }
 648
 649         $conn->respond({total => $total, progress => $count, imported => $rec_id}) if (++$count % 10) == 0;
 650     }
 651
 652     # see if we need to mark any queues as complete
 653     my $e = new_editor(xact => 1);
 654     for my $q_id (keys %queues) {
 655         if($type eq 'bib') {
 656             my $remaining = $e->search_vandelay_queued_bib_record(
 657                 [{queue => $q_id, import_time => undef}, {limit =>1}], {idlist => 1});
 658             unless(@$remaining) {
 659                 my $queue = $e->retrieve_vandelay_bib_queue($q_id);
 660                 unless($U->is_true($queue->complete)) {
 661                     $queue->complete('t');
 662                     $e->update_vandelay_bib_queue($queue) or return $e->die_event;
 663                     $e->commit;
 664                     last
 665                 }
 666             }
 667         } else {
 668             my $remaining = $e->search_vandelay_queued_authority_record(
 669                 [{queue => $q_id, import_time => undef}, {limit =>1}], {idlist => 1});
 670             unless(@$remaining) {
 671                 my $queue = $e->retrieve_vandelay_authority_queue($q_id);
 672                 unless($U->is_true($queue->complete)) {
 673                     $queue->complete('t');
 674                     $e->update_vandelay_authority_queue($queue) or return $e->die_event;
 675                     $e->commit;
 676                     last
 677                 }
 678             }
 679         }
 680     }
 681     $e->rollback;
 682
 683     $count = 0;
 684     for my $ingest (@ingest_queue) {
 685         try { $ingest->{req}->gather(1); } otherwise {};
 686         $conn->respond({total => $total, progress => $count, imported => $ingest->{rec_id}}) if (++$count % 10) == 0;
 687     }
 688
 689     $ingest_ses->disconnect();
 690     return undef;
 691 }
 692
 693
 694 __PACKAGE__->register_method(
 695         api_name        => "open-ils.vandelay.bib_queue.owner.retrieve",
 696         method          => 'owner_queue_retrieve',
 697         api_level       => 1,
 698         argc            => 2,
 699     stream      => 1,
 700         record_type     => 'bib'
 701 );
 702 __PACKAGE__->register_method(
 703         api_name        => "open-ils.vandelay.authority_queue.owner.retrieve",
 704         method          => 'owner_queue_retrieve',
 705         api_level       => 1,
 706         argc            => 2,
 707     stream      => 1,
 708         record_type     => 'auth'
 709 );
 710
 711 sub owner_queue_retrieve {
 712     my($self, $conn, $auth, $owner_id, $filters) = @_;
 713     my $e = new_editor(authtoken => $auth);
 714     return $e->die_event unless $e->checkauth;
 715     $owner_id = $e->requestor->id; # XXX add support for viewing other's queues?
 716     my $queues;
 717     $filters ||= {};
 718     my $search = {owner => $owner_id};
 719     $search->{$_} = $filters->{$_} for keys %$filters;
 720
 721     if($self->{record_type} eq 'bib') {
 722         $queues = $e->search_vandelay_bib_queue(
 723             [$search, {order_by => {vbq => 'lower(name)'}}]);
 724     } else {
 725         $queues = $e->search_vandelay_authority_queue(
 726             [$search, {order_by => {vaq => 'lower(name)'}}]);
 727     }
 728     $conn->respond($_) for @$queues;
 729     return undef;
 730 }
 731
 732 __PACKAGE__->register_method(
 733         api_name        => "open-ils.vandelay.bib_queue.delete",
 734         method          => "delete_queue",
 735         api_level       => 1,
 736         argc            => 2,
 737         record_type     => 'bib'
 738 );
 739 __PACKAGE__->register_method(
 740         api_name        => "open-ils.vandelay.auth_queue.delete",
 741         method          => "delete_queue",
 742         api_level       => 1,
 743         argc            => 2,
 744         record_type     => 'auth'
 745 );
 746
 747 sub delete_queue {
 748     my($self, $conn, $auth, $q_id) = @_;
 749     my $e = new_editor(xact => 1, authtoken => $auth);
 750     return $e->die_event unless $e->checkauth;
 751     if($self->{record_type} eq 'bib') {
 752             return $e->die_event unless $e->allowed('CREATE_BIB_IMPORT_QUEUE');
 753         my $queue = $e->retrieve_vandelay_bib_queue($q_id)
 754             or return $e->die_event;
 755         $e->delete_vandelay_bib_queue($queue)
 756             or return $e->die_event;
 757     } else {
 758             return $e->die_event unless $e->allowed('CREATE_AUTHORITY_IMPORT_QUEUE');
 759         my $queue = $e->retrieve_vandelay_authority_queue($q_id)
 760             or return $e->die_event;
 761         $e->delete_vandelay_authority_queue($queue)
 762             or return $e->die_event;
 763     }
 764     $e->commit;
 765     return 1;
 766 }
 767
 768
 769 __PACKAGE__->register_method(
 770         api_name        => "open-ils.vandelay.queued_bib_record.html",
 771         method          => 'queued_record_html',
 772         api_level       => 1,
 773         argc            => 2,
 774     stream      => 1,
 775         record_type     => 'bib'
 776 );
 777 __PACKAGE__->register_method(
 778         api_name        => "open-ils.vandelay.queued_authority_record.html",
 779         method          => 'queued_record_html',
 780         api_level       => 1,
 781         argc            => 2,
 782     stream      => 1,
 783         record_type     => 'auth'
 784 );
 785
 786 sub queued_record_html {
 787     my($self, $conn, $auth, $rec_id) = @_;
 788     my $e = new_editor(authtoken => $auth);
 789     return $e->event unless $e->checkauth;
 790     my $rec;
 791     if($self->{record_type} eq 'bib') {
 792         $rec = $e->retrieve_vandelay_queued_bib_record($rec_id)
 793             or return $e->event;
 794     } else {
 795         $rec = $e->retrieve_vandelay_queued_authority_record($rec_id)
 796             or return $e->event;
 797     }
 798
 799     return $U->simplereq(
 800         'open-ils.search',
 801         'open-ils.search.biblio.record.html', undef, 1, $rec->marc);
 802 }
 803
 804
 805 __PACKAGE__->register_method(
 806         api_name        => "open-ils.vandelay.bib_queue.summary.retrieve",
 807         method          => 'retrieve_queue_summary',
 808         api_level       => 1,
 809         argc            => 2,
 810     stream      => 1,
 811         record_type     => 'bib'
 812 );
 813 __PACKAGE__->register_method(
 814         api_name        => "open-ils.vandelay.auth_queue.summary.retrieve",
 815         method          => 'retrieve_queue_summary',
 816         api_level       => 1,
 817         argc            => 2,
 818     stream      => 1,
 819         record_type     => 'auth'
 820 );
 821
 822 sub retrieve_queue_summary {
 823     my($self, $conn, $auth, $queue_id) = @_;
 824     my $e = new_editor(authtoken => $auth);
 825     return $e->event unless $e->checkauth;
 826
 827     my $queue;
 828     my $type = $self->{record_type};
 829     if($type eq 'bib') {
 830         $queue = $e->retrieve_vandelay_bib_queue($queue_id)
 831             or return $e->event;
 832     } else {
 833         $queue = $e->retrieve_vandelay_authority_queue($queue_id)
 834             or return $e->event;
 835     }
 836
 837     my $evt = check_queue_perms($e, $type, $queue);
 838     return $evt if $evt;
 839
 840     my $search = 'search_vandelay_queued_bib_record';
 841     $search =~ s/bib/authority/ if $type ne 'bib';
 842
 843     return {
 844         queue => $queue,
 845         total => scalar(@{$e->$search({queue => $queue_id}, {idlist=>1})}),
 846         imported => scalar(@{$e->$search({queue => $queue_id, import_time => {'!=' => undef}}, {idlist=>1})}),
 847     };
 848 }
 849
 850
 851 __PACKAGE__->register_method(
 852         api_name        => "open-ils.vandelay.bib_record.list.asset.import",
 853         method          => 'import_record_list_assets',
 854         api_level       => 1,
 855         argc            => 2,
 856     stream      => 1,
 857         record_type     => 'bib'
 858 );
 859 __PACKAGE__->register_method(
 860         api_name        => "open-ils.vandelay.bib_record.queue.asset.import",
 861         method          => 'import_record_queue_assets',
 862         api_level       => 1,
 863         argc            => 2,
 864     stream      => 1,
 865         record_type     => 'bib'
 866 );
 867
 868 sub import_record_list_assets {
 869     my($self, $conn, $auth, $import_def, $rec_ids) = @_;
 870     my $e = new_editor(authtoken => $auth);
 871     return $e->event unless $e->checkauth;
 872     my $err = import_record_asset_list_impl($conn, $import_def, $rec_ids, $e->requestor);
 873     return $err if $err;
 874     return {complete => 1};
 875 }
 876
 877 sub import_record_queue_assets {
 878     my($self, $conn, $auth, $import_def, $q_id) = @_;
 879     my $e = new_editor(authtoken => $auth);
 880     return $e->event unless $e->checkauth;
 881     my $rec_ids = $e->search_vandelay_queued_bib_record(
 882         {queue => $q_id, import_time => {'!=' => undef}}, {idlist => 1});
 883     my $err = import_record_asset_list_impl($conn, $import_def, $rec_ids, $e->requestor);
 884     return $err if $err;
 885     return {complete => 1};
 886 }
 887
 888 # --------------------------------------------------------------------------------
 889 # Given a list of queued record IDs, imports all items attached to those records
 890 # --------------------------------------------------------------------------------
 891 sub import_record_asset_list_impl {
 892     my($conn, $import_def, $rec_ids, $requestor) = @_;
 893
 894     my $total = @$rec_ids;
 895     my $try_count = 0;
 896     my $in_count = 0;
 897     my $roe = new_editor(requestor => $requestor);
 898
 899     for my $rec_id (@$rec_ids) {
 900         my $rec = $roe->retrieve_vandelay_queued_bib_record($rec_id);
 901         next unless $rec and $rec->import_time;
 902         my $item_ids = $roe->search_vandelay_import_item({definition => $import_def, record => $rec->id}, {idlist=>1});
 903
 904         for my $item_id (@$item_ids) {
 905             my $e = new_editor(requestor => $requestor, xact => 1);
 906             my $item = $e->retrieve_vandelay_import_item($item_id);
 907             $try_count++;
 908
 909             # --------------------------------------------------------------------------------
 910             # Find or create the volume
 911             # --------------------------------------------------------------------------------
 912             my ($vol, $evt) =
 913                 OpenILS::Application::Cat::AssetCommon->find_or_create_volume(
 914                     $e, $item->call_number, $rec->imported_as, $item->owning_lib);
 915
 916             if($evt) {
 917                 respond_with_status($conn, $total, $try_count, $in_count, $evt);
 918                 $e->rollback;
 919                 next;
 920             }
 921
 922             # --------------------------------------------------------------------------------
 923             # Create the new copy
 924             # --------------------------------------------------------------------------------
 925             my $copy = Fieldmapper::asset::copy->new;
 926             $copy->loan_duration(2);
 927             $copy->fine_level(2);
 928             $copy->barcode($item->barcode);
 929             $copy->location($item->location);
 930             $copy->circ_lib($item->circ_lib || $item->owning_lib);
 931             $copy->status($item->status || OILS_COPY_STATUS_IN_PROCESS);
 932             $copy->circulate($item->circulate);
 933             $copy->deposit($item->deposit);
 934             $copy->deposit_amount($item->deposit_amount);
 935             $copy->ref($item->ref);
 936             $copy->holdable($item->holdable);
 937             $copy->price($item->price);
 938             $copy->circ_as_type($item->circ_as_type);
 939             $copy->alert_message($item->alert_message);
 940             $copy->opac_visible($item->opac_visible);
 941             $copy->circ_modifier($item->circ_modifier);
 942
 943             # --------------------------------------------------------------------------------
 944             # see if a valid circ_modifier was provided
 945             # --------------------------------------------------------------------------------
 946             #if($copy->circ_modifier and not $e->retrieve_config_circ_modifier($item->circ_modifier)) {
 947             if($copy->circ_modifier and not $e->search_config_circ_modifier({code=>$item->circ_modifier})->[0]) {
 948                 respond_with_status($conn, $total, $try_count, $in_count, $e->die_event);
 949                 $e->rollback;
 950                 next;
 951             }
 952
 953             if($evt = OpenILS::Application::Cat::AssetCommon->create_copy($e, $vol, $copy)) {
 954                 $e->rollback;
 955                 respond_with_status($conn, $total, $try_count, $in_count, $evt);
 956                 next;
 957             }
 958
 959             # --------------------------------------------------------------------------------
 960             # create copy notes
 961             # --------------------------------------------------------------------------------
 962             $evt = OpenILS::Application::Cat::AssetCommon->create_copy_note(
 963                 $e, $copy, '', $item->pub_note, 1) if $item->pub_note;
 964
 965             if($evt) {
 966                 respond_with_status($conn, $total, $try_count, $in_count, $evt);
 967                 $e->rollback;
 968                 next;
 969             }
 970
 971             $evt = OpenILS::Application::Cat::AssetCommon->create_copy_note(
 972                 $e, $copy, '', $item->priv_note, 1) if $item->priv_note;
 973
 974             if($evt) {
 975                 respond_with_status($conn, $total, $try_count, $in_count, $evt);
 976                 $e->rollback;
 977                 next;
 978             }
 979
 980             # --------------------------------------------------------------------------------
 981             # Item import succeeded
 982             # --------------------------------------------------------------------------------
 983             $e->commit;
 984             respond_with_status($conn, $total, $try_count, ++$in_count, undef, imported_as => $copy->id);
 985         }
 986     }
 987     return undef;
 988 }
 989
 990
 991 sub respond_with_status {
 992     my($conn, $total, $try_count, $success_count, $err, %args) = @_;
 993     $conn->respond({
 994         total => $total,
 995         progress => $try_count,
 996         err_event => $err,
 997         success_count => $success_count, %args }) if $err or ($try_count % 5 == 0);
 998 }
 999
1000
1001 1;