Open-ILS/src/perlmods/OpenILS/Application/Vandelay.pm

   1 package OpenILS::Application::Vandelay;
   2 use strict; use warnings;
   3 use OpenILS::Application;
   4 use base qw/OpenILS::Application/;
   5
   6 use Unicode::Normalize;
   7 use OpenSRF::EX qw/:try/;
   8
   9 use OpenSRF::AppSession;
  10 use OpenSRF::Utils::SettingsClient;
  11 use OpenSRF::Utils::Cache;
  12
  13 use OpenILS::Utils::Fieldmapper;
  14 use OpenILS::Utils::CStoreEditor qw/:funcs/;
  15
  16 use MARC::Batch;
  17 use MARC::Record;
  18 use MARC::File::XML;
  19
  20 use OpenILS::Utils::Fieldmapper;
  21
  22 use Time::HiRes qw(time);
  23
  24 use OpenSRF::Utils::Logger qw/$logger/;
  25 use MIME::Base64;
  26 use OpenILS::Application::AppUtils;
  27 my $U = 'OpenILS::Application::AppUtils';
  28
  29 sub initialize {}
  30 sub child_init {}
  31
  32 # --------------------------------------------------------------------------------
  33 # Biblio ingest
  34
  35 sub create_bib_queue {
  36         my $self = shift;
  37         my $client = shift;
  38         my $auth = shift;
  39         my $name = shift;
  40         my $owner = shift;
  41         my $type = shift;
  42
  43         my $e = new_editor(authtoken => $auth, xact => 1);
  44
  45         return $e->die_event unless $e->checkauth;
  46         return $e->die_event unless $e->allowed('CREATE_BIB_IMPORT_QUEUE');
  47     $owner ||= $e->requestor->id;
  48
  49         my $queue = new Fieldmapper::vandelay::bib_queue();
  50         $queue->name( $name );
  51         $queue->owner( $owner );
  52         $queue->queue_type( $type ) if ($type);
  53
  54         my $new_q = $e->create_vandelay_bib_queue( $queue );
  55         return $e->die_event unless ($new_q);
  56         $e->commit;
  57
  58     return $new_q;
  59 }
  60 __PACKAGE__->register_method(
  61         api_name        => "open-ils.vandelay.bib_queue.create",
  62         method          => "create_bib_queue",
  63         api_level       => 1,
  64         argc            => 3,
  65 );
  66
  67
  68 sub create_auth_queue {
  69         my $self = shift;
  70         my $client = shift;
  71         my $auth = shift;
  72         my $name = shift;
  73         my $owner = shift;
  74         my $type = shift;
  75
  76         my $e = new_editor(authtoken => $auth, xact => 1);
  77
  78         return $e->die_event unless $e->checkauth;
  79         return $e->die_event unless $e->allowed('CREATE_AUTHORITY_IMPORT_QUEUE');
  80     $owner ||= $e->requestor->id;
  81
  82         my $queue = new Fieldmapper::vandelay::authority_queue();
  83         $queue->name( $name );
  84         $queue->owner( $owner );
  85         $queue->queue_type( $type ) if ($type);
  86
  87         my $new_q = $e->create_vandelay_authority_queue( $queue );
  88         $e->die_event unless ($new_q);
  89         $e->commit;
  90
  91     return $new_q;
  92 }
  93 __PACKAGE__->register_method(
  94         api_name        => "open-ils.vandelay.authority_queue.create",
  95         method          => "create_auth_queue",
  96         api_level       => 1,
  97         argc            => 3,
  98 );
  99
 100 sub add_record_to_bib_queue {
 101         my $self = shift;
 102         my $client = shift;
 103         my $auth = shift;
 104         my $queue = shift;
 105         my $marc = shift;
 106         my $purpose = shift;
 107
 108         my $e = new_editor(authtoken => $auth, xact => 1);
 109
 110         $queue = $e->retrieve_vandelay_bib_queue($queue);
 111
 112         return $e->die_event unless $e->checkauth;
 113         return $e->die_event unless
 114                 ($e->allowed('CREATE_BIB_IMPORT_QUEUE', undef, $queue) ||
 115                  $e->allowed('CREATE_BIB_IMPORT_QUEUE'));
 116
 117         my $new_rec = _add_bib_rec($e, $marc, $queue->id, $purpose);
 118
 119         return $e->die_event unless ($new_rec);
 120         $e->commit;
 121     return $new_rec;
 122 }
 123 __PACKAGE__->register_method(
 124         api_name        => "open-ils.vandelay.queued_bib_record.create",
 125         method          => "add_record_to_bib_queue",
 126         api_level       => 1,
 127         argc            => 3,
 128 );
 129
 130 sub _add_bib_rec {
 131         my $e = shift;
 132         my $marc = shift;
 133         my $queue = shift;
 134         my $purpose = shift;
 135
 136         my $rec = new Fieldmapper::vandelay::queued_bib_record();
 137         $rec->marc( $marc );
 138         $rec->queue( $queue );
 139         $rec->purpose( $purpose ) if ($purpose);
 140
 141         return $e->create_vandelay_queued_bib_record( $rec );
 142 }
 143
 144 sub add_record_to_authority_queue {
 145         my $self = shift;
 146         my $client = shift;
 147         my $auth = shift;
 148         my $queue = shift;
 149         my $marc = shift;
 150         my $purpose = shift;
 151
 152         my $e = new_editor(authtoken => $auth, xact => 1);
 153
 154         $queue = $e->retrieve_vandelay_authority_queue($queue);
 155
 156         return $e->die_event unless $e->checkauth;
 157         return $e->die_event unless
 158                 ($e->allowed('CREATE_AUTHORITY_IMPORT_QUEUE', undef, $queue) ||
 159                  $e->allowed('CREATE_AUTHORITY_IMPORT_QUEUE'));
 160
 161         my $new_rec = _add_auth_rec($e, $marc, $queue->id, $purpose);
 162
 163         return $e->die_event unless ($new_rec);
 164         $e->commit;
 165     return $new_rec;
 166 }
 167 __PACKAGE__->register_method(
 168         api_name        => "open-ils.vandelay.queued_authority_record.create",
 169         method          => "add_record_to_authority_queue",
 170         api_level       => 1,
 171         argc            => 3,
 172 );
 173
 174 sub _add_auth_rec {
 175         my $e = shift;
 176         my $marc = shift;
 177         my $queue = shift;
 178     my $purpose = shift;
 179
 180         my $rec = new Fieldmapper::vandelay::queued_authority_record();
 181         $rec->marc( $marc );
 182         $rec->queue( $queue );
 183         $rec->purpose( $purpose ) if ($purpose);
 184
 185         return $e->create_vandelay_queued_authority_record( $rec );
 186 }
 187
 188 sub process_spool {
 189         my $self = shift;
 190         my $client = shift;
 191         my $auth = shift;
 192         my $fingerprint = shift;
 193         my $queue_id = shift;
 194
 195         my $e = new_editor(authtoken => $auth, xact => 1);
 196     return $e->die_event unless $e->checkauth;
 197
 198     my $queue;
 199     my $type = $self->{record_type};
 200
 201     if($type eq 'bib') {
 202         $queue = $e->retrieve_vandelay_bib_queue($queue_id) or return $e->die_event;
 203     } else {
 204         $queue = $e->retrieve_vandelay_authority_queue($queue_id) or return $e->die_event;
 205     }
 206
 207     my $evt = check_queue_perms($e, $type, $queue);
 208     return $evt if $evt;
 209
 210         my $method = "open-ils.vandelay.queued_${type}_record.create";
 211         $method = $self->method_lookup( $method );
 212
 213     my $cache = new OpenSRF::Utils::Cache();
 214
 215     my $data = $cache->get_cache('vandelay_import_spool_' . $fingerprint);
 216         my $purpose = $data->{purpose};
 217     $data = decode_base64($data->{marc});
 218
 219     $logger->info("vandelay loaded $fingerprint purpose=$purpose and ".length($data)." bytes of data");
 220
 221     my $fh;
 222     open $fh, '<', \$data;
 223
 224     my $marctype = 'USMARC'; # ?
 225         my $batch = new MARC::Batch ( $marctype, $fh );
 226         $batch->strict_off;
 227
 228         my $count = 0;
 229         while (my $r = $batch->next) {
 230         $logger->info("processing record $count");
 231                 try {
 232                         (my $xml = $r->as_xml_record()) =~ s/\n//sog;
 233                         $xml =~ s/^<\?xml.+\?\s*>//go;
 234                         $xml =~ s/>\s+</></go;
 235                         $xml =~ s/\p{Cc}//go;
 236                         $xml = $U->entityize($xml);
 237                         $xml =~ s/[\x00-\x1f]//go;
 238
 239                         if ($type eq 'bib') {
 240                                 _add_bib_rec( $e, $xml, $queue_id, $purpose ) or return $e->die_event;
 241                         } else {
 242                                 _add_auth_rec( $e, $xml, $queue_id, $purpose ) or return $e->die_event;
 243                         }
 244                         $count++;
 245
 246                         $client->respond( $count );
 247                 } catch Error with {
 248                         my $error = shift;
 249                         $logger->warn("Encountered a bad record at Vandelay ingest: ".$error);
 250                 }
 251         }
 252
 253         $e->commit;
 254         return undef;
 255 }
 256 __PACKAGE__->register_method(
 257         api_name        => "open-ils.vandelay.bib.process_spool",
 258         method          => "process_spool",
 259         api_level       => 1,
 260         argc            => 3,
 261         record_type     => 'bib'
 262 );
 263 __PACKAGE__->register_method(
 264         api_name        => "open-ils.vandelay.auth.process_spool",
 265         method          => "process_spool",
 266         api_level       => 1,
 267         argc            => 3,
 268         record_type     => 'auth'
 269 );
 270
 271
 272 __PACKAGE__->register_method(
 273         api_name        => "open-ils.vandelay.bib_queue.records.retrieve",
 274         method          => 'retrieve_queue',
 275         api_level       => 1,
 276         argc            => 2,
 277     stream      => 1,
 278         record_type     => 'bib'
 279 );
 280 __PACKAGE__->register_method(
 281         api_name        => "open-ils.vandelay.auth_queue.records.retrieve",
 282         method          => 'retrieve_queue',
 283         api_level       => 1,
 284         argc            => 2,
 285     stream      => 1,
 286         record_type     => 'auth'
 287 );
 288
 289 __PACKAGE__->register_method(
 290         api_name        => "open-ils.vandelay.bib_queue.records.matches.retrieve",
 291         method          => 'retrieve_queue',
 292         api_level       => 1,
 293         argc            => 2,
 294     stream      => 1,
 295         record_type     => 'bib',
 296     signature   => {
 297         desc => q/Only retrieve queued bib records that have matches against existing records/
 298     }
 299 );
 300 __PACKAGE__->register_method(
 301         api_name        => "open-ils.vandelay.auth_queue.records.matches.retrieve",
 302         method          => 'retrieve_queue',
 303         api_level       => 1,
 304         argc            => 2,
 305     stream      => 1,
 306         record_type     => 'auth',
 307     signature   => {
 308         desc => q/Only retrieve queued authority records that have matches against existing records/
 309     }
 310
 311 );
 312
 313 sub retrieve_queue {
 314     my($self, $conn, $auth, $queue_id, $options) = @_;
 315     my $e = new_editor(authtoken => $auth);
 316     return $e->event unless $e->checkauth;
 317     $options ||= {};
 318     my $limit = $$options{limit} || 20;
 319     my $offset = $$options{offset} || 0;
 320
 321     my $type = $self->{record_type};
 322     my $queue;
 323     if($type eq 'bib') {
 324         $queue = $e->retrieve_vandelay_bib_queue($queue_id) or return $e->die_event;
 325     } else {
 326         $queue = $e->retrieve_vandelay_authority_queue($queue_id) or return $e->die_event;
 327     }
 328     my $evt = check_queue_perms($e, $type, $queue);
 329     return $evt if $evt;
 330
 331     my $class = ($type eq 'bib') ? 'vqbr' : 'vqar';
 332     my $search = ($type eq 'bib') ?
 333         'search_vandelay_queued_bib_record' : 'search_vandelay_queued_authority_record';
 334     my $retrieve = ($type eq 'bib') ?
 335         'retrieve_vandelay_queued_bib_record' : 'retrieve_vandelay_queued_authority_record';
 336
 337     my $record_ids = $e->$search([
 338             {queue => $queue_id},
 339             {order_by => {$class => 'id'}, limit => $limit, offset => $offset}
 340         ],
 341         {idlist => 1}
 342     );
 343
 344     for my $rec_id (@$record_ids) {
 345         my $params = {
 346             flesh => 1,
 347             flesh_fields => {$class => ['attributes', 'matches']},
 348         };
 349         my $rec = $e->$retrieve([$rec_id, $params]);
 350         $rec->clear_marc if $$options{clear_marc};
 351         next if $self->api_name =~ /matches/ and not @{$rec->matches};
 352         $conn->respond($rec);
 353     }
 354     return undef;
 355 }
 356
 357 sub check_queue_perms {
 358     my($e, $type, $queue) = @_;
 359         if ($type eq 'bib') {
 360                 return $e->die_event unless
 361                         ($e->allowed('CREATE_BIB_IMPORT_QUEUE', undef, $queue) ||
 362                          $e->allowed('CREATE_BIB_IMPORT_QUEUE'));
 363         } else {
 364                 return $e->die_event unless
 365                         ($e->allowed('CREATE_AUTHORITY_IMPORT_QUEUE', undef, $queue) ||
 366                          $e->allowed('CREATE_AUTHORITY_IMPORT_QUEUE'));
 367         }
 368
 369     return undef;
 370 }
 371
 372 __PACKAGE__->register_method(
 373         api_name        => "open-ils.vandelay.bib_record.list.import",
 374         method          => 'import_record_list',
 375         api_level       => 1,
 376         argc            => 2,
 377     stream      => 1,
 378         record_type     => 'bib'
 379 );
 380
 381 __PACKAGE__->register_method(
 382         api_name        => "open-ils.vandelay.auth_record.list.import",
 383         method          => 'import_record_list',
 384         api_level       => 1,
 385         argc            => 2,
 386     stream      => 1,
 387         record_type     => 'auth'
 388 );
 389
 390 sub import_record_list {
 391     my($self, $conn, $auth, $rec_ids, $args) = @_;
 392     my $e = new_editor(xact => 1, authtoken => $auth);
 393     return $e->die_event unless $e->checkauth;
 394     $args ||= {};
 395     my $err = import_record_list_impl($self, $conn, $auth, $e, $rec_ids, $args);
 396     return $err if $err;
 397     $e->commit;
 398     return {complete => 1};
 399 }
 400
 401 =head note done
 402 __PACKAGE__->register_method(
 403         api_name        => "open-ils.vandelay.bib_queue.import",
 404         method          => 'import_queue',
 405         api_level       => 1,
 406         argc            => 2,
 407     stream      => 1,
 408         record_type     => 'bib'
 409 );
 410
 411 __PACKAGE__->register_method(
 412         api_name        => "open-ils.vandelay.auth_queue.import",
 413         method          => 'import_queue',
 414         api_level       => 1,
 415         argc            => 2,
 416     stream      => 1,
 417         record_type     => 'auth'
 418 );
 419
 420 sub import_record_list {
 421     my($self, $conn, $auth, $rec_ids, $args) = @_;
 422     my $e = new_editor(xact => 1, authtoken => $auth);
 423     return $e->die_event unless $e->checkauth;
 424     $args ||= {};
 425     my $err = import_record_list_impl($self, $conn, $auth, $e, $rec_ids, $args);
 426     return $err if $err;
 427     $e->commit;
 428     return {complete => 1};
 429 }
 430 =cut
 431
 432 sub import_record_list_impl {
 433     my($self, $conn, $auth, $e, $rec_ids, $args) = @_;
 434
 435     my $overlay_map = $args->{overlay_map} || {};
 436     my $type = $self->{record_type};
 437     my $total = @$rec_ids;
 438     my $count = 0;
 439     my %queues;
 440
 441     for my $rec_id (@$rec_ids) {
 442         if($type eq 'bib') {
 443
 444             my $rec = $e->retrieve_vandelay_queued_bib_record($rec_id)
 445                 or return $e->die_event;
 446
 447             $queues{$rec->queue} = 1;
 448
 449             my $record;
 450             if(defined $overlay_map->{$rec_id}) {
 451                 $logger->info("vl: overlaying record $rec_id");
 452                 $record = $U->simplereq(
 453                     'open-ils.cat',
 454                     'open-ils.cat.biblio.record.xml.update',
 455                     $auth, $overlay_map->{$rec_id}, $rec->marc); #$rec->bib_source);
 456             } else {
 457                 $logger->info("vl: importing new record");
 458                 $record = $U->simplereq(
 459                     'open-ils.cat',
 460                     'open-ils.cat.biblio.record.xml.import',
 461                     $auth, $rec->marc); #$rec->bib_source);
 462             }
 463
 464             if($U->event_code($record)) {
 465                 $e->rollback;
 466                 return $record;
 467             }
 468
 469             $rec->imported_as($record->id);
 470             $rec->import_time('now');
 471             $e->update_vandelay_queued_bib_record($rec) or return $e->die_event;
 472
 473         } else { # authority
 474
 475             my $rec = $e->retrieve_vandelay_queued_authority_record($rec_id)
 476                 or return $e->die_event;
 477
 478             $queues{$rec->queue} = 1;
 479
 480             my $record;
 481             if(defined $overlay_map->{$rec_id}) {
 482                 $logger->info("vl: overlaying record $rec_id");
 483                 $record = $U->simplereq(
 484                     'open-ils.cat',
 485                     'open-ils.cat.authority.record.overlay',
 486                     $auth, $overlay_map->{$rec_id}, $rec->marc); #$rec->bib_source);
 487             } else {
 488                 $logger->info("vl: importing new record");
 489                 $record = $U->simplereq(
 490                     'open-ils.cat',
 491                     'open-ils.cat.authority.record.import',
 492                     $auth, $rec->marc); #$rec->bib_source);
 493             }
 494
 495             if($U->event_code($record)) {
 496                 $e->rollback;
 497                 return $record;
 498             }
 499
 500             $rec->imported_as($record->id);
 501             $rec->import_time('now');
 502             $e->update_vandelay_queued_authority_record($rec) or return $e->die_event;
 503         }
 504
 505         $conn->respond({total => $total, progress => ++$count, imported => $rec_id});
 506     }
 507
 508     # see if we need to mark any queues as complete
 509     for my $q_id (keys %queues) {
 510         if($type eq 'bib') {
 511             my $remaining = $e->search_vandelay_queued_bib_record(
 512                 {queue => $q_id, import_time => undef}, {idlist => 1});
 513             unless(@$remaining) {
 514                 my $queue = $e->retrieve_vandelay_bib_queue($q_id);
 515                 unless($U->is_true($queue->complete)) {
 516                     $queue->complete('t');
 517                     $e->update_vandelay_bib_queue($queue) or return $e->die_event;
 518                 }
 519             }
 520         } else {
 521             my $remaining = $e->search_vandelay_queued_authority_record(
 522                 {queue => $q_id, import_time => undef}, {idlist => 1});
 523             unless(@$remaining) {
 524                 my $queue = $e->retrieve_vandelay_authority_queue($q_id);
 525                 unless($U->is_true($queue->complete)) {
 526                     $queue->complete('t');
 527                     $e->update_vandelay_authority_queue($queue) or return $e->die_event;
 528                 }
 529             }
 530         }
 531     }
 532
 533     return undef;
 534 }
 535
 536
 537 __PACKAGE__->register_method(
 538         api_name        => "open-ils.vandelay.bib_queue.owner.retrieve",
 539         method          => 'owner_queue_retrieve',
 540         api_level       => 1,
 541         argc            => 2,
 542     stream      => 1,
 543         record_type     => 'bib'
 544 );
 545 __PACKAGE__->register_method(
 546         api_name        => "open-ils.vandelay.authority_queue.owner.retrieve",
 547         method          => 'owner_queue_retrieve',
 548         api_level       => 1,
 549         argc            => 2,
 550     stream      => 1,
 551         record_type     => 'auth'
 552 );
 553
 554 sub owner_queue_retrieve {
 555     my($self, $conn, $auth, $owner_id) = @_;
 556     my $e = new_editor(authtoken => $auth);
 557     return $e->die_event unless $e->checkauth;
 558     $owner_id = $e->requestor->id; # XXX add support for viewing other's queues?
 559     my $queues;
 560     if($self->{record_type} eq 'bib') {
 561         $queues = $e->search_vandelay_bib_queue(
 562             {complete => 'f', owner => $owner_id});
 563     } else {
 564         $queues = $e->search_vandelay_authority_queue(
 565             {complete => 'f', owner => $owner_id});
 566     }
 567     $conn->respond($_) for @$queues;
 568     return undef;
 569 }
 570
 571 __PACKAGE__->register_method(
 572         api_name        => "open-ils.vandelay.bib_queue.delete",
 573         method          => "delete_queue",
 574         api_level       => 1,
 575         argc            => 2,
 576         record_type     => 'bib'
 577 );
 578 __PACKAGE__->register_method(
 579         api_name        => "open-ils.vandelay.auth_queue.delete",
 580         method          => "delete_queue",
 581         api_level       => 1,
 582         argc            => 2,
 583         record_type     => 'auth'
 584 );
 585
 586 sub delete_queue {
 587     my($self, $conn, $auth, $q_id) = @_;
 588     my $e = new_editor(xact => 1, authtoken => $auth);
 589     return $e->die_event unless $e->checkauth;
 590     if($self->{record_type} eq 'bib') {
 591             return $e->die_event unless $e->allowed('CREATE_BIB_IMPORT_QUEUE');
 592         my $queue = $e->retrieve_vandelay_bib_queue($q_id)
 593             or return $e->die_event;
 594         $e->delete_vandelay_bib_queue($queue)
 595             or return $e->die_event;
 596     } else {
 597             return $e->die_event unless $e->allowed('CREATE_AUTHORITY_IMPORT_QUEUE');
 598         my $queue = $e->retrieve_vandelay_authority_queue($q_id)
 599             or return $e->die_event;
 600         $e->delete_vandelay_authority_queue($queue)
 601             or return $e->die_event;
 602     }
 603     $e->commit;
 604     return 1;
 605 }
 606
 607 1;