Open-ILS/src/perlmods/OpenILS/Application/Vandelay.pm

   1 package OpenILS::Application::Vandelay;
   2 use strict; use warnings;
   3 use OpenILS::Application;
   4 use base qw/OpenILS::Application/;
   5
   6 use Unicode::Normalize;
   7 use OpenSRF::EX qw/:try/;
   8
   9 use OpenSRF::AppSession;
  10 use OpenSRF::Utils::SettingsClient;
  11 use OpenSRF::Utils::Cache;
  12
  13 use OpenILS::Utils::Fieldmapper;
  14 use OpenILS::Utils::CStoreEditor qw/:funcs/;
  15
  16 use MARC::Batch;
  17 use MARC::Record;
  18 use MARC::File::XML;
  19
  20 use OpenILS::Utils::Fieldmapper;
  21
  22 use Time::HiRes qw(time);
  23
  24 use OpenSRF::Utils::Logger qw/$logger/;
  25 use MIME::Base64;
  26 use OpenILS::Application::AppUtils;
  27 my $U = 'OpenILS::Application::AppUtils';
  28
  29 sub initialize {}
  30 sub child_init {}
  31
  32 # --------------------------------------------------------------------------------
  33 # Biblio ingest
  34
  35 sub create_bib_queue {
  36         my $self = shift;
  37         my $client = shift;
  38         my $auth = shift;
  39         my $name = shift;
  40         my $owner = shift;
  41         my $type = shift;
  42
  43         my $e = new_editor(authtoken => $auth, xact => 1);
  44
  45         return $e->die_event unless $e->checkauth;
  46         return $e->die_event unless $e->allowed('CREATE_BIB_IMPORT_QUEUE');
  47     $owner ||= $e->requestor->id;
  48
  49         my $queue = new Fieldmapper::vandelay::bib_queue();
  50         $queue->name( $name );
  51         $queue->owner( $owner );
  52         $queue->queue_type( $type ) if ($type);
  53
  54         my $new_q = $e->create_vandelay_bib_queue( $queue );
  55         return $e->die_event unless ($new_q);
  56         $e->commit;
  57
  58     return $new_q;
  59 }
  60 __PACKAGE__->register_method(
  61         api_name        => "open-ils.vandelay.bib_queue.create",
  62         method          => "create_bib_queue",
  63         api_level       => 1,
  64         argc            => 3,
  65 );
  66
  67
  68 sub create_auth_queue {
  69         my $self = shift;
  70         my $client = shift;
  71         my $auth = shift;
  72         my $name = shift;
  73         my $owner = shift;
  74         my $type = shift;
  75
  76         my $e = new_editor(authtoken => $auth, xact => 1);
  77
  78         return $e->die_event unless $e->checkauth;
  79         return $e->die_event unless $e->allowed('CREATE_AUTHORITY_IMPORT_QUEUE');
  80     $owner ||= $e->requestor->id;
  81
  82         my $queue = new Fieldmapper::vandelay::authority_queue();
  83         $queue->name( $name );
  84         $queue->owner( $owner );
  85         $queue->queue_type( $type ) if ($type);
  86
  87         my $new_q = $e->create_vandelay_authority_queue( $queue );
  88         $e->die_event unless ($new_q);
  89         $e->commit;
  90
  91     return $new_q;
  92 }
  93 __PACKAGE__->register_method(
  94         api_name        => "open-ils.vandelay.authority_queue.create",
  95         method          => "create_auth_queue",
  96         api_level       => 1,
  97         argc            => 3,
  98 );
  99
 100 sub add_record_to_bib_queue {
 101         my $self = shift;
 102         my $client = shift;
 103         my $auth = shift;
 104         my $queue = shift;
 105         my $marc = shift;
 106         my $purpose = shift;
 107
 108         my $e = new_editor(authtoken => $auth, xact => 1);
 109
 110         $queue = $e->retrieve_vandelay_bib_queue($queue);
 111
 112         return $e->die_event unless $e->checkauth;
 113         return $e->die_event unless
 114                 ($e->allowed('CREATE_BIB_IMPORT_QUEUE', undef, $queue) ||
 115                  $e->allowed('CREATE_BIB_IMPORT_QUEUE'));
 116
 117         my $new_rec = _add_bib_rec($e, $marc, $queue->id, $purpose);
 118
 119         return $e->die_event unless ($new_rec);
 120         $e->commit;
 121     return $new_rec;
 122 }
 123 __PACKAGE__->register_method(
 124         api_name        => "open-ils.vandelay.queued_bib_record.create",
 125         method          => "add_record_to_bib_queue",
 126         api_level       => 1,
 127         argc            => 3,
 128 );
 129
 130 sub _add_bib_rec {
 131         my $e = shift;
 132         my $marc = shift;
 133         my $queue = shift;
 134         my $purpose = shift;
 135
 136         my $rec = new Fieldmapper::vandelay::queued_bib_record();
 137         $rec->marc( $marc );
 138         $rec->queue( $queue );
 139         $rec->purpose( $purpose ) if ($purpose);
 140
 141         return $e->create_vandelay_queued_bib_record( $rec );
 142 }
 143
 144 sub add_record_to_authority_queue {
 145         my $self = shift;
 146         my $client = shift;
 147         my $auth = shift;
 148         my $queue = shift;
 149         my $marc = shift;
 150         my $purpose = shift;
 151
 152         my $e = new_editor(authtoken => $auth, xact => 1);
 153
 154         $queue = $e->retrieve_vandelay_authority_queue($queue);
 155
 156         return $e->die_event unless $e->checkauth;
 157         return $e->die_event unless
 158                 ($e->allowed('CREATE_AUTHORITY_IMPORT_QUEUE', undef, $queue) ||
 159                  $e->allowed('CREATE_AUTHORITY_IMPORT_QUEUE'));
 160
 161         my $new_rec = _add_auth_rec($e, $marc, $queue->id, $purpose);
 162
 163         return $e->die_event unless ($new_rec);
 164         $e->commit;
 165     return $new_rec;
 166 }
 167 __PACKAGE__->register_method(
 168         api_name        => "open-ils.vandelay.queued_authority_record.create",
 169         method          => "add_record_to_authority_queue",
 170         api_level       => 1,
 171         argc            => 3,
 172 );
 173
 174 sub _add_auth_rec {
 175         my $e = shift;
 176         my $marc = shift;
 177         my $queue = shift;
 178     my $purpose = shift;
 179
 180         my $rec = new Fieldmapper::vandelay::queued_authority_record();
 181         $rec->marc( $marc );
 182         $rec->queue( $queue );
 183         $rec->purpose( $purpose ) if ($purpose);
 184
 185         return $e->create_vandelay_queued_authority_record( $rec );
 186 }
 187
 188 sub process_spool {
 189         my $self = shift;
 190         my $client = shift;
 191         my $auth = shift;
 192         my $fingerprint = shift;
 193         my $queue_id = shift;
 194
 195         my $e = new_editor(authtoken => $auth, xact => 1);
 196     return $e->die_event unless $e->checkauth;
 197
 198     my $queue;
 199     my $type = $self->{record_type};
 200
 201     if($type eq 'bib') {
 202         $queue = $e->retrieve_vandelay_bib_queue($queue_id) or return $e->die_event;
 203     } else {
 204         $queue = $e->retrieve_vandelay_authority_queue($queue_id) or return $e->die_event;
 205     }
 206
 207     my $evt = check_queue_perms($e, $type, $queue);
 208     return $evt if $evt;
 209
 210         my $method = "open-ils.vandelay.queued_${type}_record.create";
 211         $method = $self->method_lookup( $method );
 212
 213     my $cache = new OpenSRF::Utils::Cache();
 214
 215     my $data = $cache->get_cache('vandelay_import_spool_' . $fingerprint);
 216         my $purpose = $data->{purpose};
 217     $data = decode_base64($data->{marc});
 218
 219     $logger->info("vandelay loaded $fingerprint purpose=$purpose and ".length($data)." bytes of data");
 220
 221     my $fh;
 222     open $fh, '<', \$data;
 223
 224     my $marctype = 'USMARC'; # ?
 225         my $batch = new MARC::Batch ( $marctype, $fh );
 226         $batch->strict_off;
 227
 228         my $count = 0;
 229         while (my $r = $batch->next) {
 230         $logger->info("processing record $count");
 231                 try {
 232                         (my $xml = $r->as_xml_record()) =~ s/\n//sog;
 233                         $xml =~ s/^<\?xml.+\?\s*>//go;
 234                         $xml =~ s/>\s+</></go;
 235                         $xml =~ s/\p{Cc}//go;
 236                         $xml = $U->entityize($xml);
 237                         $xml =~ s/[\x00-\x1f]//go;
 238
 239                         if ($type eq 'bib') {
 240                                 _add_bib_rec( $e, $xml, $queue_id, $purpose ) or return $e->die_event;
 241                         } else {
 242                                 _add_auth_rec( $e, $xml, $queue_id, $purpose ) or return $e->die_event;
 243                         }
 244                         $count++;
 245
 246                         $client->respond( $count );
 247                 } catch Error with {
 248                         my $error = shift;
 249                         $logger->warn("Encountered a bad record at Vandelay ingest: ".$error);
 250                 }
 251         }
 252
 253         $e->commit;
 254         return undef;
 255 }
 256 __PACKAGE__->register_method(
 257         api_name        => "open-ils.vandelay.bib.process_spool",
 258         method          => "process_spool",
 259         api_level       => 1,
 260         argc            => 3,
 261         record_type     => 'bib'
 262 );
 263 __PACKAGE__->register_method(
 264         api_name        => "open-ils.vandelay.auth.process_spool",
 265         method          => "process_spool",
 266         api_level       => 1,
 267         argc            => 3,
 268         record_type     => 'auth'
 269 );
 270
 271
 272 __PACKAGE__->register_method(
 273         api_name        => "open-ils.vandelay.bib_queue.records.retrieve",
 274         method          => 'retrieve_queue',
 275         api_level       => 1,
 276         argc            => 2,
 277     stream      => 1,
 278         record_type     => 'bib'
 279 );
 280 __PACKAGE__->register_method(
 281         api_name        => "open-ils.vandelay.auth_queue.records.retrieve",
 282         method          => 'retrieve_queue',
 283         api_level       => 1,
 284         argc            => 2,
 285     stream      => 1,
 286         record_type     => 'auth'
 287 );
 288
 289 __PACKAGE__->register_method(
 290         api_name        => "open-ils.vandelay.bib_queue.records.matches.retrieve",
 291         method          => 'retrieve_queue',
 292         api_level       => 1,
 293         argc            => 2,
 294     stream      => 1,
 295         record_type     => 'bib',
 296     signature   => {
 297         desc => q/Only retrieve queued bib records that have matches against existing records/
 298     }
 299 );
 300 __PACKAGE__->register_method(
 301         api_name        => "open-ils.vandelay.auth_queue.records.matches.retrieve",
 302         method          => 'retrieve_queue',
 303         api_level       => 1,
 304         argc            => 2,
 305     stream      => 1,
 306         record_type     => 'auth',
 307     signature   => {
 308         desc => q/Only retrieve queued authority records that have matches against existing records/
 309     }
 310
 311 );
 312
 313 sub retrieve_queue {
 314     my($self, $conn, $auth, $queue_id, $options) = @_;
 315     my $e = new_editor(authtoken => $auth);
 316     return $e->event unless $e->checkauth;
 317     $options ||= {};
 318     my $limit = $$options{limit} || 20;
 319     my $offset = $$options{offset} || 0;
 320
 321     my $type = $self->{record_type};
 322     my $queue;
 323     if($type eq 'bib') {
 324         $queue = $e->retrieve_vandelay_bib_queue($queue_id) or return $e->die_event;
 325     } else {
 326         $queue = $e->retrieve_vandelay_authority_queue($queue_id) or return $e->die_event;
 327     }
 328     my $evt = check_queue_perms($e, $type, $queue);
 329     return $evt if $evt;
 330
 331     my $class = ($type eq 'bib') ? 'vqbr' : 'vqar';
 332     my $search = ($type eq 'bib') ?
 333         'search_vandelay_queued_bib_record' : 'search_vandelay_queued_authority_record';
 334     my $retrieve = ($type eq 'bib') ?
 335         'retrieve_vandelay_queued_bib_record' : 'retrieve_vandelay_queued_authority_record';
 336
 337     my $record_ids = $e->$search([
 338             {queue => $queue_id},
 339             {order_by => {$class => 'id'}, limit => $limit, offset => $offset}
 340         ],
 341         {idlist => 1}
 342     );
 343
 344     for my $rec_id (@$record_ids) {
 345         my $params = {
 346             flesh => 1,
 347             flesh_fields => {$class => ['attributes', 'matches']},
 348         };
 349         my $rec = $e->$retrieve([$rec_id, $params]);
 350         $rec->clear_marc if $$options{clear_marc};
 351         next if $self->api_name =~ /matches/ and not @{$rec->matches};
 352         $conn->respond($rec);
 353     }
 354     return undef;
 355 }
 356
 357 sub check_queue_perms {
 358     my($e, $type, $queue) = @_;
 359         if ($type eq 'bib') {
 360                 return $e->die_event unless
 361                         ($e->allowed('CREATE_BIB_IMPORT_QUEUE', undef, $queue) ||
 362                          $e->allowed('CREATE_BIB_IMPORT_QUEUE'));
 363         } else {
 364                 return $e->die_event unless
 365                         ($e->allowed('CREATE_AUTHORITY_IMPORT_QUEUE', undef, $queue) ||
 366                          $e->allowed('CREATE_AUTHORITY_IMPORT_QUEUE'));
 367         }
 368
 369     return undef;
 370 }
 371
 372 __PACKAGE__->register_method(
 373         api_name        => "open-ils.vandelay.bib_record.list.import",
 374         method          => 'import_record_list',
 375         api_level       => 1,
 376         argc            => 2,
 377     stream      => 1,
 378         record_type     => 'bib'
 379 );
 380
 381 __PACKAGE__->register_method(
 382         api_name        => "open-ils.vandelay.auth_record.list.import",
 383         method          => 'import_record_list',
 384         api_level       => 1,
 385         argc            => 2,
 386     stream      => 1,
 387         record_type     => 'auth'
 388 );
 389
 390 sub import_record_list {
 391     my($self, $conn, $auth, $rec_ids, $args) = @_;
 392     my $e = new_editor(xact => 1, authtoken => $auth);
 393     return $e->die_event unless $e->checkauth;
 394     $args ||= {};
 395     my $err = import_record_list_impl($self, $conn, $auth, $e, $rec_ids, $args);
 396     return $err if $err;
 397     $e->commit;
 398     return {complete => 1};
 399 }
 400
 401 sub import_record_list_impl {
 402     my($self, $conn, $auth, $e, $rec_ids, $args) = @_;
 403
 404     my $overlay_map = $args->{overlay_map} || {};
 405     my $type = $self->{record_type};
 406     my $total = @$rec_ids;
 407     my $count = 0;
 408     my %queues;
 409
 410     for my $rec_id (@$rec_ids) {
 411         if($type eq 'bib') {
 412
 413             my $rec = $e->retrieve_vandelay_queued_bib_record($rec_id)
 414                 or return $e->die_event;
 415
 416             $queues{$rec->queue} = 1;
 417
 418             my $record;
 419             if(defined $overlay_map->{$rec_id}) {
 420                 $logger->info("vl: overlaying record $rec_id");
 421                 $record = $U->simplereq(
 422                     'open-ils.cat',
 423                     'open-ils.cat.biblio.record.xml.update',
 424                     $auth, $overlay_map->{$rec_id}, $rec->marc); #$rec->bib_source);
 425             } else {
 426                 $logger->info("vl: importing new record");
 427                 $record = $U->simplereq(
 428                     'open-ils.cat',
 429                     'open-ils.cat.biblio.record.xml.import',
 430                     $auth, $rec->marc); #$rec->bib_source);
 431             }
 432
 433             if($U->event_code($record)) {
 434                 $e->rollback;
 435                 return $record;
 436             }
 437
 438             $rec->imported_as($record->id);
 439             $rec->import_time('now');
 440             $e->update_vandelay_queued_bib_record($rec) or return $e->die_event;
 441
 442         } else { # authority
 443
 444             my $rec = $e->retrieve_vandelay_queued_authority_record($rec_id)
 445                 or return $e->die_event;
 446
 447             $queues{$rec->queue} = 1;
 448
 449             my $record;
 450             if(defined $overlay_map->{$rec_id}) {
 451                 $logger->info("vl: overlaying record $rec_id");
 452                 $record = $U->simplereq(
 453                     'open-ils.cat',
 454                     'open-ils.cat.authority.record.overlay',
 455                     $auth, $overlay_map->{$rec_id}, $rec->marc); #$rec->bib_source);
 456             } else {
 457                 $logger->info("vl: importing new record");
 458                 $record = $U->simplereq(
 459                     'open-ils.cat',
 460                     'open-ils.cat.authority.record.import',
 461                     $auth, $rec->marc); #$rec->bib_source);
 462             }
 463
 464             if($U->event_code($record)) {
 465                 $e->rollback;
 466                 return $record;
 467             }
 468
 469             $rec->imported_as($record->id);
 470             $rec->import_time('now');
 471             $e->update_vandelay_queued_authority_record($rec) or return $e->die_event;
 472         }
 473
 474         $conn->respond({total => $total, progress => ++$count, imported => $rec_id});
 475     }
 476
 477     # see if we need to mark any queues as complete
 478     for my $q_id (keys %queues) {
 479         if($type eq 'bib') {
 480             my $remaining = $e->search_vandelay_queued_bib_record(
 481                 {queue => $q_id, import_time => undef}, {idlist => 1});
 482             unless(@$remaining) {
 483                 my $queue = $e->retrieve_vandelay_bib_queue($q_id);
 484                 unless($U->is_true($queue->complete)) {
 485                     $queue->complete('t');
 486                     $e->update_vandelay_bib_queue($queue) or return $e->die_event;
 487                 }
 488             }
 489         } else {
 490             my $remaining = $e->search_vandelay_queued_authority_record(
 491                 {queue => $q_id, import_time => undef}, {idlist => 1});
 492             unless(@$remaining) {
 493                 my $queue = $e->retrieve_vandelay_authority_queue($q_id);
 494                 unless($U->is_true($queue->complete)) {
 495                     $queue->complete('t');
 496                     $e->update_vandelay_authority_queue($queue) or return $e->die_event;
 497                 }
 498             }
 499         }
 500     }
 501
 502     return undef;
 503 }
 504
 505
 506 __PACKAGE__->register_method(
 507         api_name        => "open-ils.vandelay.bib_queue.owner.retrieve",
 508         method          => 'owner_queue_retrieve',
 509         api_level       => 1,
 510         argc            => 2,
 511     stream      => 1,
 512         record_type     => 'bib'
 513 );
 514 __PACKAGE__->register_method(
 515         api_name        => "open-ils.vandelay.authority_queue.owner.retrieve",
 516         method          => 'owner_queue_retrieve',
 517         api_level       => 1,
 518         argc            => 2,
 519     stream      => 1,
 520         record_type     => 'auth'
 521 );
 522
 523 sub owner_queue_retrieve {
 524     my($self, $conn, $auth, $owner_id) = @_;
 525     my $e = new_editor(authtoken => $auth);
 526     return $e->die_event unless $e->checkauth;
 527     $owner_id = $e->requestor->id; # XXX add support for viewing other's queues?
 528     my $queues;
 529     if($self->{record_type} eq 'bib') {
 530         $queues = $e->search_vandelay_bib_queue(
 531             {complete => 'f', owner => $owner_id});
 532     } else {
 533         $queues = $e->search_vandelay_authority_queue(
 534             {complete => 'f', owner => $owner_id});
 535     }
 536     $conn->respond($_) for @$queues;
 537     return undef;
 538 }
 539
 540
 541
 542 1;