Open-ILS/src/perlmods/OpenILS/Application/Vandelay.pm

   1 package OpenILS::Application::Vandelay;
   2 use strict; use warnings;
   3 use OpenILS::Application;
   4 use base qw/OpenILS::Application/;
   5
   6 use Unicode::Normalize;
   7 use OpenSRF::EX qw/:try/;
   8
   9 use OpenSRF::AppSession;
  10 use OpenSRF::Utils::SettingsClient;
  11 use OpenSRF::Utils::Cache;
  12
  13 use OpenILS::Utils::Fieldmapper;
  14 use OpenILS::Utils::CStoreEditor qw/:funcs/;
  15
  16 use MARC::Batch;
  17 use MARC::Record;
  18 use MARC::File::XML;
  19
  20 use OpenILS::Utils::Fieldmapper;
  21
  22 use Time::HiRes qw(time);
  23
  24 use OpenSRF::Utils::Logger qw/$logger/;
  25 use MIME::Base64;
  26 use OpenILS::Application::AppUtils;
  27 my $U = 'OpenILS::Application::AppUtils';
  28
  29 sub initialize {}
  30 sub child_init {}
  31
  32 # --------------------------------------------------------------------------------
  33 # Biblio ingest
  34
  35 sub create_bib_queue {
  36         my $self = shift;
  37         my $client = shift;
  38         my $auth = shift;
  39         my $name = shift;
  40         my $owner = shift;
  41         my $type = shift;
  42
  43         my $e = new_editor(authtoken => $auth, xact => 1);
  44
  45         return $e->die_event unless $e->checkauth;
  46         return $e->die_event unless $e->allowed('CREATE_BIB_IMPORT_QUEUE');
  47     $owner ||= $e->requestor->id;
  48
  49         my $queue = new Fieldmapper::vandelay::bib_queue();
  50         $queue->name( $name );
  51         $queue->owner( $owner );
  52         $queue->queue_type( $type ) if ($type);
  53
  54         my $new_q = $e->create_vandelay_bib_queue( $queue );
  55         return $e->die_event unless ($new_q);
  56         $e->commit;
  57
  58     return $new_q;
  59 }
  60 __PACKAGE__->register_method(
  61         api_name        => "open-ils.vandelay.bib_queue.create",
  62         method          => "create_bib_queue",
  63         api_level       => 1,
  64         argc            => 3,
  65 );
  66
  67
  68 sub create_auth_queue {
  69         my $self = shift;
  70         my $client = shift;
  71         my $auth = shift;
  72         my $name = shift;
  73         my $owner = shift;
  74         my $type = shift;
  75
  76         my $e = new_editor(authtoken => $auth, xact => 1);
  77
  78         return $e->die_event unless $e->checkauth;
  79         return $e->die_event unless $e->allowed('CREATE_AUTHORITY_IMPORT_QUEUE');
  80     $owner ||= $e->requestor->id;
  81
  82         my $queue = new Fieldmapper::vandelay::authority_queue();
  83         $queue->name( $name );
  84         $queue->owner( $owner );
  85         $queue->queue_type( $type ) if ($type);
  86
  87         my $new_q = $e->create_vandelay_authority_queue( $queue );
  88         $e->die_event unless ($new_q);
  89         $e->commit;
  90
  91     return $new_q;
  92 }
  93 __PACKAGE__->register_method(
  94         api_name        => "open-ils.vandelay.authority_queue.create",
  95         method          => "create_auth_queue",
  96         api_level       => 1,
  97         argc            => 3,
  98 );
  99
 100 sub add_record_to_bib_queue {
 101         my $self = shift;
 102         my $client = shift;
 103         my $auth = shift;
 104         my $queue = shift;
 105         my $marc = shift;
 106         my $purpose = shift;
 107
 108         my $e = new_editor(authtoken => $auth, xact => 1);
 109
 110         $queue = $e->retrieve_vandelay_bib_queue($queue);
 111
 112         return $e->die_event unless $e->checkauth;
 113         return $e->die_event unless
 114                 ($e->allowed('CREATE_BIB_IMPORT_QUEUE', undef, $queue) ||
 115                  $e->allowed('CREATE_BIB_IMPORT_QUEUE'));
 116
 117         my $new_rec = _add_bib_rec($e, $marc, $queue->id, $purpose);
 118
 119         return $e->die_event unless ($new_rec);
 120         $e->commit;
 121     return $new_rec;
 122 }
 123 __PACKAGE__->register_method(
 124         api_name        => "open-ils.vandelay.queued_bib_record.create",
 125         method          => "add_record_to_bib_queue",
 126         api_level       => 1,
 127         argc            => 3,
 128 );
 129
 130 sub _add_bib_rec {
 131         my $e = shift;
 132         my $marc = shift;
 133         my $queue = shift;
 134         my $purpose = shift;
 135
 136         my $rec = new Fieldmapper::vandelay::queued_bib_record();
 137         $rec->marc( $marc );
 138         $rec->queue( $queue );
 139         $rec->purpose( $purpose ) if ($purpose);
 140
 141         return $e->create_vandelay_queued_bib_record( $rec );
 142 }
 143
 144 sub add_record_to_authority_queue {
 145         my $self = shift;
 146         my $client = shift;
 147         my $auth = shift;
 148         my $queue = shift;
 149         my $marc = shift;
 150         my $purpose = shift;
 151
 152         my $e = new_editor(authtoken => $auth, xact => 1);
 153
 154         $queue = $e->retrieve_vandelay_authority_queue($queue);
 155
 156         return $e->die_event unless $e->checkauth;
 157         return $e->die_event unless
 158                 ($e->allowed('CREATE_AUTHORITY_IMPORT_QUEUE', undef, $queue) ||
 159                  $e->allowed('CREATE_AUTHORITY_IMPORT_QUEUE'));
 160
 161         my $new_rec = _add_auth_rec($e, $marc, $queue->id, $purpose);
 162
 163         return $e->die_event unless ($new_rec);
 164         $e->commit;
 165     return $new_rec;
 166 }
 167 __PACKAGE__->register_method(
 168         api_name        => "open-ils.vandelay.queued_authority_record.create",
 169         method          => "add_record_to_authority_queue",
 170         api_level       => 1,
 171         argc            => 3,
 172 );
 173
 174 sub _add_auth_rec {
 175         my $e = shift;
 176         my $marc = shift;
 177         my $queue = shift;
 178     my $purpose = shift;
 179
 180         my $rec = new Fieldmapper::vandelay::queued_authority_record();
 181         $rec->marc( $marc );
 182         $rec->queue( $queue );
 183         $rec->purpose( $purpose ) if ($purpose);
 184
 185         return $e->create_vandelay_queued_authority_record( $rec );
 186 }
 187
 188 sub process_spool {
 189         my $self = shift;
 190         my $client = shift;
 191         my $auth = shift;
 192         my $fingerprint = shift;
 193         my $queue_id = shift;
 194
 195         my $e = new_editor(authtoken => $auth, xact => 1);
 196     return $e->die_event unless $e->checkauth;
 197
 198     my $queue;
 199     my $type = $self->{record_type};
 200
 201     if($type eq 'bib') {
 202         $queue = $e->retrieve_vandelay_bib_queue($queue_id) or return $e->die_event;
 203     } else {
 204         $queue = $e->retrieve_vandelay_authority_queue($queue_id) or return $e->die_event;
 205     }
 206
 207     my $evt = check_queue_perms($e, $type, $queue);
 208     return $evt if $evt;
 209
 210         my $method = "open-ils.vandelay.queued_${type}_record.create";
 211         $method = $self->method_lookup( $method );
 212
 213     my $cache = new OpenSRF::Utils::Cache();
 214
 215     my $data = $cache->get_cache('vandelay_import_spool_' . $fingerprint);
 216         my $purpose = $data->{purpose};
 217     $data = decode_base64($data->{marc});
 218
 219     $logger->info("vandelay loaded $fingerprint purpose=$purpose and ".length($data)." bytes of data");
 220
 221     my $fh;
 222     open $fh, '<', \$data;
 223
 224     my $marctype = 'USMARC'; # ?
 225         my $batch = new MARC::Batch ( $marctype, $fh );
 226         $batch->strict_off;
 227
 228         my $count = 0;
 229         while (my $r = $batch->next) {
 230         $logger->info("processing record $count");
 231                 try {
 232                         (my $xml = $r->as_xml_record()) =~ s/\n//sog;
 233                         $xml =~ s/^<\?xml.+\?\s*>//go;
 234                         $xml =~ s/>\s+</></go;
 235                         $xml =~ s/\p{Cc}//go;
 236                         $xml = $U->entityize($xml);
 237                         $xml =~ s/[\x00-\x1f]//go;
 238
 239                         if ($type eq 'bib') {
 240                                 _add_bib_rec( $e, $xml, $queue_id, $purpose ) or return $e->die_event;
 241                         } else {
 242                                 _add_auth_rec( $e, $xml, $queue_id, $purpose ) or return $e->die_event;
 243                         }
 244                         $count++;
 245
 246                         $client->respond( $count );
 247                 } catch Error with {
 248                         my $error = shift;
 249                         $logger->warn("Encountered a bad record at Vandelay ingest: ".$error);
 250                 }
 251         }
 252
 253         $e->commit;
 254         return undef;
 255 }
 256 __PACKAGE__->register_method(
 257         api_name        => "open-ils.vandelay.bib.process_spool",
 258         method          => "process_spool",
 259         api_level       => 1,
 260         argc            => 3,
 261         record_type     => 'bib'
 262 );
 263 __PACKAGE__->register_method(
 264         api_name        => "open-ils.vandelay.auth.process_spool",
 265         method          => "process_spool",
 266         api_level       => 1,
 267         argc            => 3,
 268         record_type     => 'auth'
 269 );
 270
 271
 272 __PACKAGE__->register_method(
 273         api_name        => "open-ils.vandelay.bib_queue.records.retrieve",
 274         method          => 'retrieve_queue',
 275         api_level       => 1,
 276         argc            => 2,
 277     stream      => 1,
 278         record_type     => 'bib'
 279 );
 280 __PACKAGE__->register_method(
 281         api_name        => "open-ils.vandelay.auth_queue.records.retrieve",
 282         method          => 'retrieve_queue',
 283         api_level       => 1,
 284         argc            => 2,
 285     stream      => 1,
 286         record_type     => 'auth'
 287 );
 288
 289 __PACKAGE__->register_method(
 290         api_name        => "open-ils.vandelay.bib_queue.records.matches.retrieve",
 291         method          => 'retrieve_queue',
 292         api_level       => 1,
 293         argc            => 2,
 294     stream      => 1,
 295         record_type     => 'bib',
 296     signature   => {
 297         desc => q/Only retrieve queued bib records that have matches against existing records/
 298     }
 299 );
 300 __PACKAGE__->register_method(
 301         api_name        => "open-ils.vandelay.auth_queue.records.matches.retrieve",
 302         method          => 'retrieve_queue',
 303         api_level       => 1,
 304         argc            => 2,
 305     stream      => 1,
 306         record_type     => 'auth',
 307     signature   => {
 308         desc => q/Only retrieve queued authority records that have matches against existing records/
 309     }
 310
 311 );
 312
 313 sub retrieve_queue {
 314     my($self, $conn, $auth, $queue_id, $options) = @_;
 315     my $e = new_editor(authtoken => $auth);
 316     return $e->event unless $e->checkauth;
 317
 318     my $type = $self->{record_type};
 319     my $queue;
 320     if($type eq 'bib') {
 321         $queue = $e->retrieve_vandelay_bib_queue($queue_id) or return $e->die_event;
 322     } else {
 323         $queue = $e->retrieve_vandelay_authority_queue($queue_id) or return $e->die_event;
 324     }
 325     my $evt = check_queue_perms($e, $type, $queue);
 326     return $evt if $evt;
 327
 328     my $class = ($type eq 'bib') ? 'vqbr' : 'vqar';
 329     my $search = ($type eq 'bib') ?
 330         'search_vandelay_queued_bib_record' : 'search_vandelay_queued_authority_record';
 331     my $retrieve = ($type eq 'bib') ?
 332         'retrieve_vandelay_queued_bib_record' : 'retrieve_vandelay_queued_authority_record';
 333     my $record_ids = $e->$search({queue => $queue_id}, {idlist => 1});
 334
 335     for my $rec_id (@$record_ids) {
 336         my $rec = $e->$retrieve([
 337             $rec_id,
 338             {   flesh => 1,
 339                 flesh_fields => {$class => ['attributes', 'matches']}
 340             }
 341         ]);
 342         $rec->clear_marc if $$options{clear_marc};
 343         next if $self->api_name =~ /matches/ and not @{$rec->matches};
 344         $conn->respond($rec);
 345     }
 346     return undef;
 347 }
 348
 349 sub check_queue_perms {
 350     my($e, $type, $queue) = @_;
 351         if ($type eq 'bib') {
 352                 return $e->die_event unless
 353                         ($e->allowed('CREATE_BIB_IMPORT_QUEUE', undef, $queue) ||
 354                          $e->allowed('CREATE_BIB_IMPORT_QUEUE'));
 355         } else {
 356                 return $e->die_event unless
 357                         ($e->allowed('CREATE_AUTHORITY_IMPORT_QUEUE', undef, $queue) ||
 358                          $e->allowed('CREATE_AUTHORITY_IMPORT_QUEUE'));
 359         }
 360
 361     return undef;
 362 }
 363
 364 __PACKAGE__->register_method(
 365         api_name        => "open-ils.vandelay.bib_record.list.import",
 366         method          => 'import_record_list',
 367         api_level       => 1,
 368         argc            => 2,
 369     stream      => 1,
 370         record_type     => 'bib'
 371 );
 372
 373 __PACKAGE__->register_method(
 374         api_name        => "open-ils.vandelay.auth_record.list.import",
 375         method          => 'import_record_list',
 376         api_level       => 1,
 377         argc            => 2,
 378     stream      => 1,
 379         record_type     => 'auth'
 380 );
 381
 382 sub import_record_list {
 383     my($self, $conn, $auth, $rec_ids, $args) = @_;
 384     my $e = new_editor(xact => 1, authtoken => $auth);
 385     return $e->die_event unless $e->checkauth;
 386     $args ||= {};
 387     my $err = import_record_list_impl($self, $conn, $auth, $e, $rec_ids, $args);
 388     return $err if $err;
 389     $e->commit;
 390     return {complete => 1};
 391 }
 392
 393 sub import_record_list_impl {
 394     my($self, $conn, $auth, $e, $rec_ids, $args) = @_;
 395
 396     my $overlay_map = $args->{overlay_map} || {};
 397     my $type = $self->{record_type};
 398     my $total = @$rec_ids;
 399     my $count = 0;
 400     my %queues;
 401
 402     for my $rec_id (@$rec_ids) {
 403         if($type eq 'bib') {
 404
 405             my $rec = $e->retrieve_vandelay_queued_bib_record($rec_id)
 406                 or return $e->die_event;
 407
 408             $queues{$rec->queue} = 1;
 409
 410             my $record;
 411             if(defined $overlay_map->{$rec_id}) {
 412                 $logger->info("vl: overlaying record $rec_id");
 413                 $record = $U->simplereq(
 414                     'open-ils.cat',
 415                     'open-ils.cat.biblio.record.xml.update',
 416                     $auth, $overlay_map->{$rec_id}, $rec->marc); #$rec->bib_source);
 417             } else {
 418                 $logger->info("vl: importing new record");
 419                 $record = $U->simplereq(
 420                     'open-ils.cat',
 421                     'open-ils.cat.biblio.record.xml.import',
 422                     $auth, $rec->marc); #$rec->bib_source);
 423             }
 424
 425             if($U->event_code($record)) {
 426                 $e->rollback;
 427                 return $record;
 428             }
 429
 430             $rec->imported_as($record->id);
 431             $rec->import_time('now');
 432             $e->update_vandelay_queued_bib_record($rec) or return $e->die_event;
 433
 434         } else { # authority
 435
 436             my $rec = $e->retrieve_vandelay_queued_authority_record($rec_id)
 437                 or return $e->die_event;
 438
 439             $queues{$rec->queue} = 1;
 440
 441             my $record;
 442             if(defined $overlay_map->{$rec_id}) {
 443                 $logger->info("vl: overlaying record $rec_id");
 444                 $record = $U->simplereq(
 445                     'open-ils.cat',
 446                     'open-ils.cat.authority.record.overlay',
 447                     $auth, $overlay_map->{$rec_id}, $rec->marc); #$rec->bib_source);
 448             } else {
 449                 $logger->info("vl: importing new record");
 450                 $record = $U->simplereq(
 451                     'open-ils.cat',
 452                     'open-ils.cat.authority.record.import',
 453                     $auth, $rec->marc); #$rec->bib_source);
 454             }
 455
 456             if($U->event_code($record)) {
 457                 $e->rollback;
 458                 return $record;
 459             }
 460
 461             $rec->imported_as($record->id);
 462             $rec->import_time('now');
 463             $e->update_vandelay_queued_authority_record($rec) or return $e->die_event;
 464         }
 465
 466         $conn->respond({total => $total, progress => ++$count, imported => $rec_id});
 467     }
 468
 469     # see if we need to mark any queues as complete
 470     for my $q_id (keys %queues) {
 471         if($type eq 'bib') {
 472             my $remaining = $e->search_vandelay_queued_bib_record(
 473                 {queue => $q_id, import_time => undef}, {idlist => 1});
 474             unless(@$remaining) {
 475                 my $queue = $e->retrieve_vandelay_bib_queue($q_id);
 476                 unless($U->is_true($queue->complete)) {
 477                     $queue->complete('t');
 478                     $e->update_vandelay_bib_queue($queue) or return $e->die_event;
 479                 }
 480             }
 481         } else {
 482             my $remaining = $e->search_vandelay_queued_authority_record(
 483                 {queue => $q_id, import_time => undef}, {idlist => 1});
 484             unless(@$remaining) {
 485                 my $queue = $e->retrieve_vandelay_authority_queue($q_id);
 486                 unless($U->is_true($queue->complete)) {
 487                     $queue->complete('t');
 488                     $e->update_vandelay_authority_queue($queue) or return $e->die_event;
 489                 }
 490             }
 491         }
 492     }
 493
 494     return undef;
 495 }
 496
 497
 498 __PACKAGE__->register_method(
 499         api_name        => "open-ils.vandelay.bib_queue.owner.retrieve",
 500         method          => 'owner_queue_retrieve',
 501         api_level       => 1,
 502         argc            => 2,
 503     stream      => 1,
 504         record_type     => 'bib'
 505 );
 506 __PACKAGE__->register_method(
 507         api_name        => "open-ils.vandelay.authority_queue.owner.retrieve",
 508         method          => 'owner_queue_retrieve',
 509         api_level       => 1,
 510         argc            => 2,
 511     stream      => 1,
 512         record_type     => 'auth'
 513 );
 514
 515 sub owner_queue_retrieve {
 516     my($self, $conn, $auth, $owner_id) = @_;
 517     my $e = new_editor(authtoken => $auth);
 518     return $e->die_event unless $e->checkauth;
 519     $owner_id = $e->requestor->id; # XXX add support for viewing other's queues?
 520     my $queues;
 521     if($self->{record_type} eq 'bib') {
 522         $queues = $e->search_vandelay_bib_queue(
 523             {complete => 'f', owner => $owner_id});
 524     } else {
 525         $queues = $e->search_vandelay_authority_queue(
 526             {complete => 'f', owner => $owner_id});
 527     }
 528     $conn->respond($_) for @$queues;
 529     return undef;
 530 }
 531
 532
 533
 534 1;