moved to file-based marc storage, since memcache has a hard-coded 1MB limit on data...
[Evergreen.git] / Open-ILS / src / perlmods / OpenILS / Application / Vandelay.pm
1 package OpenILS::Application::Vandelay;
2 use strict; use warnings;
3 use OpenILS::Application;
4 use base qw/OpenILS::Application/;
5 use Unicode::Normalize;
6 use OpenSRF::EX qw/:try/;
7 use OpenSRF::AppSession;
8 use OpenSRF::Utils::SettingsClient;
9 use OpenSRF::Utils::Cache;
10 use OpenILS::Utils::Fieldmapper;
11 use OpenILS::Utils::CStoreEditor qw/:funcs/;
12 use MARC::Batch;
13 use MARC::Record;
14 use MARC::File::XML;
15 use OpenILS::Utils::Fieldmapper;
16 use Time::HiRes qw(time);
17 use OpenSRF::Utils::Logger qw/$logger/;
18 use MIME::Base64;
19 use OpenILS::Application::AppUtils;
20 use OpenILS::Application::Cat::BibCommon;
21 use OpenILS::Application::Cat::AuthCommon;
22 my $U = 'OpenILS::Application::AppUtils';
23
24 sub initialize {}
25 sub child_init {}
26
27 # --------------------------------------------------------------------------------
28 # Biblio ingest
29
30 sub create_bib_queue {
31         my $self = shift;
32         my $client = shift;
33         my $auth = shift;
34         my $name = shift;
35         my $owner = shift;
36         my $type = shift;
37
38         my $e = new_editor(authtoken => $auth, xact => 1);
39
40         return $e->die_event unless $e->checkauth;
41         return $e->die_event unless $e->allowed('CREATE_BIB_IMPORT_QUEUE');
42     $owner ||= $e->requestor->id;
43
44     return OpenILS::Event->new('BIB_QUEUE_EXISTS') 
45         if $e->search_vandelay_bib_queue(
46             {name => $name, owner => $owner, queue_type => $type})->[0];
47
48         my $queue = new Fieldmapper::vandelay::bib_queue();
49         $queue->name( $name );
50         $queue->owner( $owner );
51         $queue->queue_type( $type ) if ($type);
52
53         my $new_q = $e->create_vandelay_bib_queue( $queue );
54         return $e->die_event unless ($new_q);
55         $e->commit;
56
57     return $new_q;
58 }
59 __PACKAGE__->register_method(  
60         api_name        => "open-ils.vandelay.bib_queue.create",
61         method          => "create_bib_queue",
62         api_level       => 1,
63         argc            => 3,
64 );                      
65
66
67 sub create_auth_queue {
68         my $self = shift;
69         my $client = shift;
70         my $auth = shift;
71         my $name = shift;
72         my $owner = shift;
73         my $type = shift;
74
75         my $e = new_editor(authtoken => $auth, xact => 1);
76
77         return $e->die_event unless $e->checkauth;
78         return $e->die_event unless $e->allowed('CREATE_AUTHORITY_IMPORT_QUEUE');
79     $owner ||= $e->requestor->id;
80
81     return OpenILS::Event->new('AUTH_QUEUE_EXISTS') 
82         if $e->search_vandelay_bib_queue(
83             {name => $name, owner => $owner, queue_type => $type})->[0];
84
85         my $queue = new Fieldmapper::vandelay::authority_queue();
86         $queue->name( $name );
87         $queue->owner( $owner );
88         $queue->queue_type( $type ) if ($type);
89
90         my $new_q = $e->create_vandelay_authority_queue( $queue );
91         $e->die_event unless ($new_q);
92         $e->commit;
93
94     return $new_q;
95 }
96 __PACKAGE__->register_method(  
97         api_name        => "open-ils.vandelay.authority_queue.create",
98         method          => "create_auth_queue",
99         api_level       => 1,
100         argc            => 3,
101 );                      
102
103 sub add_record_to_bib_queue {
104         my $self = shift;
105         my $client = shift;
106         my $auth = shift;
107         my $queue = shift;
108         my $marc = shift;
109         my $purpose = shift;
110
111         my $e = new_editor(authtoken => $auth, xact => 1);
112
113         $queue = $e->retrieve_vandelay_bib_queue($queue);
114
115         return $e->die_event unless $e->checkauth;
116         return $e->die_event unless
117                 ($e->allowed('CREATE_BIB_IMPORT_QUEUE', undef, $queue) ||
118                  $e->allowed('CREATE_BIB_IMPORT_QUEUE'));
119
120         my $new_rec = _add_bib_rec($e, $marc, $queue->id, $purpose);
121
122         return $e->die_event unless ($new_rec);
123         $e->commit;
124     return $new_rec;
125 }
126 __PACKAGE__->register_method(  
127         api_name        => "open-ils.vandelay.queued_bib_record.create",
128         method          => "add_record_to_bib_queue",
129         api_level       => 1,
130         argc            => 3,
131 );                      
132
133 sub _add_bib_rec {
134         my $e = shift;
135         my $marc = shift;
136         my $queue = shift;
137         my $purpose = shift;
138
139         my $rec = new Fieldmapper::vandelay::queued_bib_record();
140         $rec->marc( $marc );
141         $rec->queue( $queue );
142         $rec->purpose( $purpose ) if ($purpose);
143
144         return $e->create_vandelay_queued_bib_record( $rec );
145 }
146
147 sub add_record_to_authority_queue {
148         my $self = shift;
149         my $client = shift;
150         my $auth = shift;
151         my $queue = shift;
152         my $marc = shift;
153         my $purpose = shift;
154
155         my $e = new_editor(authtoken => $auth, xact => 1);
156
157         $queue = $e->retrieve_vandelay_authority_queue($queue);
158
159         return $e->die_event unless $e->checkauth;
160         return $e->die_event unless
161                 ($e->allowed('CREATE_AUTHORITY_IMPORT_QUEUE', undef, $queue) ||
162                  $e->allowed('CREATE_AUTHORITY_IMPORT_QUEUE'));
163
164         my $new_rec = _add_auth_rec($e, $marc, $queue->id, $purpose);
165
166         return $e->die_event unless ($new_rec);
167         $e->commit;
168     return $new_rec;
169 }
170 __PACKAGE__->register_method(
171         api_name        => "open-ils.vandelay.queued_authority_record.create",
172         method          => "add_record_to_authority_queue",
173         api_level       => 1,
174         argc            => 3,
175 );
176
177 sub _add_auth_rec {
178         my $e = shift;
179         my $marc = shift;
180         my $queue = shift;
181     my $purpose = shift;
182
183         my $rec = new Fieldmapper::vandelay::queued_authority_record();
184         $rec->marc( $marc );
185         $rec->queue( $queue );
186         $rec->purpose( $purpose ) if ($purpose);
187
188         return $e->create_vandelay_queued_authority_record( $rec );
189 }
190
191 sub process_spool {
192         my $self = shift;
193         my $client = shift;
194         my $auth = shift;
195         my $fingerprint = shift;
196         my $queue_id = shift;
197
198         my $e = new_editor(authtoken => $auth, xact => 1);
199     return $e->die_event unless $e->checkauth;
200
201     my $queue;
202     my $type = $self->{record_type};
203
204     if($type eq 'bib') {
205         $queue = $e->retrieve_vandelay_bib_queue($queue_id) or return $e->die_event;
206     } else {
207         $queue = $e->retrieve_vandelay_authority_queue($queue_id) or return $e->die_event;
208     }
209
210     my $evt = check_queue_perms($e, $type, $queue);
211     return $evt if $evt;
212
213         my $method = "open-ils.vandelay.queued_${type}_record.create";
214         $method = $self->method_lookup( $method );
215
216     my $cache = new OpenSRF::Utils::Cache();
217
218     my $data = $cache->get_cache('vandelay_import_spool_' . $fingerprint);
219         my $purpose = $data->{purpose};
220     my $filename = $data->{path};
221
222     unless(-r $filename) {
223         $logger->error("unable to read MARC file");
224         return -1; # make this an event XXX
225     }
226
227     $logger->info("vandelay spooling $fingerprint purpose=$purpose file=$filename");
228
229     my $marctype = 'USMARC'; # ?
230         my $batch = new MARC::Batch ($marctype, $filename);
231         $batch->strict_off;
232
233         my $count = 0;
234         while (my $r = $batch->next) {
235         $logger->info("processing record $count");
236                 try {
237                         (my $xml = $r->as_xml_record()) =~ s/\n//sog;
238                         $xml =~ s/^<\?xml.+\?\s*>//go;
239                         $xml =~ s/>\s+</></go;
240                         $xml =~ s/\p{Cc}//go;
241                         $xml = $U->entityize($xml);
242                         $xml =~ s/[\x00-\x1f]//go;
243
244                         if ($type eq 'bib') {
245                                 _add_bib_rec( $e, $xml, $queue_id, $purpose ) or return $e->die_event;
246                         } else {
247                                 _add_auth_rec( $e, $xml, $queue_id, $purpose ) or return $e->die_event;
248                         }
249                         $count++;
250                         
251                         $client->respond( $count );
252                 } catch Error with {
253                         my $error = shift;
254                         $logger->warn("Encountered a bad record at Vandelay ingest: ".$error);
255                 }
256         }
257
258         $e->commit;
259     unlink($filename);
260     $cache->delete_cache('vandelay_import_spool_' . $fingerprint);
261         return undef;
262 }
263
264 __PACKAGE__->register_method(  
265         api_name        => "open-ils.vandelay.bib.process_spool",
266         method          => "process_spool",
267         api_level       => 1,
268         argc            => 3,
269         record_type     => 'bib'
270 );                      
271 __PACKAGE__->register_method(  
272         api_name        => "open-ils.vandelay.auth.process_spool",
273         method          => "process_spool",
274         api_level       => 1,
275         argc            => 3,
276         record_type     => 'auth'
277 );                      
278
279
280 __PACKAGE__->register_method(  
281         api_name        => "open-ils.vandelay.bib_queue.records.retrieve",
282         method          => 'retrieve_queue',
283         api_level       => 1,
284         argc            => 2,
285     stream      => 1,
286         record_type     => 'bib'
287 );
288 __PACKAGE__->register_method(  
289         api_name        => "open-ils.vandelay.auth_queue.records.retrieve",
290         method          => 'retrieve_queue',
291         api_level       => 1,
292         argc            => 2,
293     stream      => 1,
294         record_type     => 'auth'
295 );
296
297 __PACKAGE__->register_method(  
298         api_name        => "open-ils.vandelay.bib_queue.records.matches.retrieve",
299         method          => 'retrieve_queue',
300         api_level       => 1,
301         argc            => 2,
302     stream      => 1,
303         record_type     => 'bib',
304     signature   => {
305         desc => q/Only retrieve queued bib records that have matches against existing records/
306     }
307 );
308 __PACKAGE__->register_method(  
309         api_name        => "open-ils.vandelay.auth_queue.records.matches.retrieve",
310         method          => 'retrieve_queue',
311         api_level       => 1,
312         argc            => 2,
313     stream      => 1,
314         record_type     => 'auth',
315     signature   => {
316         desc => q/Only retrieve queued authority records that have matches against existing records/
317     }
318
319 );
320
321 sub retrieve_queue {
322     my($self, $conn, $auth, $queue_id, $options) = @_;
323     my $e = new_editor(authtoken => $auth);
324     return $e->event unless $e->checkauth;
325     $options ||= {};
326     my $limit = $$options{limit} || 20;
327     my $offset = $$options{offset} || 0;
328
329     my $type = $self->{record_type};
330     my $queue;
331     if($type eq 'bib') {
332         $queue = $e->retrieve_vandelay_bib_queue($queue_id) or return $e->die_event;
333     } else {
334         $queue = $e->retrieve_vandelay_authority_queue($queue_id) or return $e->die_event;
335     }
336     my $evt = check_queue_perms($e, $type, $queue);
337     return $evt if $evt;
338
339     my $class = ($type eq 'bib') ? 'vqbr' : 'vqar';
340     my $search = ($type eq 'bib') ? 
341         'search_vandelay_queued_bib_record' : 'search_vandelay_queued_authority_record';
342     my $retrieve = ($type eq 'bib') ? 
343         'retrieve_vandelay_queued_bib_record' : 'retrieve_vandelay_queued_authority_record';
344
345     my $record_ids;
346     if($self->api_name =~ /matches/) {
347         # fetch only matched records
348         $record_ids = queued_records_with_matches($e, $type, $queue_id, $limit, $offset);
349     } else {
350         # fetch all queue records
351         $record_ids = $e->$search([
352                 {queue => $queue_id}, 
353                 {order_by => {$class => 'id'}, limit => $limit, offset => $offset}
354             ],
355             {idlist => 1}
356         );
357     }
358
359
360     for my $rec_id (@$record_ids) {
361         my $params = {   
362             flesh => 1,
363             flesh_fields => {$class => ['attributes', 'matches']},
364         };
365         my $rec = $e->$retrieve([$rec_id, $params]);
366         $rec->clear_marc if $$options{clear_marc};
367         $conn->respond($rec);
368     }
369     return undef;
370 }
371
372 sub check_queue_perms {
373     my($e, $type, $queue) = @_;
374         if ($type eq 'bib') {
375                 return $e->die_event unless
376                         ($e->allowed('CREATE_BIB_IMPORT_QUEUE', undef, $queue) ||
377                          $e->allowed('CREATE_BIB_IMPORT_QUEUE'));
378         } else {
379                 return $e->die_event unless
380                         ($e->allowed('CREATE_AUTHORITY_IMPORT_QUEUE', undef, $queue) ||
381                          $e->allowed('CREATE_AUTHORITY_IMPORT_QUEUE'));
382         }
383
384     return undef;
385 }
386
387 __PACKAGE__->register_method(  
388         api_name        => "open-ils.vandelay.bib_record.list.import",
389         method          => 'import_record_list',
390         api_level       => 1,
391         argc            => 2,
392     stream      => 1,
393         record_type     => 'bib'
394 );
395
396 __PACKAGE__->register_method(  
397         api_name        => "open-ils.vandelay.auth_record.list.import",
398         method          => 'import_record_list',
399         api_level       => 1,
400         argc            => 2,
401     stream      => 1,
402         record_type     => 'auth'
403 );
404
405 sub import_record_list {
406     my($self, $conn, $auth, $rec_ids, $args) = @_;
407     my $e = new_editor(xact => 1, authtoken => $auth);
408     return $e->die_event unless $e->checkauth;
409     $args ||= {};
410     my $err = import_record_list_impl($self, $conn, $auth, $e, $rec_ids, $args);
411     return $err if $err;
412     $e->commit;
413     return {complete => 1};
414 }
415
416
417 __PACKAGE__->register_method(  
418         api_name        => "open-ils.vandelay.bib_queue.import",
419         method          => 'import_queue',
420         api_level       => 1,
421         argc            => 2,
422     stream      => 1,
423         record_type     => 'bib'
424 );
425
426 __PACKAGE__->register_method(  
427         api_name        => "open-ils.vandelay.auth_queue.import",
428         method          => 'import_queue',
429         api_level       => 1,
430         argc            => 2,
431     stream      => 1,
432         record_type     => 'auth'
433 );
434 __PACKAGE__->register_method(  
435         api_name        => "open-ils.vandelay.bib_queue.nomatch.import",
436         method          => 'import_queue',
437         api_level       => 1,
438         argc            => 2,
439     stream      => 1,
440     signature   => {
441         desc => q/Only import records that have no collisions/
442     },
443         record_type     => 'bib'
444 );
445
446 __PACKAGE__->register_method(  
447         api_name        => "open-ils.vandelay.auth_queue.nomatch.import",
448         method          => 'import_queue',
449         api_level       => 1,
450         argc            => 2,
451     stream      => 1,
452     signature   => {
453         desc => q/Only import records that have no collisions/
454     },
455         record_type     => 'auth'
456 );
457 sub import_queue {
458     my($self, $conn, $auth, $q_id, $options) = @_;
459     my $e = new_editor(xact => 1, authtoken => $auth);
460     return $e->die_event unless $e->checkauth;
461     $options ||= {};
462     my $type = $self->{record_type};
463     my $class = ($type eq 'bib') ? 'vqbr' : 'vqar';
464
465     my $query = {queue => $q_id, import_time => undef};
466
467     if($self->api_name =~ /nomatch/) {
468         my $matched_recs = queued_records_with_matches($e, $type, $q_id, undef, undef, {import_time => undef});
469         $query->{id} = {'not in' => $matched_recs} if @$matched_recs;
470     }
471
472     my $search = ($type eq 'bib') ? 
473         'search_vandelay_queued_bib_record' : 'search_vandelay_queued_authority_record';
474     my $rec_ids = $e->$search($query, {idlist => 1});
475     my $err = import_record_list_impl($self, $conn, $auth, $e, $rec_ids, $options);
476     return $err if $err;
477     $e->commit;
478     return {complete => 1};
479 }
480
481
482 # returns a list of queued record IDs for a given queue that 
483 # have at least one entry in the match table
484 sub queued_records_with_matches {
485     my($e, $type, $q_id, $limit, $offset, $filter) = @_;
486
487     my $match_class = 'vbm';
488     my $rec_class = 'vqbr';
489     if($type eq 'auth') {
490         $match_class = 'vam';
491          $rec_class = 'vqar';
492     }
493
494     $filter ||= {};
495     $filter->{queue} = $q_id;
496
497     my $query = {
498         distinct => 1, 
499         select => {$match_class => ['queued_record']}, 
500         from => {
501             $match_class => {
502                 $rec_class => {
503                     field => 'id',
504                     fkey => 'queued_record',
505                     filter => $filter,
506                 }
507             }
508         }
509     };        
510
511     if($limit or defined $offset) {
512         $limit ||= 20;
513         $offset ||= 0;
514         $query->{limit} = $limit;
515         $query->{offset} = $offset;
516     }
517
518     my $data = $e->json_query($query);
519     return [ map {$_->{queued_record}} @$data ];
520 }
521
522 sub import_record_list_impl {
523     my($self, $conn, $auth, $e, $rec_ids, $args) = @_;
524
525     my $overlay_map = $args->{overlay_map} || {};
526     my $type = $self->{record_type};
527     my $total = @$rec_ids;
528     my $count = 0;
529     my %queues;
530
531     for my $rec_id (@$rec_ids) {
532
533         my $overlay_target = $overlay_map->{$rec_id};
534
535         if($type eq 'bib') {
536
537             my $rec = $e->retrieve_vandelay_queued_bib_record($rec_id) 
538                 or return $e->die_event;
539
540             next if $rec->import_time;
541             $queues{$rec->queue} = 1;
542
543             my $record;
544             if(defined $overlay_target) {
545                 $logger->info("vl: overlaying record $overlay_target");
546                 $record = OpenILS::Application::Cat::BibCommon->biblio_record_replace_marc(
547                     $e, $overlay_target, $rec->marc); #$rec->bib_source
548             } else {
549                 $logger->info("vl: importing new record");
550                 $record = OpenILS::Application::Cat::BibCommon->biblio_record_xml_import(
551                     $e, $rec->marc); #$rec->bib_source
552             }
553
554             return $record if $U->event_code($record);
555             $rec->imported_as($record->id);
556             $rec->import_time('now');
557             $e->update_vandelay_queued_bib_record($rec) or return $e->die_event;
558
559         } else { # authority
560
561             my $rec = $e->retrieve_vandelay_queued_authority_record($rec_id) 
562                 or return $e->die_event;
563
564             next if $rec->import_time;
565             $queues{$rec->queue} = 1;
566
567             my $record;
568             if(defined $overlay_target) {
569                 $logger->info("vl: overlaying record $overlay_target");
570                 $record = OpenILS::Utils::Cat::AuthCommon->overlay_authority_record(
571                     $overlay_target, $rec->marc); #$source);
572             } else {
573                 $logger->info("vl: importing new record");
574                 $record = OpenILS::Utils::Cat::AuthCommon->import_authority_record(
575                     $rec->marc) #$source);
576             }
577
578             return $record if $U->event_code($record);
579             $rec->imported_as($record->id);
580             $rec->import_time('now');
581             $e->update_vandelay_queued_authority_record($rec) or return $e->die_event;
582         }
583
584         $conn->respond({total => $total, progress => ++$count, imported => $rec_id});
585     }
586
587     # see if we need to mark any queues as complete
588     for my $q_id (keys %queues) {
589         if($type eq 'bib') {
590             my $remaining = $e->search_vandelay_queued_bib_record(
591                 {queue => $q_id, import_time => undef}, {idlist => 1});
592             unless(@$remaining) {
593                 my $queue = $e->retrieve_vandelay_bib_queue($q_id);
594                 unless($U->is_true($queue->complete)) {
595                     $queue->complete('t');
596                     $e->update_vandelay_bib_queue($queue) or return $e->die_event;
597                 }
598             }
599         } else {
600             my $remaining = $e->search_vandelay_queued_authority_record(
601                 {queue => $q_id, import_time => undef}, {idlist => 1});
602             unless(@$remaining) {
603                 my $queue = $e->retrieve_vandelay_authority_queue($q_id);
604                 unless($U->is_true($queue->complete)) {
605                     $queue->complete('t');
606                     $e->update_vandelay_authority_queue($queue) or return $e->die_event;
607                 }
608             }
609         }
610     }
611
612     return undef;
613 }
614
615
616 __PACKAGE__->register_method(  
617         api_name        => "open-ils.vandelay.bib_queue.owner.retrieve",
618         method          => 'owner_queue_retrieve',
619         api_level       => 1,
620         argc            => 2,
621     stream      => 1,
622         record_type     => 'bib'
623 );
624 __PACKAGE__->register_method(  
625         api_name        => "open-ils.vandelay.authority_queue.owner.retrieve",
626         method          => 'owner_queue_retrieve',
627         api_level       => 1,
628         argc            => 2,
629     stream      => 1,
630         record_type     => 'auth'
631 );
632
633 sub owner_queue_retrieve {
634     my($self, $conn, $auth, $owner_id) = @_;
635     my $e = new_editor(authtoken => $auth);
636     return $e->die_event unless $e->checkauth;
637     $owner_id = $e->requestor->id; # XXX add support for viewing other's queues?
638     my $queues;
639     if($self->{record_type} eq 'bib') {
640         $queues = $e->search_vandelay_bib_queue(
641             {complete => 'f', owner => $owner_id});
642     } else {
643         $queues = $e->search_vandelay_authority_queue(
644             {complete => 'f', owner => $owner_id});
645     }
646     $conn->respond($_) for @$queues;
647     return undef;
648 }
649
650 __PACKAGE__->register_method(  
651         api_name        => "open-ils.vandelay.bib_queue.delete",
652         method          => "delete_queue",
653         api_level       => 1,
654         argc            => 2,
655         record_type     => 'bib'
656 );            
657 __PACKAGE__->register_method(  
658         api_name        => "open-ils.vandelay.auth_queue.delete",
659         method          => "delete_queue",
660         api_level       => 1,
661         argc            => 2,
662         record_type     => 'auth'
663 );  
664
665 sub delete_queue {
666     my($self, $conn, $auth, $q_id) = @_;
667     my $e = new_editor(xact => 1, authtoken => $auth);
668     return $e->die_event unless $e->checkauth;
669     if($self->{record_type} eq 'bib') {
670             return $e->die_event unless $e->allowed('CREATE_BIB_IMPORT_QUEUE');
671         my $queue = $e->retrieve_vandelay_bib_queue($q_id)
672             or return $e->die_event;
673         $e->delete_vandelay_bib_queue($queue)
674             or return $e->die_event;
675     } else {
676             return $e->die_event unless $e->allowed('CREATE_AUTHORITY_IMPORT_QUEUE');
677         my $queue = $e->retrieve_vandelay_authority_queue($q_id)
678             or return $e->die_event;
679         $e->delete_vandelay_authority_queue($queue)
680             or return $e->die_event;
681     }
682     $e->commit;
683     return 1;
684 }
685
686 1;