]> git.evergreen-ils.org Git - working/Evergreen.git/blob - Open-ILS/src/perlmods/lib/OpenILS/Application/Search/Biblio.pm
ca3f85a27f00431343cece893abef754b8872bfb
[working/Evergreen.git] / Open-ILS / src / perlmods / lib / OpenILS / Application / Search / Biblio.pm
1 package OpenILS::Application::Search::Biblio;
2 use base qw/OpenILS::Application/;
3 use strict; use warnings;
4
5
6 use OpenSRF::Utils::JSON;
7 use OpenILS::Utils::Fieldmapper;
8 use OpenILS::Utils::ModsParser;
9 use OpenSRF::Utils::SettingsClient;
10 use OpenILS::Utils::CStoreEditor q/:funcs/;
11 use OpenSRF::Utils::Cache;
12 use Encode;
13
14 use OpenSRF::Utils::Logger qw/:logger/;
15
16
17 use OpenSRF::Utils::JSON;
18
19 use Time::HiRes qw(time sleep);
20 use OpenSRF::EX qw(:try);
21 use Digest::MD5 qw(md5_hex);
22
23 use XML::LibXML;
24 use XML::LibXSLT;
25
26 use Data::Dumper;
27 $Data::Dumper::Indent = 0;
28
29 use OpenILS::Const qw/:const/;
30
31 use OpenILS::Application::AppUtils;
32 my $apputils = "OpenILS::Application::AppUtils";
33 my $U = $apputils;
34
35 my $pfx = "open-ils.search_";
36
37 my $cache;
38 my $cache_timeout;
39 my $superpage_size;
40 my $max_superpages;
41
42 sub initialize {
43     $cache = OpenSRF::Utils::Cache->new('global');
44     my $sclient = OpenSRF::Utils::SettingsClient->new();
45     $cache_timeout = $sclient->config_value(
46             "apps", "open-ils.search", "app_settings", "cache_timeout" ) || 300;
47
48     $superpage_size = $sclient->config_value(
49             "apps", "open-ils.search", "app_settings", "superpage_size" ) || 500;
50
51     $max_superpages = $sclient->config_value(
52             "apps", "open-ils.search", "app_settings", "max_superpages" ) || 20;
53
54     $logger->info("Search cache timeout is $cache_timeout, ".
55         " superpage_size is $superpage_size, max_superpages is $max_superpages");
56 }
57
58
59
60 # ---------------------------------------------------------------------------
61 # takes a list of record id's and turns the docs into friendly 
62 # mods structures. Creates one MODS structure for each doc id.
63 # ---------------------------------------------------------------------------
64 sub _records_to_mods {
65     my @ids = @_;
66     
67     my @results;
68     my @marcxml_objs;
69
70     my $session = OpenSRF::AppSession->create("open-ils.cstore");
71     my $request = $session->request(
72             "open-ils.cstore.direct.biblio.record_entry.search", { id => \@ids } );
73
74     while( my $resp = $request->recv ) {
75         my $content = $resp->content;
76         next if $content->id == OILS_PRECAT_RECORD;
77         my $u = OpenILS::Utils::ModsParser->new();  # FIXME: we really need a new parser for each object?
78         $u->start_mods_batch( $content->marc );
79         my $mods = $u->finish_mods_batch();
80         $mods->doc_id($content->id());
81         $mods->tcn($content->tcn_value);
82         push @results, $mods;
83     }
84
85     $session->disconnect();
86     return \@results;
87 }
88
89 __PACKAGE__->register_method(
90     method    => "record_id_to_mods",
91     api_name  => "open-ils.search.biblio.record.mods.retrieve",
92     argc      => 1,
93     signature => {
94         desc   => "Provide ID, we provide the MODS object with copy count.  " 
95                 . "Note: this method does NOT take an array of IDs like mods_slim.retrieve",    # FIXME: do it here too
96         params => [
97             { desc => 'Record ID', type => 'number' }
98         ],
99         return => {
100             desc => 'MODS object', type => 'object'
101         }
102     }
103 );
104
105 # converts a record into a mods object with copy counts attached
106 sub record_id_to_mods {
107
108     my( $self, $client, $org_id, $id ) = @_;
109
110     my $mods_list = _records_to_mods( $id );
111     my $mods_obj  = $mods_list->[0];
112     my $cmethod   = $self->method_lookup("open-ils.search.biblio.record.copy_count");
113     my ($count)   = $cmethod->run($org_id, $id);
114     $mods_obj->copy_count($count);
115
116     return $mods_obj;
117 }
118
119
120
121 __PACKAGE__->register_method(
122     method        => "record_id_to_mods_slim",
123     api_name      => "open-ils.search.biblio.record.mods_slim.retrieve",
124     argc          => 1,
125     authoritative => 1,
126     signature     => {
127         desc   => "Provide ID(s), we provide the MODS",
128         params => [
129             { desc => 'Record ID or array of IDs' }
130         ],
131         return => {
132             desc => 'MODS object(s), event on error'
133         }
134     }
135 );
136
137 # converts a record into a mods object with NO copy counts attached
138 sub record_id_to_mods_slim {
139     my( $self, $client, $id ) = @_;
140     return undef unless defined $id;
141
142     if(ref($id) and ref($id) == 'ARRAY') {
143         return _records_to_mods( @$id );
144     }
145     my $mods_list = _records_to_mods( $id );
146     my $mods_obj  = $mods_list->[0];
147     return OpenILS::Event->new('BIBLIO_RECORD_ENTRY_NOT_FOUND') unless $mods_obj;
148     return $mods_obj;
149 }
150
151
152
153 __PACKAGE__->register_method(
154     method   => "record_id_to_mods_slim_batch",
155     api_name => "open-ils.search.biblio.record.mods_slim.batch.retrieve",
156     stream   => 1
157 );
158 sub record_id_to_mods_slim_batch {
159     my($self, $conn, $id_list) = @_;
160     $conn->respond(_records_to_mods($_)->[0]) for @$id_list;
161     return undef;
162 }
163
164
165 # Returns the number of copies attached to a record based on org location
166 __PACKAGE__->register_method(
167     method   => "record_id_to_copy_count",
168     api_name => "open-ils.search.biblio.record.copy_count",
169     signature => {
170         desc => q/Returns a copy summary for the given record for the context org
171             unit and all ancestor org units/,
172         params => [
173             {desc => 'Context org unit id', type => 'number'},
174             {desc => 'Record ID', type => 'number'}
175         ],
176         return => {
177             desc => q/summary object per org unit in the set, where the set
178                 includes the context org unit and all parent org units.  
179                 Object includes the keys "transcendant", "count", "org_unit", "depth", 
180                 "unshadow", "available".  Each is a count, except "org_unit" which is 
181                 the context org unit and "depth" which is the depth of the context org unit
182             /,
183             type => 'array'
184         }
185     }
186 );
187
188 __PACKAGE__->register_method(
189     method        => "record_id_to_copy_count",
190     api_name      => "open-ils.search.biblio.record.copy_count.staff",
191     authoritative => 1,
192     signature => {
193         desc => q/Returns a copy summary for the given record for the context org
194             unit and all ancestor org units/,
195         params => [
196             {desc => 'Context org unit id', type => 'number'},
197             {desc => 'Record ID', type => 'number'}
198         ],
199         return => {
200             desc => q/summary object per org unit in the set, where the set
201                 includes the context org unit and all parent org units.  
202                 Object includes the keys "transcendant", "count", "org_unit", "depth", 
203                 "unshadow", "available".  Each is a count, except "org_unit" which is 
204                 the context org unit and "depth" which is the depth of the context org unit
205             /,
206             type => 'array'
207         }
208     }
209 );
210
211 __PACKAGE__->register_method(
212     method   => "record_id_to_copy_count",
213     api_name => "open-ils.search.biblio.metarecord.copy_count",
214     signature => {
215         desc => q/Returns a copy summary for the given record for the context org
216             unit and all ancestor org units/,
217         params => [
218             {desc => 'Context org unit id', type => 'number'},
219             {desc => 'Record ID', type => 'number'}
220         ],
221         return => {
222             desc => q/summary object per org unit in the set, where the set
223                 includes the context org unit and all parent org units.  
224                 Object includes the keys "transcendant", "count", "org_unit", "depth", 
225                 "unshadow", "available".  Each is a count, except "org_unit" which is 
226                 the context org unit and "depth" which is the depth of the context org unit
227             /,
228             type => 'array'
229         }
230     }
231 );
232
233 __PACKAGE__->register_method(
234     method   => "record_id_to_copy_count",
235     api_name => "open-ils.search.biblio.metarecord.copy_count.staff",
236     signature => {
237         desc => q/Returns a copy summary for the given record for the context org
238             unit and all ancestor org units/,
239         params => [
240             {desc => 'Context org unit id', type => 'number'},
241             {desc => 'Record ID', type => 'number'}
242         ],
243         return => {
244             desc => q/summary object per org unit in the set, where the set
245                 includes the context org unit and all parent org units.  
246                 Object includes the keys "transcendant", "count", "org_unit", "depth", 
247                 "unshadow", "available".  Each is a count, except "org_unit" which is 
248                 the context org unit and "depth" which is the depth of the context org
249                 unit.  "depth" is always -1 when the count from a lasso search is
250                 performed, since depth doesn't mean anything in a lasso context.
251             /,
252             type => 'array'
253         }
254     }
255 );
256
257 sub record_id_to_copy_count {
258     my( $self, $client, $org_id, $record_id ) = @_;
259
260     return [] unless $record_id;
261
262     my $key = $self->api_name =~ /metarecord/ ? 'metarecord' : 'record';
263     my $staff = $self->api_name =~ /staff/ ? 't' : 'f';
264
265     my $data = $U->cstorereq(
266         "open-ils.cstore.json_query.atomic",
267         { from => ['asset.' . $key  . '_copy_count' => $org_id => $record_id => $staff] }
268     );
269
270     my @count;
271     for my $d ( @$data ) { # fix up the key name change required by stored-proc version
272         $$d{count} = delete $$d{visible};
273         push @count, $d;
274     }
275
276     return [ sort { $a->{depth} <=> $b->{depth} } @count ];
277 }
278
279 __PACKAGE__->register_method(
280     method   => "record_has_holdable_copy",
281     api_name => "open-ils.search.biblio.record.has_holdable_copy",
282     signature => {
283         desc => q/Returns a boolean indicating if a record has any holdable copies./,
284         params => [
285             {desc => 'Record ID', type => 'number'}
286         ],
287         return => {
288             desc => q/bool indicating if the record has any holdable copies/,
289             type => 'bool'
290         }
291     }
292 );
293
294 __PACKAGE__->register_method(
295     method   => "record_has_holdable_copy",
296     api_name => "open-ils.search.biblio.metarecord.has_holdable_copy",
297     signature => {
298         desc => q/Returns a boolean indicating if a record has any holdable copies./,
299         params => [
300             {desc => 'Record ID', type => 'number'}
301         ],
302         return => {
303             desc => q/bool indicating if the record has any holdable copies/,
304             type => 'bool'
305         }
306     }
307 );
308
309 sub record_has_holdable_copy {
310     my($self, $client, $record_id ) = @_;
311
312     return 0 unless $record_id;
313
314     my $key = $self->api_name =~ /metarecord/ ? 'metarecord' : 'record';
315
316     my $data = $U->cstorereq(
317         "open-ils.cstore.json_query.atomic",
318         { from => ['asset.' . $key . '_has_holdable_copy' => $record_id ] }
319     );
320
321     return ${@$data[0]}{'asset.' . $key . '_has_holdable_copy'} eq 't';
322
323 }
324
325 __PACKAGE__->register_method(
326     method   => "biblio_search_tcn",
327     api_name => "open-ils.search.biblio.tcn",
328     argc     => 1,
329     signature => {
330         desc   => "Retrieve related record ID(s) given a TCN",
331         params => [
332             { desc => 'TCN', type => 'string' },
333             { desc => 'Flag indicating to include deleted records', type => 'string' }
334         ],
335         return => {
336             desc => 'Results object like: { "count": $i, "ids": [...] }',
337             type => 'object'
338         }
339     }
340
341 );
342
343 sub biblio_search_tcn {
344
345     my( $self, $client, $tcn, $include_deleted ) = @_;
346
347     $tcn =~ s/^\s+|\s+$//og;
348
349     my $e = new_editor();
350     my $search = {tcn_value => $tcn};
351     $search->{deleted} = 'f' unless $include_deleted;
352     my $recs = $e->search_biblio_record_entry( $search, {idlist =>1} );
353     
354     return { count => scalar(@$recs), ids => $recs };
355 }
356
357
358 # --------------------------------------------------------------------------------
359
360 __PACKAGE__->register_method(
361     method   => "biblio_barcode_to_copy",
362     api_name => "open-ils.search.asset.copy.find_by_barcode",
363 );
364 sub biblio_barcode_to_copy { 
365     my( $self, $client, $barcode ) = @_;
366     my( $copy, $evt ) = $U->fetch_copy_by_barcode($barcode);
367     return $evt if $evt;
368     return $copy;
369 }
370
371 __PACKAGE__->register_method(
372     method   => "biblio_id_to_copy",
373     api_name => "open-ils.search.asset.copy.batch.retrieve",
374 );
375 sub biblio_id_to_copy { 
376     my( $self, $client, $ids ) = @_;
377     $logger->info("Fetching copies @$ids");
378     return $U->cstorereq(
379         "open-ils.cstore.direct.asset.copy.search.atomic", { id => $ids } );
380 }
381
382
383 __PACKAGE__->register_method(
384     method  => "biblio_id_to_uris",
385     api_name=> "open-ils.search.asset.uri.retrieve_by_bib",
386     argc    => 2, 
387     stream  => 1,
388     signature => q#
389         @param BibID Which bib record contains the URIs
390         @param OrgID Where to look for URIs
391         @param OrgDepth Range adjustment for OrgID
392         @return A stream or list of 'auri' objects
393     #
394
395 );
396 sub biblio_id_to_uris { 
397     my( $self, $client, $bib, $org, $depth ) = @_;
398     die "Org ID required" unless defined($org);
399     die "Bib ID required" unless defined($bib);
400
401     my @params;
402     push @params, $depth if (defined $depth);
403
404     my $ids = $U->cstorereq( "open-ils.cstore.json_query.atomic",
405         {   select  => { auri => [ 'id' ] },
406             from    => {
407                 acn => {
408                     auricnm => {
409                         field   => 'call_number',
410                         fkey    => 'id',
411                         join    => {
412                             auri    => {
413                                 field => 'id',
414                                 fkey => 'uri',
415                                 filter  => { active => 't' }
416                             }
417                         }
418                     }
419                 }
420             },
421             where   => {
422                 '+acn'  => {
423                     record      => $bib,
424                     owning_lib  => {
425                         in  => {
426                             select  => { aou => [ { column => 'id', transform => 'actor.org_unit_descendants', params => \@params, result_field => 'id' } ] },
427                             from    => 'aou',
428                             where   => { id => $org },
429                             distinct=> 1
430                         }
431                     }
432                 }
433             },
434             distinct=> 1,
435         }
436     );
437
438     my $uris = $U->cstorereq(
439         "open-ils.cstore.direct.asset.uri.search.atomic",
440         { id => [ map { (values %$_) } @$ids ] }
441     );
442
443     $client->respond($_) for (@$uris);
444
445     return undef;
446 }
447
448
449 __PACKAGE__->register_method(
450     method    => "copy_retrieve",
451     api_name  => "open-ils.search.asset.copy.retrieve",
452     argc      => 1,
453     signature => {
454         desc   => 'Retrieve a copy object based on the Copy ID',
455         params => [
456             { desc => 'Copy ID', type => 'number'}
457         ],
458         return => {
459             desc => 'Copy object, event on error'
460         }
461     }
462 );
463
464 sub copy_retrieve {
465     my( $self, $client, $cid ) = @_;
466     my( $copy, $evt ) = $U->fetch_copy($cid);
467     return $evt || $copy;
468 }
469
470 __PACKAGE__->register_method(
471     method   => "volume_retrieve",
472     api_name => "open-ils.search.asset.call_number.retrieve"
473 );
474 sub volume_retrieve {
475     my( $self, $client, $vid ) = @_;
476     my $e = new_editor();
477     my $vol = $e->retrieve_asset_call_number($vid) or return $e->event;
478     return $vol;
479 }
480
481 __PACKAGE__->register_method(
482     method        => "fleshed_copy_retrieve_batch",
483     api_name      => "open-ils.search.asset.copy.fleshed.batch.retrieve",
484     authoritative => 1,
485 );
486
487 sub fleshed_copy_retrieve_batch { 
488     my( $self, $client, $ids ) = @_;
489     $logger->info("Fetching fleshed copies @$ids");
490     return $U->cstorereq(
491         "open-ils.cstore.direct.asset.copy.search.atomic",
492         { id => $ids },
493         { flesh => 1, 
494           flesh_fields => { acp => [ qw/ circ_lib location status stat_cat_entries parts / ] }
495         });
496 }
497
498
499 __PACKAGE__->register_method(
500     method   => "fleshed_copy_retrieve",
501     api_name => "open-ils.search.asset.copy.fleshed.retrieve",
502 );
503
504 sub fleshed_copy_retrieve { 
505     my( $self, $client, $id ) = @_;
506     my( $c, $e) = $U->fetch_fleshed_copy($id);
507     return $e || $c;
508 }
509
510
511 __PACKAGE__->register_method(
512     method        => 'fleshed_by_barcode',
513     api_name      => "open-ils.search.asset.copy.fleshed2.find_by_barcode",
514     authoritative => 1,
515 );
516 sub fleshed_by_barcode {
517     my( $self, $conn, $barcode ) = @_;
518     my $e = new_editor();
519     my $copyid = $e->search_asset_copy(
520         {barcode => $barcode, deleted => 'f'}, {idlist=>1})->[0]
521         or return $e->event;
522     return fleshed_copy_retrieve2( $self, $conn, $copyid);
523 }
524
525
526 __PACKAGE__->register_method(
527     method        => "fleshed_copy_retrieve2",
528     api_name      => "open-ils.search.asset.copy.fleshed2.retrieve",
529     authoritative => 1,
530 );
531
532 sub fleshed_copy_retrieve2 { 
533     my( $self, $client, $id ) = @_;
534     my $e = new_editor();
535     my $copy = $e->retrieve_asset_copy(
536         [
537             $id,
538             {
539                 flesh        => 2,
540                 flesh_fields => {
541                     acp => [
542                         qw/ location status stat_cat_entry_copy_maps notes age_protect parts peer_record_maps /
543                     ],
544                     ascecm => [qw/ stat_cat stat_cat_entry /],
545                 }
546             }
547         ]
548     ) or return $e->event;
549
550     # For backwards compatibility
551     #$copy->stat_cat_entries($copy->stat_cat_entry_copy_maps);
552
553     if( $copy->status->id == OILS_COPY_STATUS_CHECKED_OUT ) {
554         $copy->circulations(
555             $e->search_action_circulation( 
556                 [   
557                     { target_copy => $copy->id },
558                     {
559                         order_by => { circ => 'xact_start desc' },
560                         limit => 1
561                     }
562                 ]
563             )
564         );
565     }
566
567     return $copy;
568 }
569
570
571 __PACKAGE__->register_method(
572     method        => 'flesh_copy_custom',
573     api_name      => 'open-ils.search.asset.copy.fleshed.custom',
574     authoritative => 1,
575 );
576
577 sub flesh_copy_custom {
578     my( $self, $conn, $copyid, $fields ) = @_;
579     my $e = new_editor();
580     my $copy = $e->retrieve_asset_copy(
581         [
582             $copyid,
583             { 
584                 flesh               => 1,
585                 flesh_fields    => { 
586                     acp => $fields,
587                 }
588             }
589         ]
590     ) or return $e->event;
591     return $copy;
592 }
593
594
595 __PACKAGE__->register_method(
596     method   => "biblio_barcode_to_title",
597     api_name => "open-ils.search.biblio.find_by_barcode",
598 );
599
600 sub biblio_barcode_to_title {
601     my( $self, $client, $barcode ) = @_;
602
603     my $title = $apputils->simple_scalar_request(
604         "open-ils.storage",
605         "open-ils.storage.biblio.record_entry.retrieve_by_barcode", $barcode );
606
607     return { ids => [ $title->id ], count => 1 } if $title;
608     return { count => 0 };
609 }
610
611 __PACKAGE__->register_method(
612     method        => 'title_id_by_item_barcode',
613     api_name      => 'open-ils.search.bib_id.by_barcode',
614     authoritative => 1,
615     signature => { 
616         desc   => 'Retrieve bib record id associated with the copy identified by the given barcode',
617         params => [
618             { desc => 'Item barcode', type => 'string' }
619         ],
620         return => {
621             desc => 'Bib record id.'
622         }
623     }
624 );
625
626 __PACKAGE__->register_method(
627     method        => 'title_id_by_item_barcode',
628     api_name      => 'open-ils.search.multi_home.bib_ids.by_barcode',
629     authoritative => 1,
630     signature => {
631         desc   => 'Retrieve bib record ids associated with the copy identified by the given barcode.  This includes peer bibs for Multi-Home items.',
632         params => [
633             { desc => 'Item barcode', type => 'string' }
634         ],
635         return => {
636             desc => 'Array of bib record ids.  First element is the native bib for the item.'
637         }
638     }
639 );
640
641
642 sub title_id_by_item_barcode {
643     my( $self, $conn, $barcode ) = @_;
644     my $e = new_editor();
645     my $copies = $e->search_asset_copy(
646         [
647             { deleted => 'f', barcode => $barcode },
648             {
649                 flesh => 2,
650                 flesh_fields => {
651                     acp => [ 'call_number' ],
652                     acn => [ 'record' ]
653                 }
654             }
655         ]
656     );
657
658     return $e->event unless @$copies;
659
660     if( $self->api_name =~ /multi_home/ ) {
661         my $multi_home_list = $e->search_biblio_peer_bib_copy_map(
662             [
663                 { target_copy => $$copies[0]->id }
664             ]
665         );
666         my @temp =  map { $_->peer_record } @{ $multi_home_list };
667         unshift @temp, $$copies[0]->call_number->record->id;
668         return \@temp;
669     } else {
670         return $$copies[0]->call_number->record->id;
671     }
672 }
673
674 __PACKAGE__->register_method(
675     method        => 'find_peer_bibs',
676     api_name      => 'open-ils.search.peer_bibs.test',
677     authoritative => 1,
678     signature => {
679         desc   => 'Tests to see if the specified record is a peer record.',
680         params => [
681             { desc => 'Biblio record entry Id', type => 'number' }
682         ],
683         return => {
684             desc => 'True if specified id can be found in biblio.peer_bib_copy_map.peer_record.',
685             type => 'bool'
686         }
687     }
688 );
689
690 __PACKAGE__->register_method(
691     method        => 'find_peer_bibs',
692     api_name      => 'open-ils.search.peer_bibs',
693     authoritative => 1,
694     signature => {
695         desc   => 'Return acps and mvrs for multi-home items linked to specified peer record.',
696         params => [
697             { desc => 'Biblio record entry Id', type => 'number' }
698         ],
699         return => {
700             desc => '{ records => Array of mvrs, items => array of acps }',
701         }
702     }
703 );
704
705
706 sub find_peer_bibs {
707     my( $self, $client, $doc_id ) = @_;
708     my $e = new_editor();
709
710     my $multi_home_list = $e->search_biblio_peer_bib_copy_map(
711         [
712             { peer_record => $doc_id },
713             {
714                 flesh => 2,
715                 flesh_fields => {
716                     bpbcm => [ 'target_copy', 'peer_type' ],
717                     acp => [ 'call_number', 'location', 'status', 'peer_record_maps' ]
718                 }
719             }
720         ]
721     );
722
723     if ($self->api_name =~ /test/) {
724         return scalar( @{$multi_home_list} ) > 0 ? 1 : 0;
725     }
726
727     if (scalar(@{$multi_home_list})==0) {
728         return [];
729     }
730
731     # create a unique hash of the primary record MVRs for foreign copies
732     # XXX PLEASE let's change to unAPI2 (supports foreign copies) in the TT opac?!?
733     my %rec_hash = map {
734         ($_->target_copy->call_number->record, _records_to_mods( $_->target_copy->call_number->record )->[0])
735     } @$multi_home_list;
736
737     # set the foreign_copy_maps field to an empty array
738     map { $rec_hash{$_}->foreign_copy_maps([]) } keys( %rec_hash );
739
740     # push the maps onto the correct MVRs
741     for (@$multi_home_list) {
742         push(
743             @{$rec_hash{ $_->target_copy->call_number->record }->foreign_copy_maps()},
744             $_
745         );
746     }
747
748     return [sort {$a->title cmp $b->title} values(%rec_hash)];
749 };
750
751 __PACKAGE__->register_method(
752     method   => "biblio_copy_to_mods",
753     api_name => "open-ils.search.biblio.copy.mods.retrieve",
754 );
755
756 # takes a copy object and returns it fleshed mods object
757 sub biblio_copy_to_mods {
758     my( $self, $client, $copy ) = @_;
759
760     my $volume = $U->cstorereq( 
761         "open-ils.cstore.direct.asset.call_number.retrieve",
762         $copy->call_number() );
763
764     my $mods = _records_to_mods($volume->record());
765     $mods = shift @$mods;
766     $volume->copies([$copy]);
767     push @{$mods->call_numbers()}, $volume;
768
769     return $mods;
770 }
771
772
773 =head1 NAME
774
775 OpenILS::Application::Search::Biblio
776
777 =head1 DESCRIPTION
778
779 =head2 API METHODS
780
781 =head3 open-ils.search.biblio.multiclass.query (arghash, query, docache)
782
783 For arghash and docache, see B<open-ils.search.biblio.multiclass>.
784
785 The query argument is a string, but built like a hash with key: value pairs.
786 Recognized search keys include: 
787
788  keyword (kw) - search keyword(s) *
789  author  (au) - search author(s)  *
790  name    (au) - same as author    *
791  title   (ti) - search title      *
792  subject (su) - search subject    *
793  series  (se) - search series     *
794  lang - limit by language (specify multiple langs with lang:l1 lang:l2 ...)
795  site - search at specified org unit, corresponds to actor.org_unit.shortname
796  pref_ou - extend search to specified org unit, corresponds to actor.org_unit.shortname
797  sort - sort type (title, author, pubdate)
798  dir  - sort direction (asc, desc)
799  available - if set to anything other than "false" or "0", limits to available items
800
801 * Searching keyword, author, title, subject, and series supports additional search 
802 subclasses, specified with a "|".  For example, C<title|proper:gone with the wind>.
803
804 For more, see B<config.metabib_field>.
805
806 =cut
807
808 foreach (qw/open-ils.search.biblio.multiclass.query
809             open-ils.search.biblio.multiclass.query.staff
810             open-ils.search.metabib.multiclass.query
811             open-ils.search.metabib.multiclass.query.staff/)
812 {
813 __PACKAGE__->register_method(
814     api_name  => $_,
815     method    => 'multiclass_query',
816     signature => {
817         desc   => 'Perform a search query.  The .staff version of the call includes otherwise hidden hits.',
818         params => [
819             {name => 'arghash', desc => 'Arg hash (see open-ils.search.biblio.multiclass)',         type => 'object'},
820             {name => 'query',   desc => 'Raw human-readable query (see perldoc '. __PACKAGE__ .')', type => 'string'},
821             {name => 'docache', desc => 'Flag for caching (see open-ils.search.biblio.multiclass)', type => 'object'},
822         ],
823         return => {
824             desc => 'Search results from query, like: { "count" : $count, "ids" : [ [ $id, $relevancy, $total ], ...] }',
825             type => 'object',       # TODO: update as miker's new elements are included
826         }
827     }
828 );
829 }
830
831 sub multiclass_query {
832     # arghash only really supports limit/offset anymore
833     my($self, $conn, $arghash, $query, $docache) = @_;
834
835     if ($query) {
836         $query =~ s/\+/ /go;
837         $query =~ s/^\s+//go;
838         $query =~ s/\s+/ /go;
839         $arghash->{query} = $query
840     }
841
842     $logger->debug("initial search query => $query") if $query;
843
844     (my $method = $self->api_name) =~ s/\.query/.staged/o;
845     return $self->method_lookup($method)->dispatch($arghash, $docache);
846
847 }
848
849 __PACKAGE__->register_method(
850     method    => 'cat_search_z_style_wrapper',
851     api_name  => 'open-ils.search.biblio.zstyle',
852     stream    => 1,
853     signature => q/@see open-ils.search.biblio.multiclass/
854 );
855
856 __PACKAGE__->register_method(
857     method    => 'cat_search_z_style_wrapper',
858     api_name  => 'open-ils.search.biblio.zstyle.staff',
859     stream    => 1,
860     signature => q/@see open-ils.search.biblio.multiclass/
861 );
862
863 sub cat_search_z_style_wrapper {
864     my $self = shift;
865     my $client = shift;
866     my $authtoken = shift;
867     my $args = shift;
868
869     my $cstore = OpenSRF::AppSession->connect('open-ils.cstore');
870
871     my $ou = $cstore->request(
872         'open-ils.cstore.direct.actor.org_unit.search',
873         { parent_ou => undef }
874     )->gather(1);
875
876     my $result = { service => 'native-evergreen-catalog', records => [] };
877     my $searchhash = { limit => $$args{limit}, offset => $$args{offset}, org_unit => $ou->id };
878
879     $$searchhash{searches}{title}{term}   = $$args{search}{title}   if $$args{search}{title};
880     $$searchhash{searches}{author}{term}  = $$args{search}{author}  if $$args{search}{author};
881     $$searchhash{searches}{subject}{term} = $$args{search}{subject} if $$args{search}{subject};
882     $$searchhash{searches}{keyword}{term} = $$args{search}{keyword} if $$args{search}{keyword};
883     $$searchhash{searches}{'identifier|isbn'}{term} = $$args{search}{isbn} if $$args{search}{isbn};
884     $$searchhash{searches}{'identifier|issn'}{term} = $$args{search}{issn} if $$args{search}{issn};
885     $$searchhash{searches}{'identifier|upc'}{term} = $$args{search}{upc} if $$args{search}{upc};
886
887     $$searchhash{searches}{keyword}{term} .= join ' ', $$searchhash{searches}{keyword}{term}, $$args{search}{tcn}       if $$args{search}{tcn};
888     $$searchhash{searches}{keyword}{term} .= join ' ', $$searchhash{searches}{keyword}{term}, $$args{search}{publisher} if $$args{search}{publisher};
889     $$searchhash{searches}{keyword}{term} .= join ' ', $$searchhash{searches}{keyword}{term}, $$args{search}{pubdate}   if $$args{search}{pubdate};
890     $$searchhash{searches}{keyword}{term} .= join ' ', $$searchhash{searches}{keyword}{term}, $$args{search}{item_type} if $$args{search}{item_type};
891
892     my $method = 'open-ils.search.biblio.multiclass.staged';
893     $method .= '.staff' if $self->api_name =~ /staff$/;
894
895     my ($list) = $self->method_lookup($method)->run( $searchhash );
896
897     if ($list->{count} > 0 and @{$list->{ids}}) {
898         $result->{count} = $list->{count};
899
900         my $records = $cstore->request(
901             'open-ils.cstore.direct.biblio.record_entry.search.atomic',
902             { id => [ map { ( $_->[0] ) } @{$list->{ids}} ] }
903         )->gather(1);
904
905         for my $rec ( @$records ) {
906             
907             my $u = OpenILS::Utils::ModsParser->new();
908                         $u->start_mods_batch( $rec->marc );
909                         my $mods = $u->finish_mods_batch();
910
911             push @{ $result->{records} }, { mvr => $mods, marcxml => $rec->marc, bibid => $rec->id };
912
913         }
914
915     }
916
917     $cstore->disconnect();
918     return $result;
919 }
920
921 # ----------------------------------------------------------------------------
922 # These are the main OPAC search methods
923 # ----------------------------------------------------------------------------
924
925 __PACKAGE__->register_method(
926     method    => 'the_quest_for_knowledge',
927     api_name  => 'open-ils.search.biblio.multiclass',
928     signature => {
929         desc => "Performs a multi class biblio or metabib search",
930         params => [
931             {
932                 desc => "A search hash with keys: "
933                       . "searches, org_unit, depth, limit, offset, format, sort, sort_dir.  "
934                       . "See perldoc " . __PACKAGE__ . " for more detail",
935                 type => 'object',
936             },
937             {
938                 desc => "A flag to enable/disable searching and saving results in cache (default OFF)",
939                 type => 'string',
940             }
941         ],
942         return => {
943             desc => 'An object of the form: '
944                   . '{ "count" : $count, "ids" : [ [ $id, $relevancy, $total ], ...] }',
945         }
946     }
947 );
948
949 =head3 open-ils.search.biblio.multiclass (search-hash, docache)
950
951 The search-hash argument can have the following elements:
952
953     searches: { "$class" : "$value", ...}           [REQUIRED]
954     org_unit: The org id to focus the search at
955     depth   : The org depth     
956     limit   : The search limit      default: 10
957     offset  : The search offset     default:  0
958     format  : The MARC format
959     sort    : What field to sort the results on? [ author | title | pubdate ]
960     sort_dir: What direction do we sort? [ asc | desc ]
961     tag_circulated_records : Boolean, if true, records that are in the user's visible checkout history
962         will be tagged with an additional value ("1") as the last value in the record ID array for
963         each record.  Requires the 'authtoken'
964     authtoken : Authentication token string;  When actions are performed that require a user login
965         (e.g. tagging circulated records), the authentication token is required
966
967 The searches element is required, must have a hashref value, and the hashref must contain at least one 
968 of the following classes as a key:
969
970     title
971     author
972     subject
973     series
974     keyword
975
976 The value paired with a key is the associated search string.
977
978 The docache argument enables/disables searching and saving results in cache (default OFF).
979
980 The return object, if successful, will look like:
981
982     { "count" : $count, "ids" : [ [ $id, $relevancy, $total ], ...] }
983
984 =cut
985
986 __PACKAGE__->register_method(
987     method    => 'the_quest_for_knowledge',
988     api_name  => 'open-ils.search.biblio.multiclass.staff',
989     signature => q/The .staff search includes hidden bibs, hidden items and bibs with no items.  Otherwise, @see open-ils.search.biblio.multiclass/
990 );
991 __PACKAGE__->register_method(
992     method    => 'the_quest_for_knowledge',
993     api_name  => 'open-ils.search.metabib.multiclass',
994     signature => q/@see open-ils.search.biblio.multiclass/
995 );
996 __PACKAGE__->register_method(
997     method    => 'the_quest_for_knowledge',
998     api_name  => 'open-ils.search.metabib.multiclass.staff',
999     signature => q/The .staff search includes hidden bibs, hidden items and bibs with no items.  Otherwise, @see open-ils.search.biblio.multiclass/
1000 );
1001
1002 sub the_quest_for_knowledge {
1003     my( $self, $conn, $searchhash, $docache ) = @_;
1004
1005     return { count => 0 } unless $searchhash and
1006         ref $searchhash->{searches} eq 'HASH';
1007
1008     my $method = 'open-ils.storage.biblio.multiclass.search_fts';
1009     my $ismeta = 0;
1010     my @recs;
1011
1012     if($self->api_name =~ /metabib/) {
1013         $ismeta = 1;
1014         $method =~ s/biblio/metabib/o;
1015     }
1016
1017     # do some simple sanity checking
1018     if(!$searchhash->{searches} or
1019         ( !grep { /^(?:title|author|subject|series|keyword|identifier\|is[bs]n)/ } keys %{$searchhash->{searches}} ) ) {
1020         return { count => 0 };
1021     }
1022
1023     my $offset = $searchhash->{offset} ||  0;   # user value or default in local var now
1024     my $limit  = $searchhash->{limit}  || 10;   # user value or default in local var now
1025     my $end    = $offset + $limit - 1;
1026
1027     my $maxlimit = 5000;
1028     $searchhash->{offset} = 0;                  # possible user value overwritten in hash
1029     $searchhash->{limit}  = $maxlimit;          # possible user value overwritten in hash
1030
1031     return { count => 0 } if $offset > $maxlimit;
1032
1033     my @search;
1034     push( @search, ($_ => $$searchhash{$_})) for (sort keys %$searchhash);
1035     my $s = OpenSRF::Utils::JSON->perl2JSON(\@search);
1036     my $ckey = $pfx . md5_hex($method . $s);
1037
1038     $logger->info("bib search for: $s");
1039
1040     $searchhash->{limit} -= $offset;
1041
1042
1043     my $trim = 0;
1044     my $result = ($docache) ? search_cache($ckey, $offset, $limit) : undef;
1045
1046     if(!$result) {
1047
1048         $method .= ".staff" if($self->api_name =~ /staff/);
1049         $method .= ".atomic";
1050     
1051         for (keys %$searchhash) { 
1052             delete $$searchhash{$_} 
1053                 unless defined $$searchhash{$_}; 
1054         }
1055     
1056         $result = $U->storagereq( $method, %$searchhash );
1057         $trim = 1;
1058
1059     } else { 
1060         $docache = 0;   # results came FROM cache, so we don't write back
1061     }
1062
1063     return {count => 0} unless ($result && $$result[0]);
1064
1065     @recs = @$result;
1066
1067     my $count = ($ismeta) ? $result->[0]->[3] : $result->[0]->[2];
1068
1069     if($docache) {
1070         # If we didn't get this data from the cache, put it into the cache
1071         # then return the correct offset of records
1072         $logger->debug("putting search cache $ckey\n");
1073         put_cache($ckey, $count, \@recs);
1074     }
1075
1076     if($trim) {
1077         # if we have the full set of data, trim out 
1078         # the requested chunk based on limit and offset
1079         my @t;
1080         for ($offset..$end) {
1081             last unless $recs[$_];
1082             push(@t, $recs[$_]);
1083         }
1084         @recs = @t;
1085     }
1086
1087     return { ids => \@recs, count => $count };
1088 }
1089
1090
1091 __PACKAGE__->register_method(
1092     method    => 'staged_search',
1093     api_name  => 'open-ils.search.biblio.multiclass.staged',
1094     signature => {
1095         desc   => 'Staged search filters out unavailable items.  This means that it relies on an estimation strategy for determining ' .
1096                   'how big a "raw" search result chunk (i.e. a "superpage") to obtain prior to filtering.  See "estimation_strategy" in your SRF config.',
1097         params => [
1098             {
1099                 desc => "A search hash with keys: "
1100                       . "searches, limit, offset.  The others are optional, but the 'searches' key/value pair is required, with the value being a hashref.  "
1101                       . "See perldoc " . __PACKAGE__ . " for more detail",
1102                 type => 'object',
1103             },
1104             {
1105                 desc => "A flag to enable/disable searching and saving results in cache, including facets (default OFF)",
1106                 type => 'string',
1107             }
1108         ],
1109         return => {
1110             desc => 'Hash with keys: count, core_limit, superpage_size, superpage_summary, facet_key, ids.  '
1111                   . 'The superpage_summary value is a hashref that includes keys: estimated_hit_count, visible.',
1112             type => 'object',
1113         }
1114     }
1115 );
1116 __PACKAGE__->register_method(
1117     method    => 'staged_search',
1118     api_name  => 'open-ils.search.biblio.multiclass.staged.staff',
1119     signature => q/The .staff search includes hidden bibs, hidden items and bibs with no items.  Otherwise, @see open-ils.search.biblio.multiclass.staged/
1120 );
1121 __PACKAGE__->register_method(
1122     method    => 'staged_search',
1123     api_name  => 'open-ils.search.metabib.multiclass.staged',
1124     signature => q/@see open-ils.search.biblio.multiclass.staged/
1125 );
1126 __PACKAGE__->register_method(
1127     method    => 'staged_search',
1128     api_name  => 'open-ils.search.metabib.multiclass.staged.staff',
1129     signature => q/The .staff search includes hidden bibs, hidden items and bibs with no items.  Otherwise, @see open-ils.search.biblio.multiclass.staged/
1130 );
1131
1132 my $estimation_strategy;
1133 sub staged_search {
1134     my($self, $conn, $search_hash, $docache) = @_;
1135
1136     my $IAmMetabib = ($self->api_name =~ /metabib/) ? 1 : 0;
1137
1138     my $method = $IAmMetabib?
1139         'open-ils.storage.metabib.multiclass.staged.search_fts':
1140         'open-ils.storage.biblio.multiclass.staged.search_fts';
1141
1142     $method .= '.staff' if $self->api_name =~ /staff$/;
1143     $method .= '.atomic';
1144                 
1145     if (!$search_hash->{query}) {
1146         return {count => 0} unless (
1147             $search_hash and 
1148             $search_hash->{searches} and 
1149             scalar( keys %{$search_hash->{searches}} ));
1150     }
1151
1152     my $search_duration;
1153     my $user_offset = $search_hash->{offset} ||  0; # user-specified offset
1154     my $user_limit  = $search_hash->{limit}  || 10;
1155     my $ignore_facet_classes  = $search_hash->{ignore_facet_classes};
1156     $user_offset = ($user_offset >= 0) ? $user_offset :  0;
1157     $user_limit  = ($user_limit  >= 0) ? $user_limit  : 10;
1158
1159
1160     # we're grabbing results on a per-superpage basis, which means the 
1161     # limit and offset should coincide with superpage boundaries
1162     $search_hash->{offset} = 0;
1163     $search_hash->{limit} = $superpage_size;
1164
1165     # force a well-known check_limit
1166     $search_hash->{check_limit} = $superpage_size; 
1167     # restrict total tested to superpage size * number of superpages
1168     $search_hash->{core_limit}  = $superpage_size * $max_superpages;
1169
1170     # Set the configured estimation strategy, defaults to 'inclusion'.
1171     unless ($estimation_strategy) {
1172         $estimation_strategy = OpenSRF::Utils::SettingsClient
1173             ->new
1174             ->config_value(
1175                 apps => 'open-ils.search', app_settings => 'estimation_strategy'
1176             ) || 'inclusion';
1177     }
1178     $search_hash->{estimation_strategy} = $estimation_strategy;
1179
1180     # pull any existing results from the cache
1181     my $key = search_cache_key($method, $search_hash);
1182     my $facet_key = $key.'_facets';
1183     my $cache_data = $cache->get_cache($key) || {};
1184
1185     # First, we want to make sure that someone else isn't currently trying to perform exactly
1186     # this same search.  The point is to allow just one instance of a search to fill the needs
1187     # of all concurrent, identical searches.  This will avoid spammy searches killing the
1188     # database without requiring admins to start locking some IP addresses out entirely.
1189     #
1190     # There's still a tiny race condition where 2 might run, but without sigificantly more code
1191     # and complexity, this is close to the best we can do.
1192
1193     if ($cache_data->{running}) { # someone is already doing the search...
1194         my $stop_looping = time() + $cache_timeout;
1195         while ( sleep(1) and time() < $stop_looping ) { # sleep for a second ... maybe they'll finish
1196             $cache_data = $cache->get_cache($key) || {};
1197             last if (!$cache_data->{running});
1198         }
1199     } elsif (!$cache_data->{0}) { # we're the first ... let's give it a try
1200         $cache->put_cache($key, { running => $$ }, $cache_timeout / 3);
1201     }
1202
1203     # keep retrieving results until we find enough to 
1204     # fulfill the user-specified limit and offset
1205     my $all_results = [];
1206     my $page; # current superpage
1207     my $current_page_summary = {};
1208     my $global_summary = {checked => 0, visible => 0, excluded => 0, deleted => 0, total => 0};
1209     my $new_ids = [];
1210
1211     for($page = 0; $page < $max_superpages; $page++) {
1212
1213         my $data = $cache_data->{$page};
1214         my $results;
1215         my $summary;
1216
1217         $logger->debug("staged search: analyzing superpage $page");
1218
1219         if($data) {
1220             # this window of results is already cached
1221             $logger->debug("staged search: found cached results");
1222             $summary = $data->{summary};
1223             $results = $data->{results};
1224
1225         } else {
1226             # retrieve the window of results from the database
1227             $logger->debug("staged search: fetching results from the database");
1228             $search_hash->{skip_check} = $page * $superpage_size;
1229             $search_hash->{return_query} = $page == 0 ? 1 : 0;
1230
1231             my $start = time;
1232             $results = $U->storagereq($method, %$search_hash);
1233             $search_duration = time - $start;
1234             $summary = shift(@$results) if $results;
1235
1236             unless($summary) {
1237                 $logger->info("search timed out: duration=$search_duration: params=".
1238                     OpenSRF::Utils::JSON->perl2JSON($search_hash));
1239                 return {count => 0};
1240             }
1241
1242             $logger->info("staged search: DB call took $search_duration seconds and returned ".scalar(@$results)." rows, including summary");
1243
1244             # Create backwards-compatible result structures
1245             if($IAmMetabib) {
1246                 $results = [map {[$_->{id}, $_->{badges}, $_->{popularity}, $_->{rel}, $_->{record}]} @$results];
1247             } else {
1248                 $results = [map {[$_->{id}, $_->{badges}, $_->{popularity}]} @$results];
1249             }
1250
1251             push @$new_ids, grep {defined($_)} map {$_->[0]} @$results;
1252             $results = [grep {defined $_->[0]} @$results];
1253             cache_staged_search_page($key, $page, $summary, $results) if $docache;
1254         }
1255
1256         tag_circulated_records($search_hash->{authtoken}, $results, $IAmMetabib) 
1257             if $search_hash->{tag_circulated_records} and $search_hash->{authtoken};
1258
1259         $current_page_summary = $summary;
1260
1261         # add the new set of results to the set under construction
1262         push(@$all_results, @$results);
1263
1264         my $current_count = scalar(@$all_results);
1265
1266         if ($page == 0) { # all summaries are the same, just get the first
1267             for (keys %$summary) {
1268                 $global_summary->{$_} = $summary->{$_};
1269             }
1270         }
1271
1272         # we've found all the possible hits
1273         last if $current_count == $summary->{visible};
1274
1275         # we've found enough results to satisfy the requested limit/offset
1276         last if $current_count >= ($user_limit + $user_offset);
1277
1278         # we've scanned all possible hits
1279         last if($summary->{checked} < $superpage_size);
1280     }
1281
1282     # Let other backends grab our data now that we're done.
1283     $cache_data = $cache->get_cache($key);
1284     if ($$cache_data{running} and $$cache_data{running} == $$) {
1285         delete $$cache_data{running};
1286         $cache->put_cache($key, $cache_data, $cache_timeout);
1287     }
1288
1289     my @results = grep {defined $_} @$all_results[$user_offset..($user_offset + $user_limit - 1)];
1290
1291     $conn->respond_complete(
1292         {
1293             global_summary    => $global_summary,
1294             count             => $global_summary->{visible},
1295             core_limit        => $search_hash->{core_limit},
1296             superpage         => $page,
1297             superpage_size    => $search_hash->{check_limit},
1298             superpage_summary => $current_page_summary,
1299             facet_key         => $facet_key,
1300             ids               => \@results
1301         }
1302     );
1303
1304     $logger->info("Completed canonicalized search is: $$global_summary{canonicalized_query}");
1305
1306     return cache_facets($facet_key, $new_ids, $IAmMetabib, $ignore_facet_classes) if $docache;
1307 }
1308
1309 sub fetch_display_fields {
1310     my $self = shift;
1311     my $conn = shift;
1312     my $highlight_map = shift;
1313     my @records = @_;
1314
1315     unless (@records) {
1316         $conn->respond_complete;
1317         return;
1318     }
1319
1320     my $hl_map_string = "''::HSTORE";
1321     if (ref($highlight_map) =~ /HASH/) {
1322         $hl_map_string = "";
1323         for my $tsq (keys %$highlight_map) {
1324             my $field_list = join(',', @{$$highlight_map{$tsq}});
1325             $hl_map_string .= ' || ' if $hl_map_string;
1326             $hl_map_string .= "hstore(($tsq)\:\:TEXT,'$field_list')";
1327         }
1328     }
1329
1330     my $e = new_editor();
1331
1332     for my $record ( @records ) {
1333         next unless $record;
1334         $conn->respond(
1335             $e->json_query(
1336                 {from => ['search.highlight_display_fields', $record, $hl_map_string]}
1337             )
1338         );
1339     }
1340
1341     return undef;
1342 }
1343 __PACKAGE__->register_method(
1344     method    => 'fetch_display_fields',
1345     api_name  => 'open-ils.search.fetch.metabib.display_field.highlight',
1346     stream   => 1
1347 );
1348
1349
1350 sub tag_circulated_records {
1351     my ($auth, $results, $metabib) = @_;
1352     my $e = new_editor(authtoken => $auth);
1353     return $results unless $e->checkauth;
1354
1355     my $query = {
1356         select   => { acn => [{ column => 'record', alias => 'tagme' }] }, 
1357         from     => { auch => { acp => { join => 'acn' }} }, 
1358         where    => { usr => $e->requestor->id },
1359         distinct => 1
1360     };
1361
1362     if ($metabib) {
1363         $query = {
1364             select   => { mmrsm => [{ column => 'metarecord', alias => 'tagme' }] },
1365             from     => 'mmrsm',
1366             where    => { source => { in => $query } },
1367             distinct => 1
1368         };
1369     }
1370
1371     # Give me the distinct set of bib records that exist in the user's visible circulation history
1372     my $circ_recs = $e->json_query( $query );
1373
1374     # if the record appears in the circ history, push a 1 onto 
1375     # the rec array structure to indicate truthiness
1376     for my $rec (@$results) {
1377         push(@$rec, 1) if grep { $_->{tagme} eq $$rec[0] } @$circ_recs;
1378     }
1379
1380     $results
1381 }
1382
1383 # creates a unique token to represent the query in the cache
1384 sub search_cache_key {
1385     my $method = shift;
1386     my $search_hash = shift;
1387     my @sorted;
1388     for my $key (sort keys %$search_hash) {
1389         push(@sorted, ($key => $$search_hash{$key})) 
1390             unless $key eq 'limit'  or 
1391                    $key eq 'offset' or 
1392                    $key eq 'skip_check';
1393     }
1394     my $s = OpenSRF::Utils::JSON->perl2JSON(\@sorted);
1395     return $pfx . md5_hex($method . $s);
1396 }
1397
1398 sub retrieve_cached_facets {
1399     my $self   = shift;
1400     my $client = shift;
1401     my $key    = shift;
1402     my $limit    = shift;
1403
1404     return undef unless ($key and $key =~ /_facets$/);
1405
1406     eval {
1407         local $SIG{ALRM} = sub {die};
1408         alarm(10); # we'll sleep for as much as 10s
1409         do {
1410             die if $cache->get_cache($key . '_COMPLETE');
1411         } while (sleep(0.05));
1412         alarm(0);
1413     };
1414     alarm(0);
1415
1416     my $blob = $cache->get_cache($key) || {};
1417
1418     my $facets = {};
1419     if ($limit) {
1420        for my $f ( keys %$blob ) {
1421             my @sorted = map{ { $$_[1] => $$_[0] } } sort {$$b[0] <=> $$a[0] || $$a[1] cmp $$b[1]} map { [$$blob{$f}{$_}, $_] } keys %{ $$blob{$f} };
1422             @sorted = @sorted[0 .. $limit - 1] if (scalar(@sorted) > $limit);
1423             for my $s ( @sorted ) {
1424                 my ($k) = keys(%$s);
1425                 my ($v) = values(%$s);
1426                 $$facets{$f}{$k} = $v;
1427             }
1428         }
1429     } else {
1430         $facets = $blob;
1431     }
1432
1433     return $facets;
1434 }
1435
1436 __PACKAGE__->register_method(
1437     method   => "retrieve_cached_facets",
1438     api_name => "open-ils.search.facet_cache.retrieve",
1439     signature => {
1440         desc   => 'Returns facet data derived from a specific search based on a key '.
1441                   'generated by open-ils.search.biblio.multiclass.staged and friends.',
1442         params => [
1443             {
1444                 desc => "The facet cache key returned with the initial search as the facet_key hash value",
1445                 type => 'string',
1446             }
1447         ],
1448         return => {
1449             desc => 'Two level hash of facet values.  Top level key is the facet id defined on the config.metabib_field table.  '.
1450                     'Second level key is a string facet value.  Datum attached to each facet value is the number of distinct records, '.
1451                     'or metarecords for a metarecord search, which use that facet value and are visible to the search at the time of '.
1452                     'facet retrieval.  These counts are calculated for all superpages that have been checked for visibility.',
1453             type => 'object',
1454         }
1455     }
1456 );
1457
1458
1459 sub cache_facets {
1460     # add facets for this search to the facet cache
1461     my($key, $results, $metabib, $ignore) = @_;
1462     my $data = $cache->get_cache($key);
1463     $data ||= {};
1464
1465     return undef unless (@$results);
1466
1467     my $facets_function = $metabib ? 'search.facets_for_metarecord_set'
1468                                    : 'search.facets_for_record_set';
1469     my $results_str = '{' . join(',', @$results) . '}';
1470     my $ignore_str = ref($ignore) ? '{' . join(',', @$ignore) . '}'
1471                                   : '{}';
1472     my $query = {   
1473         from => [ $facets_function, $ignore_str, $results_str ]
1474     };
1475
1476     my $facets = OpenILS::Utils::CStoreEditor->new->json_query($query, {substream => 1});
1477
1478     for my $facet (@$facets) {
1479         next unless ($facet->{value});
1480         $data->{$facet->{id}}->{$facet->{value}} += $facet->{count};
1481     }
1482
1483     $logger->info("facet compilation: cached with key=$key");
1484
1485     $cache->put_cache($key, $data, $cache_timeout);
1486     $cache->put_cache($key.'_COMPLETE', 1, $cache_timeout);
1487 }
1488
1489 sub cache_staged_search_page {
1490     # puts this set of results into the cache
1491     my($key, $page, $summary, $results) = @_;
1492     my $data = $cache->get_cache($key);
1493     $data ||= {};
1494     $data->{$page} = {
1495         summary => $summary,
1496         results => $results
1497     };
1498
1499     $logger->info("staged search: cached with key=$key, superpage=$page, estimated=".
1500         ($summary->{estimated_hit_count} || "none") .
1501         ", visible=" . ($summary->{visible} || "none")
1502     );
1503
1504     $cache->put_cache($key, $data, $cache_timeout);
1505 }
1506
1507 sub search_cache {
1508
1509     my $key     = shift;
1510     my $offset  = shift;
1511     my $limit   = shift;
1512     my $start   = $offset;
1513     my $end     = $offset + $limit - 1;
1514
1515     $logger->debug("searching cache for $key : $start..$end\n");
1516
1517     return undef unless $cache;
1518     my $data = $cache->get_cache($key);
1519
1520     return undef unless $data;
1521
1522     my $count = $data->[0];
1523     $data = $data->[1];
1524
1525     return undef unless $offset < $count;
1526
1527     my @result;
1528     for( my $i = $offset; $i <= $end; $i++ ) {
1529         last unless my $d = $$data[$i];
1530         push( @result, $d );
1531     }
1532
1533     $logger->debug("search_cache found ".scalar(@result)." items for count=$count, start=$start, end=$end");
1534
1535     return \@result;
1536 }
1537
1538
1539 sub put_cache {
1540     my( $key, $count, $data ) = @_;
1541     return undef unless $cache;
1542     $logger->debug("search_cache putting ".
1543         scalar(@$data)." items at key $key with timeout $cache_timeout");
1544     $cache->put_cache($key, [ $count, $data ], $cache_timeout);
1545 }
1546
1547
1548 __PACKAGE__->register_method(
1549     method   => "biblio_mrid_to_modsbatch_batch",
1550     api_name => "open-ils.search.biblio.metarecord.mods_slim.batch.retrieve"
1551 );
1552
1553 sub biblio_mrid_to_modsbatch_batch {
1554     my( $self, $client, $mrids) = @_;
1555     # warn "Performing mrid_to_modsbatch_batch..."; # unconditional warn
1556     my @mods;
1557     my $method = $self->method_lookup("open-ils.search.biblio.metarecord.mods_slim.retrieve");
1558     for my $id (@$mrids) {
1559         next unless defined $id;
1560         my ($m) = $method->run($id);
1561         push @mods, $m;
1562     }
1563     return \@mods;
1564 }
1565
1566
1567 foreach (qw /open-ils.search.biblio.metarecord.mods_slim.retrieve
1568              open-ils.search.biblio.metarecord.mods_slim.retrieve.staff/)
1569     {
1570     __PACKAGE__->register_method(
1571         method    => "biblio_mrid_to_modsbatch",
1572         api_name  => $_,
1573         signature => {
1574             desc   => "Returns the mvr associated with a given metarecod. If none exists, it is created.  "
1575                     . "As usual, the .staff version of this method will include otherwise hidden records.",
1576             params => [
1577                 { desc => 'Metarecord ID', type => 'number' },
1578                 { desc => '(Optional) Search filters hash with possible keys: format, org, depth', type => 'object' }
1579             ],
1580             return => {
1581                 desc => 'MVR Object, event on error',
1582             }
1583         }
1584     );
1585 }
1586
1587 sub biblio_mrid_to_modsbatch {
1588     my( $self, $client, $mrid, $args) = @_;
1589
1590     # warn "Grabbing mvr for $mrid\n";    # unconditional warn
1591
1592     my ($mr, $evt) = _grab_metarecord($mrid);
1593     return $evt unless $mr;
1594
1595     my $mvr = biblio_mrid_check_mvr($self, $client, $mr) ||
1596               biblio_mrid_make_modsbatch($self, $client, $mr);
1597
1598     return $mvr unless ref($args);  
1599
1600     # Here we find the lead record appropriate for the given filters 
1601     # and use that for the title and author of the metarecord
1602     my $format = $$args{format};
1603     my $org    = $$args{org};
1604     my $depth  = $$args{depth};
1605
1606     return $mvr unless $format or $org or $depth;
1607
1608     my $method = "open-ils.storage.ordered.metabib.metarecord.records";
1609     $method = "$method.staff" if $self->api_name =~ /staff/o; 
1610
1611     my $rec = $U->storagereq($method, $format, $org, $depth, 1);
1612
1613     if( my $mods = $U->record_to_mvr($rec) ) {
1614
1615         $mvr->title( $mods->title );
1616         $mvr->author($mods->author);
1617         $logger->debug("mods_slim updating title and ".
1618             "author in mvr with ".$mods->title." : ".$mods->author);
1619     }
1620
1621     return $mvr;
1622 }
1623
1624 # converts a metarecord to an mvr
1625 sub _mr_to_mvr {
1626     my $mr = shift;
1627     my $perl = OpenSRF::Utils::JSON->JSON2perl($mr->mods());
1628     return Fieldmapper::metabib::virtual_record->new($perl);
1629 }
1630
1631 # checks to see if a metarecord has mods, if so returns true;
1632
1633 __PACKAGE__->register_method(
1634     method   => "biblio_mrid_check_mvr",
1635     api_name => "open-ils.search.biblio.metarecord.mods_slim.check",
1636     notes    => "Takes a metarecord ID or a metarecord object and returns true "
1637               . "if the metarecord already has an mvr associated with it."
1638 );
1639
1640 sub biblio_mrid_check_mvr {
1641     my( $self, $client, $mrid ) = @_;
1642     my $mr; 
1643
1644     my $evt;
1645     if(ref($mrid)) { $mr = $mrid; } 
1646     else { ($mr, $evt) = _grab_metarecord($mrid); }
1647     return $evt if $evt;
1648
1649     # warn "Checking mvr for mr " . $mr->id . "\n";   # unconditional warn
1650
1651     return _mr_to_mvr($mr) if $mr->mods();
1652     return undef;
1653 }
1654
1655 sub _grab_metarecord {
1656     my $mrid = shift;
1657     my $e = new_editor();
1658     my $mr = $e->retrieve_metabib_metarecord($mrid) or return ( undef, $e->event );
1659     return ($mr);
1660 }
1661
1662
1663 __PACKAGE__->register_method(
1664     method   => "biblio_mrid_make_modsbatch",
1665     api_name => "open-ils.search.biblio.metarecord.mods_slim.create",
1666     notes    => "Takes either a metarecord ID or a metarecord object. "
1667               . "Forces the creations of an mvr for the given metarecord. "
1668               . "The created mvr is returned."
1669 );
1670
1671 sub biblio_mrid_make_modsbatch {
1672     my( $self, $client, $mrid ) = @_;
1673
1674     my $e = new_editor();
1675
1676     my $mr;
1677     if( ref($mrid) ) {
1678         $mr = $mrid;
1679         $mrid = $mr->id;
1680     } else {
1681         $mr = $e->retrieve_metabib_metarecord($mrid) 
1682             or return $e->event;
1683     }
1684
1685     my $masterid = $mr->master_record;
1686     $logger->info("creating new mods batch for metarecord=$mrid, master record=$masterid");
1687
1688     my $ids = $U->storagereq(
1689         'open-ils.storage.ordered.metabib.metarecord.records.staff.atomic', $mrid);
1690     return undef unless @$ids;
1691
1692     my $master = $e->retrieve_biblio_record_entry($masterid)
1693         or return $e->event;
1694
1695     # start the mods batch
1696     my $u = OpenILS::Utils::ModsParser->new();
1697     $u->start_mods_batch( $master->marc );
1698
1699     # grab all of the sub-records and shove them into the batch
1700     my @ids = grep { $_ ne $masterid } @$ids;
1701     #my $subrecs = (@ids) ? $e->batch_retrieve_biblio_record_entry(\@ids) : [];
1702
1703     my $subrecs = [];
1704     if(@$ids) {
1705         for my $i (@$ids) {
1706             my $r = $e->retrieve_biblio_record_entry($i);
1707             push( @$subrecs, $r ) if $r;
1708         }
1709     }
1710
1711     for(@$subrecs) {
1712         $logger->debug("adding record ".$_->id." to mods batch for metarecord=$mrid");
1713         $u->push_mods_batch( $_->marc ) if $_->marc;
1714     }
1715
1716
1717     # finish up and send to the client
1718     my $mods = $u->finish_mods_batch();
1719     $mods->doc_id($mrid);
1720     $client->respond_complete($mods);
1721
1722
1723     # now update the mods string in the db
1724     my $string = OpenSRF::Utils::JSON->perl2JSON($mods->decast);
1725     $mr->mods($string);
1726
1727     $e = new_editor(xact => 1);
1728     $e->update_metabib_metarecord($mr) 
1729         or $logger->error("Error setting mods text on metarecord $mrid : " . Dumper($e->event));
1730     $e->finish;
1731
1732     return undef;
1733 }
1734
1735
1736 # converts a mr id into a list of record ids
1737
1738 foreach (qw/open-ils.search.biblio.metarecord_to_records
1739             open-ils.search.biblio.metarecord_to_records.staff/)
1740 {
1741     __PACKAGE__->register_method(
1742         method    => "biblio_mrid_to_record_ids",
1743         api_name  => $_,
1744         signature => {
1745             desc   => "Fetch record IDs corresponding to a meta-record ID, with optional search filters. "
1746                     . "As usual, the .staff version of this method will include otherwise hidden records.",
1747             params => [
1748                 { desc => 'Metarecord ID', type => 'number' },
1749                 { desc => '(Optional) Search filters hash with possible keys: format, org, depth', type => 'object' }
1750             ],
1751             return => {
1752                 desc => 'Results object like {count => $i, ids =>[...]}',
1753                 type => 'object'
1754             }
1755             
1756         }
1757     );
1758 }
1759
1760 sub biblio_mrid_to_record_ids {
1761     my( $self, $client, $mrid, $args ) = @_;
1762
1763     my $format = $$args{format};
1764     my $org    = $$args{org};
1765     my $depth  = $$args{depth};
1766
1767     my $method = "open-ils.storage.ordered.metabib.metarecord.records.atomic";
1768     $method =~ s/atomic/staff\.atomic/o if $self->api_name =~ /staff/o; 
1769     my $recs = $U->storagereq($method, $mrid, $format, $org, $depth);
1770
1771     return { count => scalar(@$recs), ids => $recs };
1772 }
1773
1774
1775 __PACKAGE__->register_method(
1776     method   => "biblio_record_to_marc_html",
1777     api_name => "open-ils.search.biblio.record.html"
1778 );
1779
1780 __PACKAGE__->register_method(
1781     method   => "biblio_record_to_marc_html",
1782     api_name => "open-ils.search.authority.to_html"
1783 );
1784
1785 # Persistent parsers and setting objects
1786 my $parser = XML::LibXML->new();
1787 my $xslt   = XML::LibXSLT->new();
1788 my $marc_sheet;
1789 my $slim_marc_sheet;
1790 my $settings_client = OpenSRF::Utils::SettingsClient->new();
1791
1792 sub biblio_record_to_marc_html {
1793     my($self, $client, $recordid, $slim, $marcxml) = @_;
1794
1795     my $sheet;
1796     my $dir = $settings_client->config_value("dirs", "xsl");
1797
1798     if($slim) {
1799         unless($slim_marc_sheet) {
1800             my $xsl = $settings_client->config_value(
1801                 "apps", "open-ils.search", "app_settings", 'marc_html_xsl_slim');
1802             if($xsl) {
1803                 $xsl = $parser->parse_file("$dir/$xsl");
1804                 $slim_marc_sheet = $xslt->parse_stylesheet($xsl);
1805             }
1806         }
1807         $sheet = $slim_marc_sheet;
1808     }
1809
1810     unless($sheet) {
1811         unless($marc_sheet) {
1812             my $xsl_key = ($slim) ? 'marc_html_xsl_slim' : 'marc_html_xsl';
1813             my $xsl = $settings_client->config_value(
1814                 "apps", "open-ils.search", "app_settings", 'marc_html_xsl');
1815             $xsl = $parser->parse_file("$dir/$xsl");
1816             $marc_sheet = $xslt->parse_stylesheet($xsl);
1817         }
1818         $sheet = $marc_sheet;
1819     }
1820
1821     my $record;
1822     unless($marcxml) {
1823         my $e = new_editor();
1824         if($self->api_name =~ /authority/) {
1825             $record = $e->retrieve_authority_record_entry($recordid)
1826                 or return $e->event;
1827         } else {
1828             $record = $e->retrieve_biblio_record_entry($recordid)
1829                 or return $e->event;
1830         }
1831         $marcxml = $record->marc;
1832     }
1833
1834     my $xmldoc = $parser->parse_string($marcxml);
1835     my $html = $sheet->transform($xmldoc);
1836     return $html->documentElement->toString();
1837 }
1838
1839 __PACKAGE__->register_method(
1840     method    => "format_biblio_record_entry",
1841     api_name  => "open-ils.search.biblio.record.print",
1842     signature => {
1843         desc   => 'Returns a printable version of the specified bib record',
1844         params => [
1845             { desc => 'Biblio record entry ID or array of IDs', type => 'number' },
1846         ],
1847         return => {
1848             desc => q/An action_trigger.event object or error event./,
1849             type => 'object',
1850         }
1851     }
1852 );
1853 __PACKAGE__->register_method(
1854     method    => "format_biblio_record_entry",
1855     api_name  => "open-ils.search.biblio.record.email",
1856     signature => {
1857         desc   => 'Emails an A/T templated version of the specified bib records to the authorized user',
1858         params => [
1859             { desc => 'Authentication token',  type => 'string'},
1860             { desc => 'Biblio record entry ID or array of IDs', type => 'number' },
1861         ],
1862         return => {
1863             desc => q/Undefined on success, otherwise an error event./,
1864             type => 'object',
1865         }
1866     }
1867 );
1868
1869 sub format_biblio_record_entry {
1870     my($self, $conn, $arg1, $arg2) = @_;
1871
1872     my $for_print = ($self->api_name =~ /print/);
1873     my $for_email = ($self->api_name =~ /email/);
1874
1875     my $e; my $auth; my $bib_id; my $context_org;
1876
1877     if ($for_print) {
1878         $bib_id = $arg1;
1879         $context_org = $arg2 || $U->get_org_tree->id;
1880         $e = new_editor(xact => 1);
1881     } elsif ($for_email) {
1882         $auth = $arg1;
1883         $bib_id = $arg2;
1884         $e = new_editor(authtoken => $auth, xact => 1);
1885         return $e->die_event unless $e->checkauth;
1886         $context_org = $e->requestor->home_ou;
1887     }
1888
1889     my $bib_ids;
1890     if (ref $bib_id ne 'ARRAY') {
1891         $bib_ids = [ $bib_id ];
1892     } else {
1893         $bib_ids = $bib_id;
1894     }
1895
1896     my $bucket = Fieldmapper::container::biblio_record_entry_bucket->new;
1897     $bucket->btype('temp');
1898     $bucket->name('format_biblio_record_entry ' . $U->create_uuid_string);
1899     if ($for_email) {
1900         $bucket->owner($e->requestor) 
1901     } else {
1902         $bucket->owner(1);
1903     }
1904     my $bucket_obj = $e->create_container_biblio_record_entry_bucket($bucket);
1905
1906     for my $id (@$bib_ids) {
1907
1908         my $bib = $e->retrieve_biblio_record_entry([$id]) or return $e->die_event;
1909
1910         my $bucket_entry = Fieldmapper::container::biblio_record_entry_bucket_item->new;
1911         $bucket_entry->target_biblio_record_entry($bib);
1912         $bucket_entry->bucket($bucket_obj->id);
1913         $e->create_container_biblio_record_entry_bucket_item($bucket_entry);
1914     }
1915
1916     $e->commit;
1917
1918     if ($for_print) {
1919
1920         return $U->fire_object_event(undef, 'biblio.format.record_entry.print', [ $bucket ], $context_org);
1921
1922     } elsif ($for_email) {
1923
1924         $U->create_events_for_hook('biblio.format.record_entry.email', $bucket, $context_org, undef, undef, 1);
1925     }
1926
1927     return undef;
1928 }
1929
1930
1931 __PACKAGE__->register_method(
1932     method   => "retrieve_all_copy_statuses",
1933     api_name => "open-ils.search.config.copy_status.retrieve.all"
1934 );
1935
1936 sub retrieve_all_copy_statuses {
1937     my( $self, $client ) = @_;
1938     return new_editor()->retrieve_all_config_copy_status();
1939 }
1940
1941
1942 __PACKAGE__->register_method(
1943     method   => "copy_counts_per_org",
1944     api_name => "open-ils.search.biblio.copy_counts.retrieve"
1945 );
1946
1947 __PACKAGE__->register_method(
1948     method   => "copy_counts_per_org",
1949     api_name => "open-ils.search.biblio.copy_counts.retrieve.staff"
1950 );
1951
1952 sub copy_counts_per_org {
1953     my( $self, $client, $record_id ) = @_;
1954
1955     warn "Retreiveing copy copy counts for record $record_id and method " . $self->api_name . "\n";
1956
1957     my $method = "open-ils.storage.biblio.record_entry.global_copy_count.atomic";
1958     if($self->api_name =~ /staff/) { $method =~ s/atomic/staff\.atomic/; }
1959
1960     my $counts = $apputils->simple_scalar_request(
1961         "open-ils.storage", $method, $record_id );
1962
1963     $counts = [ sort {$a->[0] <=> $b->[0]} @$counts ];
1964     return $counts;
1965 }
1966
1967
1968 __PACKAGE__->register_method(
1969     method   => "copy_count_summary",
1970     api_name => "open-ils.search.biblio.copy_counts.summary.retrieve",
1971     notes    => "returns an array of these: "
1972               . "[ org_id, callnumber_prefix, callnumber_label, callnumber_suffix, <status1_count>, <status2_count>,...] "
1973               . "where statusx is a copy status name.  The statuses are sorted by ID.",
1974 );
1975         
1976
1977 sub copy_count_summary {
1978     my( $self, $client, $rid, $org, $depth ) = @_;
1979     $org   ||= 1;
1980     $depth ||= 0;
1981     my $data = $U->storagereq(
1982         'open-ils.storage.biblio.record_entry.status_copy_count.atomic', $rid, $org, $depth );
1983
1984     return [ sort {
1985         (($a->[1] ? $a->[1] . ' ' : '') . $a->[2] . ($a->[3] ? ' ' . $a->[3] : ''))
1986         cmp
1987         (($b->[1] ? $b->[1] . ' ' : '') . $b->[2] . ($b->[3] ? ' ' . $b->[3] : ''))
1988     } @$data ];
1989 }
1990
1991 __PACKAGE__->register_method(
1992     method   => "copy_location_count_summary",
1993     api_name => "open-ils.search.biblio.copy_location_counts.summary.retrieve",
1994     notes    => "returns an array of these: "
1995               . "[ org_id, callnumber_prefix, callnumber_label, callnumber_suffix, copy_location, <status1_count>, <status2_count>,...] "
1996               . "where statusx is a copy status name.  The statuses are sorted by ID.",
1997 );
1998
1999 sub copy_location_count_summary {
2000     my( $self, $client, $rid, $org, $depth ) = @_;
2001     $org   ||= 1;
2002     $depth ||= 0;
2003     my $data = $U->storagereq(
2004         'open-ils.storage.biblio.record_entry.status_copy_location_count.atomic', $rid, $org, $depth );
2005
2006     return [ sort {
2007         (($a->[1] ? $a->[1] . ' ' : '') . $a->[2] . ($a->[3] ? ' ' . $a->[3] : ''))
2008         cmp
2009         (($b->[1] ? $b->[1] . ' ' : '') . $b->[2] . ($b->[3] ? ' ' . $b->[3] : ''))
2010
2011         || $a->[4] cmp $b->[4]
2012     } @$data ];
2013 }
2014
2015 __PACKAGE__->register_method(
2016     method   => "copy_count_location_summary",
2017     api_name => "open-ils.search.biblio.copy_counts.location.summary.retrieve",
2018     notes    => "returns an array of these: "
2019               . "[ org_id, callnumber_prefix, callnumber_label, callnumber_suffix, <status1_count>, <status2_count>,...] "
2020               . "where statusx is a copy status name.  The statuses are sorted by ID."
2021 );
2022
2023 sub copy_count_location_summary {
2024     my( $self, $client, $rid, $org, $depth ) = @_;
2025     $org   ||= 1;
2026     $depth ||= 0;
2027     my $data = $U->storagereq(
2028         'open-ils.storage.biblio.record_entry.status_copy_location_count.atomic', $rid, $org, $depth );
2029     return [ sort {
2030         (($a->[1] ? $a->[1] . ' ' : '') . $a->[2] . ($a->[3] ? ' ' . $a->[3] : ''))
2031         cmp
2032         (($b->[1] ? $b->[1] . ' ' : '') . $b->[2] . ($b->[3] ? ' ' . $b->[3] : ''))
2033     } @$data ];
2034 }
2035
2036
2037 foreach (qw/open-ils.search.biblio.marc
2038             open-ils.search.biblio.marc.staff/)
2039 {
2040 __PACKAGE__->register_method(
2041     method    => "marc_search",
2042     api_name  => $_,
2043     signature => {
2044         desc   => 'Fetch biblio IDs based on MARC record criteria.  '
2045                 . 'As usual, the .staff version of the search includes otherwise hidden records',
2046         params => [
2047             {
2048                 desc => 'Search hash (required) with possible elements: searches, limit, offset, sort, sort_dir. ' .
2049                         'See perldoc ' . __PACKAGE__ . ' for more detail.',
2050                 type => 'object'
2051             },
2052             {desc => 'timeout (optional)',  type => 'number'}
2053         ],
2054         return => {
2055             desc => 'Results object like: { "count": $i, "ids": [...] }',
2056             type => 'object'
2057         }
2058     }
2059 );
2060 }
2061
2062 =head3 open-ils.search.biblio.marc (arghash, timeout)
2063
2064 As elsewhere the arghash is the required argument, and must be a hashref.  The keys are:
2065
2066     searches: complex query object  (required)
2067     org_unit: The org ID to focus the search at
2068     depth   : The org depth     
2069     limit   : integer search limit      default: 10
2070     offset  : integer search offset     default:  0
2071     sort    : What field to sort the results on? [ author | title | pubdate ]
2072     sort_dir: In what direction do we sort? [ asc | desc ]
2073
2074 Additional keys to refine search criteria:
2075
2076     audience : Audience
2077     language : Language (code)
2078     lit_form : Literary form
2079     item_form: Item form
2080     item_type: Item type
2081     format   : The MARC format
2082
2083 Please note that the specific strings to be used in the "addtional keys" will be entirely
2084 dependent on your loaded data.  
2085
2086 All keys except "searches" are optional.
2087 The "searches" value must be an arrayref of hashref elements, including keys "term" and "restrict".  
2088
2089 For example, an arg hash might look like:
2090
2091     $arghash = {
2092         searches => [
2093             {
2094                 term     => "harry",
2095                 restrict => [
2096                     {
2097                         tag => 245,
2098                         subfield => "a"
2099                     }
2100                     # ...
2101                 ]
2102             }
2103             # ...
2104         ],
2105         org_unit  => 1,
2106         limit     => 5,
2107         sort      => "author",
2108         item_type => "g"
2109     }
2110
2111 The arghash is eventually passed to the SRF call:
2112 L<open-ils.storage.biblio.full_rec.multi_search[.staff].atomic>
2113
2114 Presently, search uses the cache unconditionally.
2115
2116 =cut
2117
2118 # FIXME: that example above isn't actually tested.
2119 # FIXME: sort and limit added.  item_type not tested yet.
2120 # TODO: docache option?
2121 sub marc_search {
2122     my( $self, $conn, $args, $timeout ) = @_;
2123
2124     my $method = 'open-ils.storage.biblio.full_rec.multi_search';
2125     $method .= ".staff" if $self->api_name =~ /staff/;
2126     $method .= ".atomic";
2127
2128     my $limit = $args->{limit} || 10;
2129     my $offset = $args->{offset} || 0;
2130
2131     # allow caller to pass in a call timeout since MARC searches
2132     # can take longer than the default 60-second timeout.  
2133     # Default to 2 mins.  Arbitrarily cap at 5 mins.
2134     $timeout = 120 if !$timeout or $timeout > 300;
2135
2136     my @search;
2137     push( @search, ($_ => $$args{$_}) ) for (sort keys %$args);
2138     my $ckey = $pfx . md5_hex($method . OpenSRF::Utils::JSON->perl2JSON(\@search));
2139
2140     my $recs = search_cache($ckey, $offset, $limit);
2141
2142     if(!$recs) {
2143
2144         my $ses = OpenSRF::AppSession->create('open-ils.storage');
2145         my $req = $ses->request($method, %$args);
2146         my $resp = $req->recv($timeout);
2147
2148         if($resp and $recs = $resp->content) {
2149             put_cache($ckey, scalar(@$recs), $recs);
2150         } else {
2151             $recs = [];
2152         }
2153
2154         $ses->kill_me;
2155     }
2156
2157     my $count = 0;
2158     $count = $recs->[0]->[2] if $recs->[0] and $recs->[0]->[2];
2159     my @recs = map { $_->[0] } @$recs;
2160
2161     return { ids => \@recs, count => $count };
2162 }
2163
2164
2165 foreach my $isbn_method (qw/
2166     open-ils.search.biblio.isbn
2167     open-ils.search.biblio.isbn.staff
2168 /) {
2169 __PACKAGE__->register_method(
2170     method    => "biblio_search_isbn",
2171     api_name  => $isbn_method,
2172     signature => {
2173         desc   => 'Retrieve biblio IDs for a given ISBN. The .staff version of the call includes otherwise hidden hits.',
2174         params => [
2175             {desc => 'ISBN', type => 'string'}
2176         ],
2177         return => {
2178             desc => 'Results object like: { "count": $i, "ids": [...] }',
2179             type => 'object'
2180         }
2181     }
2182 );
2183 }
2184
2185 sub biblio_search_isbn { 
2186     my( $self, $client, $isbn ) = @_;
2187     $logger->debug("Searching ISBN $isbn");
2188     # the previous implementation of this method was essentially unlimited,
2189     # so we will set our limit very high and let multiclass.query provide any
2190     # actual limit
2191     # XXX: if making this unlimited is deemed important, we might consider
2192     # reworking 'open-ils.storage.id_list.biblio.record_entry.search.isbn',
2193     # which is functionally deprecated at this point, or a custom call to
2194     # 'open-ils.storage.biblio.multiclass.search_fts'
2195
2196     my $isbn_method = 'open-ils.search.biblio.multiclass.query';
2197     if ($self->api_name =~ m/.staff$/) {
2198         $isbn_method .= '.staff';
2199     }
2200
2201     my $method = $self->method_lookup($isbn_method);
2202     my ($search_result) = $method->run({'limit' => 1000000}, "identifier|isbn:$isbn");
2203     my @recs = map { $_->[0] } @{$search_result->{'ids'}};
2204     return { ids => \@recs, count => $search_result->{'count'} };
2205 }
2206
2207 __PACKAGE__->register_method(
2208     method   => "biblio_search_isbn_batch",
2209     api_name => "open-ils.search.biblio.isbn_list",
2210 );
2211
2212 # XXX: see biblio_search_isbn() for note concerning 'limit'
2213 sub biblio_search_isbn_batch { 
2214     my( $self, $client, $isbn_list ) = @_;
2215     $logger->debug("Searching ISBNs @$isbn_list");
2216     my @recs = (); my %rec_set = ();
2217     my $method = $self->method_lookup('open-ils.search.biblio.multiclass.query');
2218     foreach my $isbn ( @$isbn_list ) {
2219         my ($search_result) = $method->run({'limit' => 1000000}, "identifier|isbn:$isbn");
2220         my @recs_subset = map { $_->[0] } @{$search_result->{'ids'}};
2221         foreach my $rec (@recs_subset) {
2222             if (! $rec_set{ $rec }) {
2223                 $rec_set{ $rec } = 1;
2224                 push @recs, $rec;
2225             }
2226         }
2227     }
2228     return { ids => \@recs, count => scalar(@recs) };
2229 }
2230
2231 foreach my $issn_method (qw/
2232     open-ils.search.biblio.issn
2233     open-ils.search.biblio.issn.staff
2234 /) {
2235 __PACKAGE__->register_method(
2236     method   => "biblio_search_issn",
2237     api_name => $issn_method,
2238     signature => {
2239         desc   => 'Retrieve biblio IDs for a given ISSN',
2240         params => [
2241             {desc => 'ISBN', type => 'string'}
2242         ],
2243         return => {
2244             desc => 'Results object like: { "count": $i, "ids": [...] }',
2245             type => 'object'
2246         }
2247     }
2248 );
2249 }
2250
2251 sub biblio_search_issn { 
2252     my( $self, $client, $issn ) = @_;
2253     $logger->debug("Searching ISSN $issn");
2254     # the previous implementation of this method was essentially unlimited,
2255     # so we will set our limit very high and let multiclass.query provide any
2256     # actual limit
2257     # XXX: if making this unlimited is deemed important, we might consider
2258     # reworking 'open-ils.storage.id_list.biblio.record_entry.search.issn',
2259     # which is functionally deprecated at this point, or a custom call to
2260     # 'open-ils.storage.biblio.multiclass.search_fts'
2261
2262     my $issn_method = 'open-ils.search.biblio.multiclass.query';
2263     if ($self->api_name =~ m/.staff$/) {
2264         $issn_method .= '.staff';
2265     }
2266
2267     my $method = $self->method_lookup($issn_method);
2268     my ($search_result) = $method->run({'limit' => 1000000}, "identifier|issn:$issn");
2269     my @recs = map { $_->[0] } @{$search_result->{'ids'}};
2270     return { ids => \@recs, count => $search_result->{'count'} };
2271 }
2272
2273
2274 __PACKAGE__->register_method(
2275     method    => "fetch_mods_by_copy",
2276     api_name  => "open-ils.search.biblio.mods_from_copy",
2277     argc      => 1,
2278     signature => {
2279         desc    => 'Retrieve MODS record given an attached copy ID',
2280         params  => [
2281             { desc => 'Copy ID', type => 'number' }
2282         ],
2283         returns => {
2284             desc => 'MODS record, event on error or uncataloged item'
2285         }
2286     }
2287 );
2288
2289 sub fetch_mods_by_copy {
2290     my( $self, $client, $copyid ) = @_;
2291     my ($record, $evt) = $apputils->fetch_record_by_copy( $copyid );
2292     return $evt if $evt;
2293     return OpenILS::Event->new('ITEM_NOT_CATALOGED') unless $record->marc;
2294     return $apputils->record_to_mvr($record);
2295 }
2296
2297
2298 # -------------------------------------------------------------------------------------
2299
2300 __PACKAGE__->register_method(
2301     method   => "cn_browse",
2302     api_name => "open-ils.search.callnumber.browse.target",
2303     notes    => "Starts a callnumber browse"
2304 );
2305
2306 __PACKAGE__->register_method(
2307     method   => "cn_browse",
2308     api_name => "open-ils.search.callnumber.browse.page_up",
2309     notes    => "Returns the previous page of callnumbers",
2310 );
2311
2312 __PACKAGE__->register_method(
2313     method   => "cn_browse",
2314     api_name => "open-ils.search.callnumber.browse.page_down",
2315     notes    => "Returns the next page of callnumbers",
2316 );
2317
2318
2319 # RETURNS array of arrays like so: label, owning_lib, record, id
2320 sub cn_browse {
2321     my( $self, $client, @params ) = @_;
2322     my $method;
2323
2324     $method = 'open-ils.storage.asset.call_number.browse.target.atomic' 
2325         if( $self->api_name =~ /target/ );
2326     $method = 'open-ils.storage.asset.call_number.browse.page_up.atomic'
2327         if( $self->api_name =~ /page_up/ );
2328     $method = 'open-ils.storage.asset.call_number.browse.page_down.atomic'
2329         if( $self->api_name =~ /page_down/ );
2330
2331     return $apputils->simplereq( 'open-ils.storage', $method, @params );
2332 }
2333 # -------------------------------------------------------------------------------------
2334
2335 __PACKAGE__->register_method(
2336     method        => "fetch_cn",
2337     api_name      => "open-ils.search.callnumber.retrieve",
2338     authoritative => 1,
2339     notes         => "retrieves a callnumber based on ID",
2340 );
2341
2342 sub fetch_cn {
2343     my( $self, $client, $id ) = @_;
2344
2345     my $e = new_editor();
2346     my( $cn, $evt ) = $apputils->fetch_callnumber( $id, 0, $e );
2347     return $evt if $evt;
2348     return $cn;
2349 }
2350
2351 __PACKAGE__->register_method(
2352     method        => "fetch_fleshed_cn",
2353     api_name      => "open-ils.search.callnumber.fleshed.retrieve",
2354     authoritative => 1,
2355     notes         => "retrieves a callnumber based on ID, fleshing prefix, suffix, and label_class",
2356 );
2357
2358 sub fetch_fleshed_cn {
2359     my( $self, $client, $id ) = @_;
2360
2361     my $e = new_editor();
2362     my( $cn, $evt ) = $apputils->fetch_callnumber( $id, 1, $e );
2363     return $evt if $evt;
2364     return $cn;
2365 }
2366
2367
2368 __PACKAGE__->register_method(
2369     method    => "fetch_copy_by_cn",
2370     api_name  => 'open-ils.search.copies_by_call_number.retrieve',
2371     signature => q/
2372         Returns an array of copy ID's by callnumber ID
2373         @param cnid The callnumber ID
2374         @return An array of copy IDs
2375     /
2376 );
2377
2378 sub fetch_copy_by_cn {
2379     my( $self, $conn, $cnid ) = @_;
2380     return $U->cstorereq(
2381         'open-ils.cstore.direct.asset.copy.id_list.atomic', 
2382         { call_number => $cnid, deleted => 'f' } );
2383 }
2384
2385 __PACKAGE__->register_method(
2386     method    => 'fetch_cn_by_info',
2387     api_name  => 'open-ils.search.call_number.retrieve_by_info',
2388     signature => q/
2389         @param label The callnumber label
2390         @param record The record the cn is attached to
2391         @param org The owning library of the cn
2392         @return The callnumber object
2393     /
2394 );
2395
2396
2397 sub fetch_cn_by_info {
2398     my( $self, $conn, $label, $record, $org ) = @_;
2399     return $U->cstorereq(
2400         'open-ils.cstore.direct.asset.call_number.search',
2401         { label => $label, record => $record, owning_lib => $org, deleted => 'f' });
2402 }
2403
2404
2405
2406 __PACKAGE__->register_method(
2407     method   => 'bib_extras',
2408     api_name => 'open-ils.search.biblio.lit_form_map.retrieve.all',
2409     ctype => 'lit_form'
2410 );
2411 __PACKAGE__->register_method(
2412     method   => 'bib_extras',
2413     api_name => 'open-ils.search.biblio.item_form_map.retrieve.all',
2414     ctype => 'item_form'
2415 );
2416 __PACKAGE__->register_method(
2417     method   => 'bib_extras',
2418     api_name => 'open-ils.search.biblio.item_type_map.retrieve.all',
2419     ctype => 'item_type',
2420 );
2421 __PACKAGE__->register_method(
2422     method   => 'bib_extras',
2423     api_name => 'open-ils.search.biblio.bib_level_map.retrieve.all',
2424     ctype => 'bib_level'
2425 );
2426 __PACKAGE__->register_method(
2427     method   => 'bib_extras',
2428     api_name => 'open-ils.search.biblio.audience_map.retrieve.all',
2429     ctype => 'audience'
2430 );
2431
2432 sub bib_extras {
2433     my $self = shift;
2434     $logger->warn("deprecation warning: " .$self->api_name);
2435
2436     my $e = new_editor();
2437
2438     my $ctype = $self->{ctype};
2439     my $ccvms = $e->search_config_coded_value_map({ctype => $ctype});
2440
2441     my @objs;
2442     for my $ccvm (@$ccvms) {
2443         my $obj = "Fieldmapper::config::${ctype}_map"->new;
2444         $obj->value($ccvm->value);
2445         $obj->code($ccvm->code);
2446         $obj->description($ccvm->description) if $obj->can('description');
2447         push(@objs, $obj);
2448     }
2449
2450     return \@objs;
2451 }
2452
2453
2454
2455 __PACKAGE__->register_method(
2456     method    => 'fetch_slim_record',
2457     api_name  => 'open-ils.search.biblio.record_entry.slim.retrieve',
2458     signature => {
2459         desc   => "Retrieves one or more biblio.record_entry without the attached marcxml",
2460         params => [
2461             { desc => 'Array of Record IDs', type => 'array' }
2462         ],
2463         return => { 
2464             desc => 'Array of biblio records, event on error'
2465         }
2466     }
2467 );
2468
2469 sub fetch_slim_record {
2470     my( $self, $conn, $ids ) = @_;
2471
2472     my $editor = new_editor();
2473     my @res;
2474     for( @$ids ) {
2475         return $editor->event unless
2476             my $r = $editor->retrieve_biblio_record_entry($_);
2477         $r->clear_marc;
2478         push(@res, $r);
2479     }
2480     return \@res;
2481 }
2482
2483 __PACKAGE__->register_method(
2484     method    => 'rec_hold_parts',
2485     api_name  => 'open-ils.search.biblio.record_hold_parts',
2486     signature => q/
2487        Returns a list of {label :foo, id : bar} objects for viable monograph parts for a given record
2488     /
2489 );
2490
2491 sub rec_hold_parts {
2492     my( $self, $conn, $args ) = @_;
2493
2494     my $rec        = $$args{record};
2495     my $mrec       = $$args{metarecord};
2496     my $pickup_lib = $$args{pickup_lib};
2497     my $e = new_editor();
2498
2499     my $query = {
2500         select => {bmp => ['id', 'label']},
2501         from => 'bmp',
2502         where => {
2503             id => {
2504                 in => {
2505                     select => {'acpm' => ['part']},
2506                     from => {acpm => {acp => {join => {acn => {join => 'bre'}}}}},
2507                     where => {
2508                         '+acp' => {'deleted' => 'f'},
2509                         '+bre' => {id => $rec}
2510                     },
2511                     distinct => 1,
2512                 }
2513             },
2514             deleted => 'f'
2515         },
2516         order_by =>[{class=>'bmp', field=>'label_sortkey'}]
2517     };
2518
2519     if(defined $pickup_lib) {
2520         my $hard_boundary = $U->ou_ancestor_setting_value($pickup_lib, OILS_SETTING_HOLD_HARD_BOUNDARY);
2521         if($hard_boundary) {
2522             my $orgs = $e->json_query({from => ['actor.org_unit_descendants' => $pickup_lib, $hard_boundary]});
2523             $query->{where}->{'+acp'}->{circ_lib} = [ map { $_->{id} } @$orgs ];
2524         }
2525     }
2526
2527     return $e->json_query($query);
2528 }
2529
2530
2531
2532
2533 __PACKAGE__->register_method(
2534     method    => 'rec_to_mr_rec_descriptors',
2535     api_name  => 'open-ils.search.metabib.record_to_descriptors',
2536     signature => q/
2537         specialized method...
2538         Given a biblio record id or a metarecord id, 
2539         this returns a list of metabib.record_descriptor
2540         objects that live within the same metarecord
2541         @param args Object of args including:
2542     /
2543 );
2544
2545 sub rec_to_mr_rec_descriptors {
2546     my( $self, $conn, $args ) = @_;
2547
2548     my $rec        = $$args{record};
2549     my $mrec       = $$args{metarecord};
2550     my $item_forms = $$args{item_forms};
2551     my $item_types = $$args{item_types};
2552     my $item_lang  = $$args{item_lang};
2553     my $pickup_lib = $$args{pickup_lib};
2554
2555     my $hard_boundary = $U->ou_ancestor_setting_value($pickup_lib, OILS_SETTING_HOLD_HARD_BOUNDARY) if (defined $pickup_lib);
2556
2557     my $e = new_editor();
2558     my $recs;
2559
2560     if( !$mrec ) {
2561         my $map = $e->search_metabib_metarecord_source_map({source => $rec});
2562         return $e->event unless @$map;
2563         $mrec = $$map[0]->metarecord;
2564     }
2565
2566     $recs = $e->search_metabib_metarecord_source_map({metarecord => $mrec});
2567     return $e->event unless @$recs;
2568
2569     my @recs = map { $_->source } @$recs;
2570     my $search = { record => \@recs };
2571     $search->{item_form} = $item_forms if $item_forms and @$item_forms;
2572     $search->{item_type} = $item_types if $item_types and @$item_types;
2573     $search->{item_lang} = $item_lang  if $item_lang;
2574
2575     my $desc = $e->search_metabib_record_descriptor($search);
2576
2577     my $query = {
2578         distinct => 1,
2579         select   => { 'bre' => ['id'] },
2580         from     => {
2581             'bre' => {
2582                 'acn' => {
2583                     'join' => {
2584                         'acp' => {"join" => {"acpl" => {}, "ccs" => {}}}
2585                       }
2586                   }
2587              }
2588         },
2589         where => {
2590             '+bre' => { id => \@recs },
2591             '+acp' => {
2592                 holdable => 't',
2593                 deleted  => 'f'
2594             },
2595             "+ccs" => { holdable => 't' },
2596             "+acpl" => { holdable => 't', deleted => 'f' }
2597         }
2598     };
2599
2600     if ($hard_boundary) { # 0 (or "top") is the same as no setting
2601         my $orgs = $e->json_query(
2602             { from => [ 'actor.org_unit_descendants' => $pickup_lib, $hard_boundary ] }
2603         ) or return $e->die_event;
2604
2605         $query->{where}->{"+acp"}->{circ_lib} = [ map { $_->{id} } @$orgs ];
2606     }
2607
2608     my $good_records = $e->json_query($query) or return $e->die_event;
2609
2610     my @keep;
2611     for my $d (@$desc) {
2612         if ( grep { $d->record == $_->{id} } @$good_records ) {
2613             push @keep, $d;
2614         }
2615     }
2616
2617     $desc = \@keep;
2618
2619     return { metarecord => $mrec, descriptors => $desc };
2620 }
2621
2622
2623 __PACKAGE__->register_method(
2624     method   => 'fetch_age_protect',
2625     api_name => 'open-ils.search.copy.age_protect.retrieve.all',
2626 );
2627
2628 sub fetch_age_protect {
2629     return new_editor()->retrieve_all_config_rule_age_hold_protect();
2630 }
2631
2632
2633 __PACKAGE__->register_method(
2634     method   => 'copies_by_cn_label',
2635     api_name => 'open-ils.search.asset.copy.retrieve_by_cn_label',
2636 );
2637
2638 __PACKAGE__->register_method(
2639     method   => 'copies_by_cn_label',
2640     api_name => 'open-ils.search.asset.copy.retrieve_by_cn_label.staff',
2641 );
2642
2643 sub copies_by_cn_label {
2644     my( $self, $conn, $record, $cn_parts, $circ_lib ) = @_;
2645     my $e = new_editor();
2646     my $cnp_id = $cn_parts->[0] eq '' ? -1 : $e->search_asset_call_number_prefix({label => $cn_parts->[0]}, {idlist=>1})->[0];
2647     my $cns_id = $cn_parts->[2] eq '' ? -1 : $e->search_asset_call_number_suffix({label => $cn_parts->[2]}, {idlist=>1})->[0];
2648     my $cns = $e->search_asset_call_number({record => $record, prefix => $cnp_id, label => $cn_parts->[1], suffix => $cns_id, deleted => 'f'}, {idlist=>1});
2649     return [] unless @$cns;
2650
2651     # show all non-deleted copies in the staff client ...
2652     if ($self->api_name =~ /staff$/o) {
2653         return $e->search_asset_copy({call_number => $cns, circ_lib => $circ_lib, deleted => 'f'}, {idlist=>1});
2654     }
2655
2656     # ... otherwise, grab the copies ...
2657     my $copies = $e->search_asset_copy(
2658         [ {call_number => $cns, circ_lib => $circ_lib, deleted => 'f', opac_visible => 't'},
2659           {flesh => 1, flesh_fields => { acp => [ qw/location status/] } }
2660         ]
2661     );
2662
2663     # ... and test for location and status visibility
2664     return [ map { ($U->is_true($_->location->opac_visible) && $U->is_true($_->status->opac_visible)) ? ($_->id) : () } @$copies ];
2665 }
2666
2667
2668 1;
2669