Open-ILS/src/perlmods/lib/OpenILS/Application/Search/Biblio.pm

   1 package OpenILS::Application::Search::Biblio;
   2 use base qw/OpenILS::Application/;
   3 use strict; use warnings;
   4
   5
   6 use OpenSRF::Utils::JSON;
   7 use OpenILS::Utils::Fieldmapper;
   8 use OpenILS::Utils::ModsParser;
   9 use OpenSRF::Utils::SettingsClient;
  10 use OpenILS::Utils::CStoreEditor q/:funcs/;
  11 use OpenSRF::Utils::Cache;
  12 use Encode;
  13
  14 use OpenSRF::Utils::Logger qw/:logger/;
  15
  16
  17 use OpenSRF::Utils::JSON;
  18
  19 use Time::HiRes qw(time sleep);
  20 use OpenSRF::EX qw(:try);
  21 use Digest::MD5 qw(md5_hex);
  22
  23 use XML::LibXML;
  24 use XML::LibXSLT;
  25
  26 use Data::Dumper;
  27 $Data::Dumper::Indent = 0;
  28
  29 use OpenILS::Const qw/:const/;
  30
  31 use OpenILS::Application::AppUtils;
  32 my $apputils = "OpenILS::Application::AppUtils";
  33 my $U = $apputils;
  34
  35 my $pfx = "open-ils.search_";
  36
  37 my $cache;
  38 my $cache_timeout;
  39 my $superpage_size;
  40 my $max_superpages;
  41
  42 sub initialize {
  43     $cache = OpenSRF::Utils::Cache->new('global');
  44     my $sclient = OpenSRF::Utils::SettingsClient->new();
  45     $cache_timeout = $sclient->config_value(
  46             "apps", "open-ils.search", "app_settings", "cache_timeout" ) || 300;
  47
  48     $superpage_size = $sclient->config_value(
  49             "apps", "open-ils.search", "app_settings", "superpage_size" ) || 500;
  50
  51     $max_superpages = $sclient->config_value(
  52             "apps", "open-ils.search", "app_settings", "max_superpages" ) || 20;
  53
  54     $logger->info("Search cache timeout is $cache_timeout, ".
  55         " superpage_size is $superpage_size, max_superpages is $max_superpages");
  56 }
  57
  58
  59
  60 # ---------------------------------------------------------------------------
  61 # takes a list of record id's and turns the docs into friendly
  62 # mods structures. Creates one MODS structure for each doc id.
  63 # ---------------------------------------------------------------------------
  64 sub _records_to_mods {
  65     my @ids = @_;
  66
  67     my @results;
  68     my @marcxml_objs;
  69
  70     my $session = OpenSRF::AppSession->create("open-ils.cstore");
  71     my $request = $session->request(
  72             "open-ils.cstore.direct.biblio.record_entry.search", { id => \@ids } );
  73
  74     while( my $resp = $request->recv ) {
  75         my $content = $resp->content;
  76         next if $content->id == OILS_PRECAT_RECORD;
  77         my $u = OpenILS::Utils::ModsParser->new();  # FIXME: we really need a new parser for each object?
  78         $u->start_mods_batch( $content->marc );
  79         my $mods = $u->finish_mods_batch();
  80         $mods->doc_id($content->id());
  81         $mods->tcn($content->tcn_value);
  82         push @results, $mods;
  83     }
  84
  85     $session->disconnect();
  86     return \@results;
  87 }
  88
  89 __PACKAGE__->register_method(
  90     method    => "record_id_to_mods",
  91     api_name  => "open-ils.search.biblio.record.mods.retrieve",
  92     argc      => 1,
  93     signature => {
  94         desc   => "Provide ID, we provide the MODS object with copy count.  "
  95                 . "Note: this method does NOT take an array of IDs like mods_slim.retrieve",    # FIXME: do it here too
  96         params => [
  97             { desc => 'Record ID', type => 'number' }
  98         ],
  99         return => {
 100             desc => 'MODS object', type => 'object'
 101         }
 102     }
 103 );
 104
 105 # converts a record into a mods object with copy counts attached
 106 sub record_id_to_mods {
 107
 108     my( $self, $client, $org_id, $id ) = @_;
 109
 110     my $mods_list = _records_to_mods( $id );
 111     my $mods_obj  = $mods_list->[0];
 112     my $cmethod   = $self->method_lookup("open-ils.search.biblio.record.copy_count");
 113     my ($count)   = $cmethod->run($org_id, $id);
 114     $mods_obj->copy_count($count);
 115
 116     return $mods_obj;
 117 }
 118
 119
 120
 121 __PACKAGE__->register_method(
 122     method        => "record_id_to_mods_slim",
 123     api_name      => "open-ils.search.biblio.record.mods_slim.retrieve",
 124     argc          => 1,
 125     authoritative => 1,
 126     signature     => {
 127         desc   => "Provide ID(s), we provide the MODS",
 128         params => [
 129             { desc => 'Record ID or array of IDs' }
 130         ],
 131         return => {
 132             desc => 'MODS object(s), event on error'
 133         }
 134     }
 135 );
 136
 137 # converts a record into a mods object with NO copy counts attached
 138 sub record_id_to_mods_slim {
 139     my( $self, $client, $id ) = @_;
 140     return undef unless defined $id;
 141
 142     if(ref($id) and ref($id) == 'ARRAY') {
 143         return _records_to_mods( @$id );
 144     }
 145     my $mods_list = _records_to_mods( $id );
 146     my $mods_obj  = $mods_list->[0];
 147     return OpenILS::Event->new('BIBLIO_RECORD_ENTRY_NOT_FOUND') unless $mods_obj;
 148     return $mods_obj;
 149 }
 150
 151
 152
 153 __PACKAGE__->register_method(
 154     method   => "record_id_to_mods_slim_batch",
 155     api_name => "open-ils.search.biblio.record.mods_slim.batch.retrieve",
 156     stream   => 1
 157 );
 158 sub record_id_to_mods_slim_batch {
 159     my($self, $conn, $id_list) = @_;
 160     $conn->respond(_records_to_mods($_)->[0]) for @$id_list;
 161     return undef;
 162 }
 163
 164
 165 # Returns the number of copies attached to a record based on org location
 166 __PACKAGE__->register_method(
 167     method   => "record_id_to_copy_count",
 168     api_name => "open-ils.search.biblio.record.copy_count",
 169     signature => {
 170         desc => q/Returns a copy summary for the given record for the context org
 171             unit and all ancestor org units/,
 172         params => [
 173             {desc => 'Context org unit id', type => 'number'},
 174             {desc => 'Record ID', type => 'number'}
 175         ],
 176         return => {
 177             desc => q/summary object per org unit in the set, where the set
 178                 includes the context org unit and all parent org units.
 179                 Object includes the keys "transcendant", "count", "org_unit", "depth",
 180                 "unshadow", "available".  Each is a count, except "org_unit" which is
 181                 the context org unit and "depth" which is the depth of the context org unit
 182             /,
 183             type => 'array'
 184         }
 185     }
 186 );
 187
 188 __PACKAGE__->register_method(
 189     method        => "record_id_to_copy_count",
 190     api_name      => "open-ils.search.biblio.record.copy_count.staff",
 191     authoritative => 1,
 192     signature => {
 193         desc => q/Returns a copy summary for the given record for the context org
 194             unit and all ancestor org units/,
 195         params => [
 196             {desc => 'Context org unit id', type => 'number'},
 197             {desc => 'Record ID', type => 'number'}
 198         ],
 199         return => {
 200             desc => q/summary object per org unit in the set, where the set
 201                 includes the context org unit and all parent org units.
 202                 Object includes the keys "transcendant", "count", "org_unit", "depth",
 203                 "unshadow", "available".  Each is a count, except "org_unit" which is
 204                 the context org unit and "depth" which is the depth of the context org unit
 205             /,
 206             type => 'array'
 207         }
 208     }
 209 );
 210
 211 __PACKAGE__->register_method(
 212     method   => "record_id_to_copy_count",
 213     api_name => "open-ils.search.biblio.metarecord.copy_count",
 214     signature => {
 215         desc => q/Returns a copy summary for the given record for the context org
 216             unit and all ancestor org units/,
 217         params => [
 218             {desc => 'Context org unit id', type => 'number'},
 219             {desc => 'Record ID', type => 'number'}
 220         ],
 221         return => {
 222             desc => q/summary object per org unit in the set, where the set
 223                 includes the context org unit and all parent org units.
 224                 Object includes the keys "transcendant", "count", "org_unit", "depth",
 225                 "unshadow", "available".  Each is a count, except "org_unit" which is
 226                 the context org unit and "depth" which is the depth of the context org unit
 227             /,
 228             type => 'array'
 229         }
 230     }
 231 );
 232
 233 __PACKAGE__->register_method(
 234     method   => "record_id_to_copy_count",
 235     api_name => "open-ils.search.biblio.metarecord.copy_count.staff",
 236     signature => {
 237         desc => q/Returns a copy summary for the given record for the context org
 238             unit and all ancestor org units/,
 239         params => [
 240             {desc => 'Context org unit id', type => 'number'},
 241             {desc => 'Record ID', type => 'number'}
 242         ],
 243         return => {
 244             desc => q/summary object per org unit in the set, where the set
 245                 includes the context org unit and all parent org units.
 246                 Object includes the keys "transcendant", "count", "org_unit", "depth",
 247                 "unshadow", "available".  Each is a count, except "org_unit" which is
 248                 the context org unit and "depth" which is the depth of the context org
 249                 unit.  "depth" is always -1 when the count from a lasso search is
 250                 performed, since depth doesn't mean anything in a lasso context.
 251             /,
 252             type => 'array'
 253         }
 254     }
 255 );
 256
 257 sub record_id_to_copy_count {
 258     my( $self, $client, $org_id, $record_id ) = @_;
 259
 260     return [] unless $record_id;
 261
 262     my $key = $self->api_name =~ /metarecord/ ? 'metarecord' : 'record';
 263     my $staff = $self->api_name =~ /staff/ ? 't' : 'f';
 264
 265     my $data = $U->cstorereq(
 266         "open-ils.cstore.json_query.atomic",
 267         { from => ['asset.' . $key  . '_copy_count' => $org_id => $record_id => $staff] }
 268     );
 269
 270     my @count;
 271     for my $d ( @$data ) { # fix up the key name change required by stored-proc version
 272         $$d{count} = delete $$d{visible};
 273         push @count, $d;
 274     }
 275
 276     return [ sort { $a->{depth} <=> $b->{depth} } @count ];
 277 }
 278
 279 __PACKAGE__->register_method(
 280     method   => "record_has_holdable_copy",
 281     api_name => "open-ils.search.biblio.record.has_holdable_copy",
 282     signature => {
 283         desc => q/Returns a boolean indicating if a record has any holdable copies./,
 284         params => [
 285             {desc => 'Record ID', type => 'number'}
 286         ],
 287         return => {
 288             desc => q/bool indicating if the record has any holdable copies/,
 289             type => 'bool'
 290         }
 291     }
 292 );
 293
 294 __PACKAGE__->register_method(
 295     method   => "record_has_holdable_copy",
 296     api_name => "open-ils.search.biblio.metarecord.has_holdable_copy",
 297     signature => {
 298         desc => q/Returns a boolean indicating if a record has any holdable copies./,
 299         params => [
 300             {desc => 'Record ID', type => 'number'}
 301         ],
 302         return => {
 303             desc => q/bool indicating if the record has any holdable copies/,
 304             type => 'bool'
 305         }
 306     }
 307 );
 308
 309 sub record_has_holdable_copy {
 310     my($self, $client, $record_id ) = @_;
 311
 312     return 0 unless $record_id;
 313
 314     my $key = $self->api_name =~ /metarecord/ ? 'metarecord' : 'record';
 315
 316     my $data = $U->cstorereq(
 317         "open-ils.cstore.json_query.atomic",
 318         { from => ['asset.' . $key . '_has_holdable_copy' => $record_id ] }
 319     );
 320
 321     return ${@$data[0]}{'asset.' . $key . '_has_holdable_copy'} eq 't';
 322
 323 }
 324
 325 __PACKAGE__->register_method(
 326     method   => "biblio_search_tcn",
 327     api_name => "open-ils.search.biblio.tcn",
 328     argc     => 1,
 329     signature => {
 330         desc   => "Retrieve related record ID(s) given a TCN",
 331         params => [
 332             { desc => 'TCN', type => 'string' },
 333             { desc => 'Flag indicating to include deleted records', type => 'string' }
 334         ],
 335         return => {
 336             desc => 'Results object like: { "count": $i, "ids": [...] }',
 337             type => 'object'
 338         }
 339     }
 340
 341 );
 342
 343 sub biblio_search_tcn {
 344
 345     my( $self, $client, $tcn, $include_deleted ) = @_;
 346
 347     $tcn =~ s/^\s+|\s+$//og;
 348
 349     my $e = new_editor();
 350     my $search = {tcn_value => $tcn};
 351     $search->{deleted} = 'f' unless $include_deleted;
 352     my $recs = $e->search_biblio_record_entry( $search, {idlist =>1} );
 353
 354     return { count => scalar(@$recs), ids => $recs };
 355 }
 356
 357
 358 # --------------------------------------------------------------------------------
 359
 360 __PACKAGE__->register_method(
 361     method   => "biblio_barcode_to_copy",
 362     api_name => "open-ils.search.asset.copy.find_by_barcode",
 363 );
 364 sub biblio_barcode_to_copy {
 365     my( $self, $client, $barcode ) = @_;
 366     my( $copy, $evt ) = $U->fetch_copy_by_barcode($barcode);
 367     return $evt if $evt;
 368     return $copy;
 369 }
 370
 371 __PACKAGE__->register_method(
 372     method   => "biblio_id_to_copy",
 373     api_name => "open-ils.search.asset.copy.batch.retrieve",
 374 );
 375 sub biblio_id_to_copy {
 376     my( $self, $client, $ids ) = @_;
 377     $logger->info("Fetching copies @$ids");
 378     return $U->cstorereq(
 379         "open-ils.cstore.direct.asset.copy.search.atomic", { id => $ids } );
 380 }
 381
 382
 383 __PACKAGE__->register_method(
 384     method  => "biblio_id_to_uris",
 385     api_name=> "open-ils.search.asset.uri.retrieve_by_bib",
 386     argc    => 2,
 387     stream  => 1,
 388     signature => q#
 389         @param BibID Which bib record contains the URIs
 390         @param OrgID Where to look for URIs
 391         @param OrgDepth Range adjustment for OrgID
 392         @return A stream or list of 'auri' objects
 393     #
 394
 395 );
 396 sub biblio_id_to_uris {
 397     my( $self, $client, $bib, $org, $depth ) = @_;
 398     die "Org ID required" unless defined($org);
 399     die "Bib ID required" unless defined($bib);
 400
 401     my @params;
 402     push @params, $depth if (defined $depth);
 403
 404     my $ids = $U->cstorereq( "open-ils.cstore.json_query.atomic",
 405         {   select  => { auri => [ 'id' ] },
 406             from    => {
 407                 acn => {
 408                     auricnm => {
 409                         field   => 'call_number',
 410                         fkey    => 'id',
 411                         join    => {
 412                             auri    => {
 413                                 field => 'id',
 414                                 fkey => 'uri',
 415                                 filter  => { active => 't' }
 416                             }
 417                         }
 418                     }
 419                 }
 420             },
 421             where   => {
 422                 '+acn'  => {
 423                     record      => $bib,
 424                     owning_lib  => {
 425                         in  => {
 426                             select  => { aou => [ { column => 'id', transform => 'actor.org_unit_descendants', params => \@params, result_field => 'id' } ] },
 427                             from    => 'aou',
 428                             where   => { id => $org },
 429                             distinct=> 1
 430                         }
 431                     }
 432                 }
 433             },
 434             distinct=> 1,
 435         }
 436     );
 437
 438     my $uris = $U->cstorereq(
 439         "open-ils.cstore.direct.asset.uri.search.atomic",
 440         { id => [ map { (values %$_) } @$ids ] }
 441     );
 442
 443     $client->respond($_) for (@$uris);
 444
 445     return undef;
 446 }
 447
 448
 449 __PACKAGE__->register_method(
 450     method    => "copy_retrieve",
 451     api_name  => "open-ils.search.asset.copy.retrieve",
 452     argc      => 1,
 453     signature => {
 454         desc   => 'Retrieve a copy object based on the Copy ID',
 455         params => [
 456             { desc => 'Copy ID', type => 'number'}
 457         ],
 458         return => {
 459             desc => 'Copy object, event on error'
 460         }
 461     }
 462 );
 463
 464 sub copy_retrieve {
 465     my( $self, $client, $cid ) = @_;
 466     my( $copy, $evt ) = $U->fetch_copy($cid);
 467     return $evt || $copy;
 468 }
 469
 470 __PACKAGE__->register_method(
 471     method   => "volume_retrieve",
 472     api_name => "open-ils.search.asset.call_number.retrieve"
 473 );
 474 sub volume_retrieve {
 475     my( $self, $client, $vid ) = @_;
 476     my $e = new_editor();
 477     my $vol = $e->retrieve_asset_call_number($vid) or return $e->event;
 478     return $vol;
 479 }
 480
 481 __PACKAGE__->register_method(
 482     method        => "fleshed_copy_retrieve_batch",
 483     api_name      => "open-ils.search.asset.copy.fleshed.batch.retrieve",
 484     authoritative => 1,
 485 );
 486
 487 sub fleshed_copy_retrieve_batch {
 488     my( $self, $client, $ids ) = @_;
 489     $logger->info("Fetching fleshed copies @$ids");
 490     return $U->cstorereq(
 491         "open-ils.cstore.direct.asset.copy.search.atomic",
 492         { id => $ids },
 493         { flesh => 1,
 494           flesh_fields => { acp => [ qw/ circ_lib location status stat_cat_entries parts / ] }
 495         });
 496 }
 497
 498
 499 __PACKAGE__->register_method(
 500     method   => "fleshed_copy_retrieve",
 501     api_name => "open-ils.search.asset.copy.fleshed.retrieve",
 502 );
 503
 504 sub fleshed_copy_retrieve {
 505     my( $self, $client, $id ) = @_;
 506     my( $c, $e) = $U->fetch_fleshed_copy($id);
 507     return $e || $c;
 508 }
 509
 510
 511 __PACKAGE__->register_method(
 512     method        => 'fleshed_by_barcode',
 513     api_name      => "open-ils.search.asset.copy.fleshed2.find_by_barcode",
 514     authoritative => 1,
 515 );
 516 sub fleshed_by_barcode {
 517     my( $self, $conn, $barcode ) = @_;
 518     my $e = new_editor();
 519     my $copyid = $e->search_asset_copy(
 520         {barcode => $barcode, deleted => 'f'}, {idlist=>1})->[0]
 521         or return $e->event;
 522     return fleshed_copy_retrieve2( $self, $conn, $copyid);
 523 }
 524
 525
 526 __PACKAGE__->register_method(
 527     method        => "fleshed_copy_retrieve2",
 528     api_name      => "open-ils.search.asset.copy.fleshed2.retrieve",
 529     authoritative => 1,
 530 );
 531
 532 sub fleshed_copy_retrieve2 {
 533     my( $self, $client, $id ) = @_;
 534     my $e = new_editor();
 535     my $copy = $e->retrieve_asset_copy(
 536         [
 537             $id,
 538             {
 539                 flesh        => 2,
 540                 flesh_fields => {
 541                     acp => [
 542                         qw/ location status stat_cat_entry_copy_maps notes age_protect parts peer_record_maps /
 543                     ],
 544                     ascecm => [qw/ stat_cat stat_cat_entry /],
 545                 }
 546             }
 547         ]
 548     ) or return $e->event;
 549
 550     # For backwards compatibility
 551     #$copy->stat_cat_entries($copy->stat_cat_entry_copy_maps);
 552
 553     if( $copy->status->id == OILS_COPY_STATUS_CHECKED_OUT ) {
 554         $copy->circulations(
 555             $e->search_action_circulation(
 556                 [
 557                     { target_copy => $copy->id },
 558                     {
 559                         order_by => { circ => 'xact_start desc' },
 560                         limit => 1
 561                     }
 562                 ]
 563             )
 564         );
 565     }
 566
 567     return $copy;
 568 }
 569
 570
 571 __PACKAGE__->register_method(
 572     method        => 'flesh_copy_custom',
 573     api_name      => 'open-ils.search.asset.copy.fleshed.custom',
 574     authoritative => 1,
 575 );
 576
 577 sub flesh_copy_custom {
 578     my( $self, $conn, $copyid, $fields ) = @_;
 579     my $e = new_editor();
 580     my $copy = $e->retrieve_asset_copy(
 581         [
 582             $copyid,
 583             {
 584                 flesh               => 1,
 585                 flesh_fields    => {
 586                     acp => $fields,
 587                 }
 588             }
 589         ]
 590     ) or return $e->event;
 591     return $copy;
 592 }
 593
 594
 595 __PACKAGE__->register_method(
 596     method   => "biblio_barcode_to_title",
 597     api_name => "open-ils.search.biblio.find_by_barcode",
 598 );
 599
 600 sub biblio_barcode_to_title {
 601     my( $self, $client, $barcode ) = @_;
 602
 603     my $title = $apputils->simple_scalar_request(
 604         "open-ils.storage",
 605         "open-ils.storage.biblio.record_entry.retrieve_by_barcode", $barcode );
 606
 607     return { ids => [ $title->id ], count => 1 } if $title;
 608     return { count => 0 };
 609 }
 610
 611 __PACKAGE__->register_method(
 612     method        => 'title_id_by_item_barcode',
 613     api_name      => 'open-ils.search.bib_id.by_barcode',
 614     authoritative => 1,
 615     signature => {
 616         desc   => 'Retrieve bib record id associated with the copy identified by the given barcode',
 617         params => [
 618             { desc => 'Item barcode', type => 'string' }
 619         ],
 620         return => {
 621             desc => 'Bib record id.'
 622         }
 623     }
 624 );
 625
 626 __PACKAGE__->register_method(
 627     method        => 'title_id_by_item_barcode',
 628     api_name      => 'open-ils.search.multi_home.bib_ids.by_barcode',
 629     authoritative => 1,
 630     signature => {
 631         desc   => 'Retrieve bib record ids associated with the copy identified by the given barcode.  This includes peer bibs for Multi-Home items.',
 632         params => [
 633             { desc => 'Item barcode', type => 'string' }
 634         ],
 635         return => {
 636             desc => 'Array of bib record ids.  First element is the native bib for the item.'
 637         }
 638     }
 639 );
 640
 641
 642 sub title_id_by_item_barcode {
 643     my( $self, $conn, $barcode ) = @_;
 644     my $e = new_editor();
 645     my $copies = $e->search_asset_copy(
 646         [
 647             { deleted => 'f', barcode => $barcode },
 648             {
 649                 flesh => 2,
 650                 flesh_fields => {
 651                     acp => [ 'call_number' ],
 652                     acn => [ 'record' ]
 653                 }
 654             }
 655         ]
 656     );
 657
 658     return $e->event unless @$copies;
 659
 660     if( $self->api_name =~ /multi_home/ ) {
 661         my $multi_home_list = $e->search_biblio_peer_bib_copy_map(
 662             [
 663                 { target_copy => $$copies[0]->id }
 664             ]
 665         );
 666         my @temp =  map { $_->peer_record } @{ $multi_home_list };
 667         unshift @temp, $$copies[0]->call_number->record->id;
 668         return \@temp;
 669     } else {
 670         return $$copies[0]->call_number->record->id;
 671     }
 672 }
 673
 674 __PACKAGE__->register_method(
 675     method        => 'find_peer_bibs',
 676     api_name      => 'open-ils.search.peer_bibs.test',
 677     authoritative => 1,
 678     signature => {
 679         desc   => 'Tests to see if the specified record is a peer record.',
 680         params => [
 681             { desc => 'Biblio record entry Id', type => 'number' }
 682         ],
 683         return => {
 684             desc => 'True if specified id can be found in biblio.peer_bib_copy_map.peer_record.',
 685             type => 'bool'
 686         }
 687     }
 688 );
 689
 690 __PACKAGE__->register_method(
 691     method        => 'find_peer_bibs',
 692     api_name      => 'open-ils.search.peer_bibs',
 693     authoritative => 1,
 694     signature => {
 695         desc   => 'Return acps and mvrs for multi-home items linked to specified peer record.',
 696         params => [
 697             { desc => 'Biblio record entry Id', type => 'number' }
 698         ],
 699         return => {
 700             desc => '{ records => Array of mvrs, items => array of acps }',
 701         }
 702     }
 703 );
 704
 705
 706 sub find_peer_bibs {
 707     my( $self, $client, $doc_id ) = @_;
 708     my $e = new_editor();
 709
 710     my $multi_home_list = $e->search_biblio_peer_bib_copy_map(
 711         [
 712             { peer_record => $doc_id },
 713             {
 714                 flesh => 2,
 715                 flesh_fields => {
 716                     bpbcm => [ 'target_copy', 'peer_type' ],
 717                     acp => [ 'call_number', 'location', 'status', 'peer_record_maps' ]
 718                 }
 719             }
 720         ]
 721     );
 722
 723     if ($self->api_name =~ /test/) {
 724         return scalar( @{$multi_home_list} ) > 0 ? 1 : 0;
 725     }
 726
 727     if (scalar(@{$multi_home_list})==0) {
 728         return [];
 729     }
 730
 731     # create a unique hash of the primary record MVRs for foreign copies
 732     # XXX PLEASE let's change to unAPI2 (supports foreign copies) in the TT opac?!?
 733     my %rec_hash = map {
 734         ($_->target_copy->call_number->record, _records_to_mods( $_->target_copy->call_number->record )->[0])
 735     } @$multi_home_list;
 736
 737     # set the foreign_copy_maps field to an empty array
 738     map { $rec_hash{$_}->foreign_copy_maps([]) } keys( %rec_hash );
 739
 740     # push the maps onto the correct MVRs
 741     for (@$multi_home_list) {
 742         push(
 743             @{$rec_hash{ $_->target_copy->call_number->record }->foreign_copy_maps()},
 744             $_
 745         );
 746     }
 747
 748     return [sort {$a->title cmp $b->title} values(%rec_hash)];
 749 };
 750
 751 __PACKAGE__->register_method(
 752     method   => "biblio_copy_to_mods",
 753     api_name => "open-ils.search.biblio.copy.mods.retrieve",
 754 );
 755
 756 # takes a copy object and returns it fleshed mods object
 757 sub biblio_copy_to_mods {
 758     my( $self, $client, $copy ) = @_;
 759
 760     my $volume = $U->cstorereq(
 761         "open-ils.cstore.direct.asset.call_number.retrieve",
 762         $copy->call_number() );
 763
 764     my $mods = _records_to_mods($volume->record());
 765     $mods = shift @$mods;
 766     $volume->copies([$copy]);
 767     push @{$mods->call_numbers()}, $volume;
 768
 769     return $mods;
 770 }
 771
 772
 773 =head1 NAME
 774
 775 OpenILS::Application::Search::Biblio
 776
 777 =head1 DESCRIPTION
 778
 779 =head2 API METHODS
 780
 781 =head3 open-ils.search.biblio.multiclass.query (arghash, query, docache)
 782
 783 For arghash and docache, see B<open-ils.search.biblio.multiclass>.
 784
 785 The query argument is a string, but built like a hash with key: value pairs.
 786 Recognized search keys include:
 787
 788  keyword (kw) - search keyword(s) *
 789  author  (au) - search author(s)  *
 790  name    (au) - same as author    *
 791  title   (ti) - search title      *
 792  subject (su) - search subject    *
 793  series  (se) - search series     *
 794  lang - limit by language (specify multiple langs with lang:l1 lang:l2 ...)
 795  site - search at specified org unit, corresponds to actor.org_unit.shortname
 796  pref_ou - extend search to specified org unit, corresponds to actor.org_unit.shortname
 797  sort - sort type (title, author, pubdate)
 798  dir  - sort direction (asc, desc)
 799  available - if set to anything other than "false" or "0", limits to available items
 800
 801 * Searching keyword, author, title, subject, and series supports additional search
 802 subclasses, specified with a "|".  For example, C<title|proper:gone with the wind>.
 803
 804 For more, see B<config.metabib_field>.
 805
 806 =cut
 807
 808 foreach (qw/open-ils.search.biblio.multiclass.query
 809             open-ils.search.biblio.multiclass.query.staff
 810             open-ils.search.metabib.multiclass.query
 811             open-ils.search.metabib.multiclass.query.staff/)
 812 {
 813 __PACKAGE__->register_method(
 814     api_name  => $_,
 815     method    => 'multiclass_query',
 816     signature => {
 817         desc   => 'Perform a search query.  The .staff version of the call includes otherwise hidden hits.',
 818         params => [
 819             {name => 'arghash', desc => 'Arg hash (see open-ils.search.biblio.multiclass)',         type => 'object'},
 820             {name => 'query',   desc => 'Raw human-readable query (see perldoc '. __PACKAGE__ .')', type => 'string'},
 821             {name => 'docache', desc => 'Flag for caching (see open-ils.search.biblio.multiclass)', type => 'object'},
 822         ],
 823         return => {
 824             desc => 'Search results from query, like: { "count" : $count, "ids" : [ [ $id, $relevancy, $total ], ...] }',
 825             type => 'object',       # TODO: update as miker's new elements are included
 826         }
 827     }
 828 );
 829 }
 830
 831 sub multiclass_query {
 832     # arghash only really supports limit/offset anymore
 833     my($self, $conn, $arghash, $query, $docache) = @_;
 834
 835     if ($query) {
 836         $query =~ s/\+/ /go;
 837         $query =~ s/^\s+//go;
 838         $query =~ s/\s+/ /go;
 839         $arghash->{query} = $query
 840     }
 841
 842     $logger->debug("initial search query => $query") if $query;
 843
 844     (my $method = $self->api_name) =~ s/\.query/.staged/o;
 845     return $self->method_lookup($method)->dispatch($arghash, $docache);
 846
 847 }
 848
 849 __PACKAGE__->register_method(
 850     method    => 'cat_search_z_style_wrapper',
 851     api_name  => 'open-ils.search.biblio.zstyle',
 852     stream    => 1,
 853     signature => q/@see open-ils.search.biblio.multiclass/
 854 );
 855
 856 __PACKAGE__->register_method(
 857     method    => 'cat_search_z_style_wrapper',
 858     api_name  => 'open-ils.search.biblio.zstyle.staff',
 859     stream    => 1,
 860     signature => q/@see open-ils.search.biblio.multiclass/
 861 );
 862
 863 sub cat_search_z_style_wrapper {
 864     my $self = shift;
 865     my $client = shift;
 866     my $authtoken = shift;
 867     my $args = shift;
 868
 869     my $cstore = OpenSRF::AppSession->connect('open-ils.cstore');
 870
 871     my $ou = $cstore->request(
 872         'open-ils.cstore.direct.actor.org_unit.search',
 873         { parent_ou => undef }
 874     )->gather(1);
 875
 876     my $result = { service => 'native-evergreen-catalog', records => [] };
 877     my $searchhash = { limit => $$args{limit}, offset => $$args{offset}, org_unit => $ou->id };
 878
 879     $$searchhash{searches}{title}{term}   = $$args{search}{title}   if $$args{search}{title};
 880     $$searchhash{searches}{author}{term}  = $$args{search}{author}  if $$args{search}{author};
 881     $$searchhash{searches}{subject}{term} = $$args{search}{subject} if $$args{search}{subject};
 882     $$searchhash{searches}{keyword}{term} = $$args{search}{keyword} if $$args{search}{keyword};
 883     $$searchhash{searches}{'identifier|isbn'}{term} = $$args{search}{isbn} if $$args{search}{isbn};
 884     $$searchhash{searches}{'identifier|issn'}{term} = $$args{search}{issn} if $$args{search}{issn};
 885     $$searchhash{searches}{'identifier|upc'}{term} = $$args{search}{upc} if $$args{search}{upc};
 886
 887     $$searchhash{searches}{keyword}{term} .= join ' ', $$searchhash{searches}{keyword}{term}, $$args{search}{tcn}       if $$args{search}{tcn};
 888     $$searchhash{searches}{keyword}{term} .= join ' ', $$searchhash{searches}{keyword}{term}, $$args{search}{publisher} if $$args{search}{publisher};
 889     $$searchhash{searches}{keyword}{term} .= join ' ', $$searchhash{searches}{keyword}{term}, $$args{search}{pubdate}   if $$args{search}{pubdate};
 890     $$searchhash{searches}{keyword}{term} .= join ' ', $$searchhash{searches}{keyword}{term}, $$args{search}{item_type} if $$args{search}{item_type};
 891
 892     my $method = 'open-ils.search.biblio.multiclass.staged';
 893     $method .= '.staff' if $self->api_name =~ /staff$/;
 894
 895     my ($list) = $self->method_lookup($method)->run( $searchhash );
 896
 897     if ($list->{count} > 0 and @{$list->{ids}}) {
 898         $result->{count} = $list->{count};
 899
 900         my $records = $cstore->request(
 901             'open-ils.cstore.direct.biblio.record_entry.search.atomic',
 902             { id => [ map { ( $_->[0] ) } @{$list->{ids}} ] }
 903         )->gather(1);
 904
 905         for my $rec ( @$records ) {
 906
 907             my $u = OpenILS::Utils::ModsParser->new();
 908                         $u->start_mods_batch( $rec->marc );
 909                         my $mods = $u->finish_mods_batch();
 910
 911             push @{ $result->{records} }, { mvr => $mods, marcxml => $rec->marc, bibid => $rec->id };
 912
 913         }
 914
 915     }
 916
 917     $cstore->disconnect();
 918     return $result;
 919 }
 920
 921 # ----------------------------------------------------------------------------
 922 # These are the main OPAC search methods
 923 # ----------------------------------------------------------------------------
 924
 925 __PACKAGE__->register_method(
 926     method    => 'the_quest_for_knowledge',
 927     api_name  => 'open-ils.search.biblio.multiclass',
 928     signature => {
 929         desc => "Performs a multi class biblio or metabib search",
 930         params => [
 931             {
 932                 desc => "A search hash with keys: "
 933                       . "searches, org_unit, depth, limit, offset, format, sort, sort_dir.  "
 934                       . "See perldoc " . __PACKAGE__ . " for more detail",
 935                 type => 'object',
 936             },
 937             {
 938                 desc => "A flag to enable/disable searching and saving results in cache (default OFF)",
 939                 type => 'string',
 940             }
 941         ],
 942         return => {
 943             desc => 'An object of the form: '
 944                   . '{ "count" : $count, "ids" : [ [ $id, $relevancy, $total ], ...] }',
 945         }
 946     }
 947 );
 948
 949 =head3 open-ils.search.biblio.multiclass (search-hash, docache)
 950
 951 The search-hash argument can have the following elements:
 952
 953     searches: { "$class" : "$value", ...}           [REQUIRED]
 954     org_unit: The org id to focus the search at
 955     depth   : The org depth
 956     limit   : The search limit      default: 10
 957     offset  : The search offset     default:  0
 958     format  : The MARC format
 959     sort    : What field to sort the results on? [ author | title | pubdate ]
 960     sort_dir: What direction do we sort? [ asc | desc ]
 961     tag_circulated_records : Boolean, if true, records that are in the user's visible checkout history
 962         will be tagged with an additional value ("1") as the last value in the record ID array for
 963         each record.  Requires the 'authtoken'
 964     authtoken : Authentication token string;  When actions are performed that require a user login
 965         (e.g. tagging circulated records), the authentication token is required
 966
 967 The searches element is required, must have a hashref value, and the hashref must contain at least one
 968 of the following classes as a key:
 969
 970     title
 971     author
 972     subject
 973     series
 974     keyword
 975
 976 The value paired with a key is the associated search string.
 977
 978 The docache argument enables/disables searching and saving results in cache (default OFF).
 979
 980 The return object, if successful, will look like:
 981
 982     { "count" : $count, "ids" : [ [ $id, $relevancy, $total ], ...] }
 983
 984 =cut
 985
 986 __PACKAGE__->register_method(
 987     method    => 'the_quest_for_knowledge',
 988     api_name  => 'open-ils.search.biblio.multiclass.staff',
 989     signature => q/The .staff search includes hidden bibs, hidden items and bibs with no items.  Otherwise, @see open-ils.search.biblio.multiclass/
 990 );
 991 __PACKAGE__->register_method(
 992     method    => 'the_quest_for_knowledge',
 993     api_name  => 'open-ils.search.metabib.multiclass',
 994     signature => q/@see open-ils.search.biblio.multiclass/
 995 );
 996 __PACKAGE__->register_method(
 997     method    => 'the_quest_for_knowledge',
 998     api_name  => 'open-ils.search.metabib.multiclass.staff',
 999     signature => q/The .staff search includes hidden bibs, hidden items and bibs with no items.  Otherwise, @see open-ils.search.biblio.multiclass/
1000 );
1001
1002 sub the_quest_for_knowledge {
1003     my( $self, $conn, $searchhash, $docache ) = @_;
1004
1005     return { count => 0 } unless $searchhash and
1006         ref $searchhash->{searches} eq 'HASH';
1007
1008     my $method = 'open-ils.storage.biblio.multiclass.search_fts';
1009     my $ismeta = 0;
1010     my @recs;
1011
1012     if($self->api_name =~ /metabib/) {
1013         $ismeta = 1;
1014         $method =~ s/biblio/metabib/o;
1015     }
1016
1017     # do some simple sanity checking
1018     if(!$searchhash->{searches} or
1019         ( !grep { /^(?:title|author|subject|series|keyword|identifier\|is[bs]n)/ } keys %{$searchhash->{searches}} ) ) {
1020         return { count => 0 };
1021     }
1022
1023     my $offset = $searchhash->{offset} ||  0;   # user value or default in local var now
1024     my $limit  = $searchhash->{limit}  || 10;   # user value or default in local var now
1025     my $end    = $offset + $limit - 1;
1026
1027     my $maxlimit = 5000;
1028     $searchhash->{offset} = 0;                  # possible user value overwritten in hash
1029     $searchhash->{limit}  = $maxlimit;          # possible user value overwritten in hash
1030
1031     return { count => 0 } if $offset > $maxlimit;
1032
1033     my @search;
1034     push( @search, ($_ => $$searchhash{$_})) for (sort keys %$searchhash);
1035     my $s = OpenSRF::Utils::JSON->perl2JSON(\@search);
1036     my $ckey = $pfx . md5_hex($method . $s);
1037
1038     $logger->info("bib search for: $s");
1039
1040     $searchhash->{limit} -= $offset;
1041
1042
1043     my $trim = 0;
1044     my $result = ($docache) ? search_cache($ckey, $offset, $limit) : undef;
1045
1046     if(!$result) {
1047
1048         $method .= ".staff" if($self->api_name =~ /staff/);
1049         $method .= ".atomic";
1050
1051         for (keys %$searchhash) {
1052             delete $$searchhash{$_}
1053                 unless defined $$searchhash{$_};
1054         }
1055
1056         $result = $U->storagereq( $method, %$searchhash );
1057         $trim = 1;
1058
1059     } else {
1060         $docache = 0;   # results came FROM cache, so we don't write back
1061     }
1062
1063     return {count => 0} unless ($result && $$result[0]);
1064
1065     @recs = @$result;
1066
1067     my $count = ($ismeta) ? $result->[0]->[3] : $result->[0]->[2];
1068
1069     if($docache) {
1070         # If we didn't get this data from the cache, put it into the cache
1071         # then return the correct offset of records
1072         $logger->debug("putting search cache $ckey\n");
1073         put_cache($ckey, $count, \@recs);
1074     }
1075
1076     if($trim) {
1077         # if we have the full set of data, trim out
1078         # the requested chunk based on limit and offset
1079         my @t;
1080         for ($offset..$end) {
1081             last unless $recs[$_];
1082             push(@t, $recs[$_]);
1083         }
1084         @recs = @t;
1085     }
1086
1087     return { ids => \@recs, count => $count };
1088 }
1089
1090
1091 __PACKAGE__->register_method(
1092     method    => 'staged_search',
1093     api_name  => 'open-ils.search.biblio.multiclass.staged',
1094     signature => {
1095         desc   => 'Staged search filters out unavailable items.  This means that it relies on an estimation strategy for determining ' .
1096                   'how big a "raw" search result chunk (i.e. a "superpage") to obtain prior to filtering.  See "estimation_strategy" in your SRF config.',
1097         params => [
1098             {
1099                 desc => "A search hash with keys: "
1100                       . "searches, limit, offset.  The others are optional, but the 'searches' key/value pair is required, with the value being a hashref.  "
1101                       . "See perldoc " . __PACKAGE__ . " for more detail",
1102                 type => 'object',
1103             },
1104             {
1105                 desc => "A flag to enable/disable searching and saving results in cache, including facets (default OFF)",
1106                 type => 'string',
1107             }
1108         ],
1109         return => {
1110             desc => 'Hash with keys: count, core_limit, superpage_size, superpage_summary, facet_key, ids.  '
1111                   . 'The superpage_summary value is a hashref that includes keys: estimated_hit_count, visible.',
1112             type => 'object',
1113         }
1114     }
1115 );
1116 __PACKAGE__->register_method(
1117     method    => 'staged_search',
1118     api_name  => 'open-ils.search.biblio.multiclass.staged.staff',
1119     signature => q/The .staff search includes hidden bibs, hidden items and bibs with no items.  Otherwise, @see open-ils.search.biblio.multiclass.staged/
1120 );
1121 __PACKAGE__->register_method(
1122     method    => 'staged_search',
1123     api_name  => 'open-ils.search.metabib.multiclass.staged',
1124     signature => q/@see open-ils.search.biblio.multiclass.staged/
1125 );
1126 __PACKAGE__->register_method(
1127     method    => 'staged_search',
1128     api_name  => 'open-ils.search.metabib.multiclass.staged.staff',
1129     signature => q/The .staff search includes hidden bibs, hidden items and bibs with no items.  Otherwise, @see open-ils.search.biblio.multiclass.staged/
1130 );
1131
1132 my $estimation_strategy;
1133 sub staged_search {
1134     my($self, $conn, $search_hash, $docache) = @_;
1135
1136     my $IAmMetabib = ($self->api_name =~ /metabib/) ? 1 : 0;
1137
1138     my $method = $IAmMetabib?
1139         'open-ils.storage.metabib.multiclass.staged.search_fts':
1140         'open-ils.storage.biblio.multiclass.staged.search_fts';
1141
1142     $method .= '.staff' if $self->api_name =~ /staff$/;
1143     $method .= '.atomic';
1144
1145     if (!$search_hash->{query}) {
1146         return {count => 0} unless (
1147             $search_hash and
1148             $search_hash->{searches} and
1149             scalar( keys %{$search_hash->{searches}} ));
1150     }
1151
1152     my $search_duration;
1153     my $user_offset = $search_hash->{offset} ||  0; # user-specified offset
1154     my $user_limit  = $search_hash->{limit}  || 10;
1155     my $ignore_facet_classes  = $search_hash->{ignore_facet_classes};
1156     $user_offset = ($user_offset >= 0) ? $user_offset :  0;
1157     $user_limit  = ($user_limit  >= 0) ? $user_limit  : 10;
1158
1159
1160     # we're grabbing results on a per-superpage basis, which means the
1161     # limit and offset should coincide with superpage boundaries
1162     $search_hash->{offset} = 0;
1163     $search_hash->{limit} = $superpage_size;
1164
1165     # force a well-known check_limit
1166     $search_hash->{check_limit} = $superpage_size;
1167     # restrict total tested to superpage size * number of superpages
1168     $search_hash->{core_limit}  = $superpage_size * $max_superpages;
1169
1170     # Set the configured estimation strategy, defaults to 'inclusion'.
1171     unless ($estimation_strategy) {
1172         $estimation_strategy = OpenSRF::Utils::SettingsClient
1173             ->new
1174             ->config_value(
1175                 apps => 'open-ils.search', app_settings => 'estimation_strategy'
1176             ) || 'inclusion';
1177     }
1178     $search_hash->{estimation_strategy} = $estimation_strategy;
1179
1180     # pull any existing results from the cache
1181     my $key = search_cache_key($method, $search_hash);
1182     my $facet_key = $key.'_facets';
1183     my $cache_data = $cache->get_cache($key) || {};
1184
1185     # First, we want to make sure that someone else isn't currently trying to perform exactly
1186     # this same search.  The point is to allow just one instance of a search to fill the needs
1187     # of all concurrent, identical searches.  This will avoid spammy searches killing the
1188     # database without requiring admins to start locking some IP addresses out entirely.
1189     #
1190     # There's still a tiny race condition where 2 might run, but without sigificantly more code
1191     # and complexity, this is close to the best we can do.
1192
1193     if ($cache_data->{running}) { # someone is already doing the search...
1194         my $stop_looping = time() + $cache_timeout;
1195         while ( sleep(1) and time() < $stop_looping ) { # sleep for a second ... maybe they'll finish
1196             $cache_data = $cache->get_cache($key) || {};
1197             last if (!$cache_data->{running});
1198         }
1199     } elsif (!$cache_data->{0}) { # we're the first ... let's give it a try
1200         $cache->put_cache($key, { running => $$ }, $cache_timeout / 3);
1201     }
1202
1203     # keep retrieving results until we find enough to
1204     # fulfill the user-specified limit and offset
1205     my $all_results = [];
1206     my $page; # current superpage
1207     my $current_page_summary = {};
1208     my $global_summary = {checked => 0, visible => 0, excluded => 0, deleted => 0, total => 0};
1209     my $new_ids = [];
1210
1211     for($page = 0; $page < $max_superpages; $page++) {
1212
1213         my $data = $cache_data->{$page};
1214         my $results;
1215         my $summary;
1216
1217         $logger->debug("staged search: analyzing superpage $page");
1218
1219         if($data) {
1220             # this window of results is already cached
1221             $logger->debug("staged search: found cached results");
1222             $summary = $data->{summary};
1223             $results = $data->{results};
1224
1225         } else {
1226             # retrieve the window of results from the database
1227             $logger->debug("staged search: fetching results from the database");
1228             $search_hash->{skip_check} = $page * $superpage_size;
1229             $search_hash->{return_query} = $page == 0 ? 1 : 0;
1230
1231             my $start = time;
1232             $results = $U->storagereq($method, %$search_hash);
1233             $search_duration = time - $start;
1234             $summary = shift(@$results) if $results;
1235
1236             unless($summary) {
1237                 $logger->info("search timed out: duration=$search_duration: params=".
1238                     OpenSRF::Utils::JSON->perl2JSON($search_hash));
1239                 return {count => 0};
1240             }
1241
1242             $logger->info("staged search: DB call took $search_duration seconds and returned ".scalar(@$results)." rows, including summary");
1243
1244             # Create backwards-compatible result structures
1245             if($IAmMetabib) {
1246                 $results = [map {[$_->{id}, $_->{badges}, $_->{popularity}, $_->{rel}, $_->{record}]} @$results];
1247             } else {
1248                 $results = [map {[$_->{id}, $_->{badges}, $_->{popularity}]} @$results];
1249             }
1250
1251             push @$new_ids, grep {defined($_)} map {$_->[0]} @$results;
1252             $results = [grep {defined $_->[0]} @$results];
1253             cache_staged_search_page($key, $page, $summary, $results) if $docache;
1254         }
1255
1256         tag_circulated_records($search_hash->{authtoken}, $results, $IAmMetabib)
1257             if $search_hash->{tag_circulated_records} and $search_hash->{authtoken};
1258
1259         $current_page_summary = $summary;
1260
1261         # add the new set of results to the set under construction
1262         push(@$all_results, @$results);
1263
1264         my $current_count = scalar(@$all_results);
1265
1266         if ($page == 0) { # all summaries are the same, just get the first
1267             for (keys %$summary) {
1268                 $global_summary->{$_} = $summary->{$_};
1269             }
1270         }
1271
1272         # we've found all the possible hits
1273         last if $current_count == $summary->{visible};
1274
1275         # we've found enough results to satisfy the requested limit/offset
1276         last if $current_count >= ($user_limit + $user_offset);
1277
1278         # we've scanned all possible hits
1279         last if($summary->{checked} < $superpage_size);
1280     }
1281
1282     # Let other backends grab our data now that we're done.
1283     $cache_data = $cache->get_cache($key);
1284     if ($$cache_data{running} and $$cache_data{running} == $$) {
1285         delete $$cache_data{running};
1286         $cache->put_cache($key, $cache_data, $cache_timeout);
1287     }
1288
1289     my @results = grep {defined $_} @$all_results[$user_offset..($user_offset + $user_limit - 1)];
1290
1291     $conn->respond_complete(
1292         {
1293             global_summary    => $global_summary,
1294             count             => $global_summary->{visible},
1295             core_limit        => $search_hash->{core_limit},
1296             superpage         => $page,
1297             superpage_size    => $search_hash->{check_limit},
1298             superpage_summary => $current_page_summary,
1299             facet_key         => $facet_key,
1300             ids               => \@results
1301         }
1302     );
1303
1304     $logger->info("Completed canonicalized search is: $$global_summary{canonicalized_query}");
1305
1306     return cache_facets($facet_key, $new_ids, $IAmMetabib, $ignore_facet_classes) if $docache;
1307 }
1308
1309 sub tag_circulated_records {
1310     my ($auth, $results, $metabib) = @_;
1311     my $e = new_editor(authtoken => $auth);
1312     return $results unless $e->checkauth;
1313
1314     my $query = {
1315         select   => { acn => [{ column => 'record', alias => 'tagme' }] },
1316         from     => { auch => { acp => { join => 'acn' }} },
1317         where    => { usr => $e->requestor->id },
1318         distinct => 1
1319     };
1320
1321     if ($metabib) {
1322         $query = {
1323             select   => { mmrsm => [{ column => 'metarecord', alias => 'tagme' }] },
1324             from     => 'mmrsm',
1325             where    => { source => { in => $query } },
1326             distinct => 1
1327         };
1328     }
1329
1330     # Give me the distinct set of bib records that exist in the user's visible circulation history
1331     my $circ_recs = $e->json_query( $query );
1332
1333     # if the record appears in the circ history, push a 1 onto
1334     # the rec array structure to indicate truthiness
1335     for my $rec (@$results) {
1336         push(@$rec, 1) if grep { $_->{tagme} eq $$rec[0] } @$circ_recs;
1337     }
1338
1339     $results
1340 }
1341
1342 # creates a unique token to represent the query in the cache
1343 sub search_cache_key {
1344     my $method = shift;
1345     my $search_hash = shift;
1346     my @sorted;
1347     for my $key (sort keys %$search_hash) {
1348         push(@sorted, ($key => $$search_hash{$key}))
1349             unless $key eq 'limit'  or
1350                    $key eq 'offset' or
1351                    $key eq 'skip_check';
1352     }
1353     my $s = OpenSRF::Utils::JSON->perl2JSON(\@sorted);
1354     return $pfx . md5_hex($method . $s);
1355 }
1356
1357 sub retrieve_cached_facets {
1358     my $self   = shift;
1359     my $client = shift;
1360     my $key    = shift;
1361     my $limit    = shift;
1362
1363     return undef unless ($key and $key =~ /_facets$/);
1364
1365     my $count = 0;
1366     while (
1367         $count < 200 && # 200 * 50ms == 10s
1368         !$cache->get_cache($key . '_COMPLETE') &&
1369         sleep(0.05)
1370     ) { $count++ };
1371
1372     my $blob = $cache->get_cache($key) || {};
1373
1374     my $facets = {};
1375     if ($limit) {
1376        for my $f ( keys %$blob ) {
1377             my @sorted = map{ { $$_[1] => $$_[0] } } sort {$$b[0] <=> $$a[0] || $$a[1] cmp $$b[1]} map { [$$blob{$f}{$_}, $_] } keys %{ $$blob{$f} };
1378             @sorted = @sorted[0 .. $limit - 1] if (scalar(@sorted) > $limit);
1379             for my $s ( @sorted ) {
1380                 my ($k) = keys(%$s);
1381                 my ($v) = values(%$s);
1382                 $$facets{$f}{$k} = $v;
1383             }
1384         }
1385     } else {
1386         $facets = $blob;
1387     }
1388
1389     return $facets;
1390 }
1391
1392 __PACKAGE__->register_method(
1393     method   => "retrieve_cached_facets",
1394     api_name => "open-ils.search.facet_cache.retrieve",
1395     signature => {
1396         desc   => 'Returns facet data derived from a specific search based on a key '.
1397                   'generated by open-ils.search.biblio.multiclass.staged and friends.',
1398         params => [
1399             {
1400                 desc => "The facet cache key returned with the initial search as the facet_key hash value",
1401                 type => 'string',
1402             }
1403         ],
1404         return => {
1405             desc => 'Two level hash of facet values.  Top level key is the facet id defined on the config.metabib_field table.  '.
1406                     'Second level key is a string facet value.  Datum attached to each facet value is the number of distinct records, '.
1407                     'or metarecords for a metarecord search, which use that facet value and are visible to the search at the time of '.
1408                     'facet retrieval.  These counts are calculated for all superpages that have been checked for visibility.',
1409             type => 'object',
1410         }
1411     }
1412 );
1413
1414
1415 sub cache_facets {
1416     # add facets for this search to the facet cache
1417     my($key, $results, $metabib, $ignore) = @_;
1418     my $data = $cache->get_cache($key);
1419     $data ||= {};
1420
1421     return undef unless (@$results);
1422
1423     my $facets_function = $metabib ? 'search.facets_for_metarecord_set'
1424                                    : 'search.facets_for_record_set';
1425     my $results_str = '{' . join(',', @$results) . '}';
1426     my $ignore_str = ref($ignore) ? '{' . join(',', @$ignore) . '}'
1427                                   : '{}';
1428     my $query = {
1429         from => [ $facets_function, $ignore_str, $results_str ]
1430     };
1431
1432     my $facets = OpenILS::Utils::CStoreEditor->new->json_query($query, {substream => 1});
1433
1434     for my $facet (@$facets) {
1435         next unless ($facet->{value});
1436         $data->{$facet->{id}}->{$facet->{value}} += $facet->{count};
1437     }
1438
1439     $logger->info("facet compilation: cached with key=$key");
1440
1441     $cache->put_cache($key, $data, $cache_timeout);
1442     $cache->put_cache($key.'_COMPLETE', 1, $cache_timeout);
1443 }
1444
1445 sub cache_staged_search_page {
1446     # puts this set of results into the cache
1447     my($key, $page, $summary, $results) = @_;
1448     my $data = $cache->get_cache($key);
1449     $data ||= {};
1450     $data->{$page} = {
1451         summary => $summary,
1452         results => $results
1453     };
1454
1455     $logger->info("staged search: cached with key=$key, superpage=$page, estimated=".
1456         ($summary->{estimated_hit_count} || "none") .
1457         ", visible=" . ($summary->{visible} || "none")
1458     );
1459
1460     $cache->put_cache($key, $data, $cache_timeout);
1461 }
1462
1463 sub search_cache {
1464
1465     my $key     = shift;
1466     my $offset  = shift;
1467     my $limit   = shift;
1468     my $start   = $offset;
1469     my $end     = $offset + $limit - 1;
1470
1471     $logger->debug("searching cache for $key : $start..$end\n");
1472
1473     return undef unless $cache;
1474     my $data = $cache->get_cache($key);
1475
1476     return undef unless $data;
1477
1478     my $count = $data->[0];
1479     $data = $data->[1];
1480
1481     return undef unless $offset < $count;
1482
1483     my @result;
1484     for( my $i = $offset; $i <= $end; $i++ ) {
1485         last unless my $d = $$data[$i];
1486         push( @result, $d );
1487     }
1488
1489     $logger->debug("search_cache found ".scalar(@result)." items for count=$count, start=$start, end=$end");
1490
1491     return \@result;
1492 }
1493
1494
1495 sub put_cache {
1496     my( $key, $count, $data ) = @_;
1497     return undef unless $cache;
1498     $logger->debug("search_cache putting ".
1499         scalar(@$data)." items at key $key with timeout $cache_timeout");
1500     $cache->put_cache($key, [ $count, $data ], $cache_timeout);
1501 }
1502
1503
1504 __PACKAGE__->register_method(
1505     method   => "biblio_mrid_to_modsbatch_batch",
1506     api_name => "open-ils.search.biblio.metarecord.mods_slim.batch.retrieve"
1507 );
1508
1509 sub biblio_mrid_to_modsbatch_batch {
1510     my( $self, $client, $mrids) = @_;
1511     # warn "Performing mrid_to_modsbatch_batch..."; # unconditional warn
1512     my @mods;
1513     my $method = $self->method_lookup("open-ils.search.biblio.metarecord.mods_slim.retrieve");
1514     for my $id (@$mrids) {
1515         next unless defined $id;
1516         my ($m) = $method->run($id);
1517         push @mods, $m;
1518     }
1519     return \@mods;
1520 }
1521
1522
1523 foreach (qw /open-ils.search.biblio.metarecord.mods_slim.retrieve
1524              open-ils.search.biblio.metarecord.mods_slim.retrieve.staff/)
1525     {
1526     __PACKAGE__->register_method(
1527         method    => "biblio_mrid_to_modsbatch",
1528         api_name  => $_,
1529         signature => {
1530             desc   => "Returns the mvr associated with a given metarecod. If none exists, it is created.  "
1531                     . "As usual, the .staff version of this method will include otherwise hidden records.",
1532             params => [
1533                 { desc => 'Metarecord ID', type => 'number' },
1534                 { desc => '(Optional) Search filters hash with possible keys: format, org, depth', type => 'object' }
1535             ],
1536             return => {
1537                 desc => 'MVR Object, event on error',
1538             }
1539         }
1540     );
1541 }
1542
1543 sub biblio_mrid_to_modsbatch {
1544     my( $self, $client, $mrid, $args) = @_;
1545
1546     # warn "Grabbing mvr for $mrid\n";    # unconditional warn
1547
1548     my ($mr, $evt) = _grab_metarecord($mrid);
1549     return $evt unless $mr;
1550
1551     my $mvr = biblio_mrid_check_mvr($self, $client, $mr) ||
1552               biblio_mrid_make_modsbatch($self, $client, $mr);
1553
1554     return $mvr unless ref($args);
1555
1556     # Here we find the lead record appropriate for the given filters
1557     # and use that for the title and author of the metarecord
1558     my $format = $$args{format};
1559     my $org    = $$args{org};
1560     my $depth  = $$args{depth};
1561
1562     return $mvr unless $format or $org or $depth;
1563
1564     my $method = "open-ils.storage.ordered.metabib.metarecord.records";
1565     $method = "$method.staff" if $self->api_name =~ /staff/o;
1566
1567     my $rec = $U->storagereq($method, $format, $org, $depth, 1);
1568
1569     if( my $mods = $U->record_to_mvr($rec) ) {
1570
1571         $mvr->title( $mods->title );
1572         $mvr->author($mods->author);
1573         $logger->debug("mods_slim updating title and ".
1574             "author in mvr with ".$mods->title." : ".$mods->author);
1575     }
1576
1577     return $mvr;
1578 }
1579
1580 # converts a metarecord to an mvr
1581 sub _mr_to_mvr {
1582     my $mr = shift;
1583     my $perl = OpenSRF::Utils::JSON->JSON2perl($mr->mods());
1584     return Fieldmapper::metabib::virtual_record->new($perl);
1585 }
1586
1587 # checks to see if a metarecord has mods, if so returns true;
1588
1589 __PACKAGE__->register_method(
1590     method   => "biblio_mrid_check_mvr",
1591     api_name => "open-ils.search.biblio.metarecord.mods_slim.check",
1592     notes    => "Takes a metarecord ID or a metarecord object and returns true "
1593               . "if the metarecord already has an mvr associated with it."
1594 );
1595
1596 sub biblio_mrid_check_mvr {
1597     my( $self, $client, $mrid ) = @_;
1598     my $mr;
1599
1600     my $evt;
1601     if(ref($mrid)) { $mr = $mrid; }
1602     else { ($mr, $evt) = _grab_metarecord($mrid); }
1603     return $evt if $evt;
1604
1605     # warn "Checking mvr for mr " . $mr->id . "\n";   # unconditional warn
1606
1607     return _mr_to_mvr($mr) if $mr->mods();
1608     return undef;
1609 }
1610
1611 sub _grab_metarecord {
1612     my $mrid = shift;
1613     my $e = new_editor();
1614     my $mr = $e->retrieve_metabib_metarecord($mrid) or return ( undef, $e->event );
1615     return ($mr);
1616 }
1617
1618
1619 __PACKAGE__->register_method(
1620     method   => "biblio_mrid_make_modsbatch",
1621     api_name => "open-ils.search.biblio.metarecord.mods_slim.create",
1622     notes    => "Takes either a metarecord ID or a metarecord object. "
1623               . "Forces the creations of an mvr for the given metarecord. "
1624               . "The created mvr is returned."
1625 );
1626
1627 sub biblio_mrid_make_modsbatch {
1628     my( $self, $client, $mrid ) = @_;
1629
1630     my $e = new_editor();
1631
1632     my $mr;
1633     if( ref($mrid) ) {
1634         $mr = $mrid;
1635         $mrid = $mr->id;
1636     } else {
1637         $mr = $e->retrieve_metabib_metarecord($mrid)
1638             or return $e->event;
1639     }
1640
1641     my $masterid = $mr->master_record;
1642     $logger->info("creating new mods batch for metarecord=$mrid, master record=$masterid");
1643
1644     my $ids = $U->storagereq(
1645         'open-ils.storage.ordered.metabib.metarecord.records.staff.atomic', $mrid);
1646     return undef unless @$ids;
1647
1648     my $master = $e->retrieve_biblio_record_entry($masterid)
1649         or return $e->event;
1650
1651     # start the mods batch
1652     my $u = OpenILS::Utils::ModsParser->new();
1653     $u->start_mods_batch( $master->marc );
1654
1655     # grab all of the sub-records and shove them into the batch
1656     my @ids = grep { $_ ne $masterid } @$ids;
1657     #my $subrecs = (@ids) ? $e->batch_retrieve_biblio_record_entry(\@ids) : [];
1658
1659     my $subrecs = [];
1660     if(@$ids) {
1661         for my $i (@$ids) {
1662             my $r = $e->retrieve_biblio_record_entry($i);
1663             push( @$subrecs, $r ) if $r;
1664         }
1665     }
1666
1667     for(@$subrecs) {
1668         $logger->debug("adding record ".$_->id." to mods batch for metarecord=$mrid");
1669         $u->push_mods_batch( $_->marc ) if $_->marc;
1670     }
1671
1672
1673     # finish up and send to the client
1674     my $mods = $u->finish_mods_batch();
1675     $mods->doc_id($mrid);
1676     $client->respond_complete($mods);
1677
1678
1679     # now update the mods string in the db
1680     my $string = OpenSRF::Utils::JSON->perl2JSON($mods->decast);
1681     $mr->mods($string);
1682
1683     $e = new_editor(xact => 1);
1684     $e->update_metabib_metarecord($mr)
1685         or $logger->error("Error setting mods text on metarecord $mrid : " . Dumper($e->event));
1686     $e->finish;
1687
1688     return undef;
1689 }
1690
1691
1692 # converts a mr id into a list of record ids
1693
1694 foreach (qw/open-ils.search.biblio.metarecord_to_records
1695             open-ils.search.biblio.metarecord_to_records.staff/)
1696 {
1697     __PACKAGE__->register_method(
1698         method    => "biblio_mrid_to_record_ids",
1699         api_name  => $_,
1700         signature => {
1701             desc   => "Fetch record IDs corresponding to a meta-record ID, with optional search filters. "
1702                     . "As usual, the .staff version of this method will include otherwise hidden records.",
1703             params => [
1704                 { desc => 'Metarecord ID', type => 'number' },
1705                 { desc => '(Optional) Search filters hash with possible keys: format, org, depth', type => 'object' }
1706             ],
1707             return => {
1708                 desc => 'Results object like {count => $i, ids =>[...]}',
1709                 type => 'object'
1710             }
1711
1712         }
1713     );
1714 }
1715
1716 sub biblio_mrid_to_record_ids {
1717     my( $self, $client, $mrid, $args ) = @_;
1718
1719     my $format = $$args{format};
1720     my $org    = $$args{org};
1721     my $depth  = $$args{depth};
1722
1723     my $method = "open-ils.storage.ordered.metabib.metarecord.records.atomic";
1724     $method =~ s/atomic/staff\.atomic/o if $self->api_name =~ /staff/o;
1725     my $recs = $U->storagereq($method, $mrid, $format, $org, $depth);
1726
1727     return { count => scalar(@$recs), ids => $recs };
1728 }
1729
1730
1731 __PACKAGE__->register_method(
1732     method   => "biblio_record_to_marc_html",
1733     api_name => "open-ils.search.biblio.record.html"
1734 );
1735
1736 __PACKAGE__->register_method(
1737     method   => "biblio_record_to_marc_html",
1738     api_name => "open-ils.search.authority.to_html"
1739 );
1740
1741 # Persistent parsers and setting objects
1742 my $parser = XML::LibXML->new();
1743 my $xslt   = XML::LibXSLT->new();
1744 my $marc_sheet;
1745 my $slim_marc_sheet;
1746 my $settings_client = OpenSRF::Utils::SettingsClient->new();
1747
1748 sub biblio_record_to_marc_html {
1749     my($self, $client, $recordid, $slim, $marcxml) = @_;
1750
1751     my $sheet;
1752     my $dir = $settings_client->config_value("dirs", "xsl");
1753
1754     if($slim) {
1755         unless($slim_marc_sheet) {
1756             my $xsl = $settings_client->config_value(
1757                 "apps", "open-ils.search", "app_settings", 'marc_html_xsl_slim');
1758             if($xsl) {
1759                 $xsl = $parser->parse_file("$dir/$xsl");
1760                 $slim_marc_sheet = $xslt->parse_stylesheet($xsl);
1761             }
1762         }
1763         $sheet = $slim_marc_sheet;
1764     }
1765
1766     unless($sheet) {
1767         unless($marc_sheet) {
1768             my $xsl_key = ($slim) ? 'marc_html_xsl_slim' : 'marc_html_xsl';
1769             my $xsl = $settings_client->config_value(
1770                 "apps", "open-ils.search", "app_settings", 'marc_html_xsl');
1771             $xsl = $parser->parse_file("$dir/$xsl");
1772             $marc_sheet = $xslt->parse_stylesheet($xsl);
1773         }
1774         $sheet = $marc_sheet;
1775     }
1776
1777     my $record;
1778     unless($marcxml) {
1779         my $e = new_editor();
1780         if($self->api_name =~ /authority/) {
1781             $record = $e->retrieve_authority_record_entry($recordid)
1782                 or return $e->event;
1783         } else {
1784             $record = $e->retrieve_biblio_record_entry($recordid)
1785                 or return $e->event;
1786         }
1787         $marcxml = $record->marc;
1788     }
1789
1790     my $xmldoc = $parser->parse_string($marcxml);
1791     my $html = $sheet->transform($xmldoc);
1792     return $html->documentElement->toString();
1793 }
1794
1795 __PACKAGE__->register_method(
1796     method    => "format_biblio_record_entry",
1797     api_name  => "open-ils.search.biblio.record.print",
1798     signature => {
1799         desc   => 'Returns a printable version of the specified bib record',
1800         params => [
1801             { desc => 'Biblio record entry ID or array of IDs', type => 'number' },
1802         ],
1803         return => {
1804             desc => q/An action_trigger.event object or error event./,
1805             type => 'object',
1806         }
1807     }
1808 );
1809 __PACKAGE__->register_method(
1810     method    => "format_biblio_record_entry",
1811     api_name  => "open-ils.search.biblio.record.email",
1812     signature => {
1813         desc   => 'Emails an A/T templated version of the specified bib records to the authorized user',
1814         params => [
1815             { desc => 'Authentication token',  type => 'string'},
1816             { desc => 'Biblio record entry ID or array of IDs', type => 'number' },
1817         ],
1818         return => {
1819             desc => q/Undefined on success, otherwise an error event./,
1820             type => 'object',
1821         }
1822     }
1823 );
1824
1825 sub format_biblio_record_entry {
1826     my($self, $conn, $arg1, $arg2) = @_;
1827
1828     my $for_print = ($self->api_name =~ /print/);
1829     my $for_email = ($self->api_name =~ /email/);
1830
1831     my $e; my $auth; my $bib_id; my $context_org;
1832
1833     if ($for_print) {
1834         $bib_id = $arg1;
1835         $context_org = $arg2 || $U->get_org_tree->id;
1836         $e = new_editor(xact => 1);
1837     } elsif ($for_email) {
1838         $auth = $arg1;
1839         $bib_id = $arg2;
1840         $e = new_editor(authtoken => $auth, xact => 1);
1841         return $e->die_event unless $e->checkauth;
1842         $context_org = $e->requestor->home_ou;
1843     }
1844
1845     my $bib_ids;
1846     if (ref $bib_id ne 'ARRAY') {
1847         $bib_ids = [ $bib_id ];
1848     } else {
1849         $bib_ids = $bib_id;
1850     }
1851
1852     my $bucket = Fieldmapper::container::biblio_record_entry_bucket->new;
1853     $bucket->btype('temp');
1854     $bucket->name('format_biblio_record_entry ' . $U->create_uuid_string);
1855     if ($for_email) {
1856         $bucket->owner($e->requestor)
1857     } else {
1858         $bucket->owner(1);
1859     }
1860     my $bucket_obj = $e->create_container_biblio_record_entry_bucket($bucket);
1861
1862     for my $id (@$bib_ids) {
1863
1864         my $bib = $e->retrieve_biblio_record_entry([$id]) or return $e->die_event;
1865
1866         my $bucket_entry = Fieldmapper::container::biblio_record_entry_bucket_item->new;
1867         $bucket_entry->target_biblio_record_entry($bib);
1868         $bucket_entry->bucket($bucket_obj->id);
1869         $e->create_container_biblio_record_entry_bucket_item($bucket_entry);
1870     }
1871
1872     $e->commit;
1873
1874     if ($for_print) {
1875
1876         return $U->fire_object_event(undef, 'biblio.format.record_entry.print', [ $bucket ], $context_org);
1877
1878     } elsif ($for_email) {
1879
1880         $U->create_events_for_hook('biblio.format.record_entry.email', $bucket, $context_org, undef, undef, 1);
1881     }
1882
1883     return undef;
1884 }
1885
1886
1887 __PACKAGE__->register_method(
1888     method   => "retrieve_all_copy_statuses",
1889     api_name => "open-ils.search.config.copy_status.retrieve.all"
1890 );
1891
1892 sub retrieve_all_copy_statuses {
1893     my( $self, $client ) = @_;
1894     return new_editor()->retrieve_all_config_copy_status();
1895 }
1896
1897
1898 __PACKAGE__->register_method(
1899     method   => "copy_counts_per_org",
1900     api_name => "open-ils.search.biblio.copy_counts.retrieve"
1901 );
1902
1903 __PACKAGE__->register_method(
1904     method   => "copy_counts_per_org",
1905     api_name => "open-ils.search.biblio.copy_counts.retrieve.staff"
1906 );
1907
1908 sub copy_counts_per_org {
1909     my( $self, $client, $record_id ) = @_;
1910
1911     warn "Retreiveing copy copy counts for record $record_id and method " . $self->api_name . "\n";
1912
1913     my $method = "open-ils.storage.biblio.record_entry.global_copy_count.atomic";
1914     if($self->api_name =~ /staff/) { $method =~ s/atomic/staff\.atomic/; }
1915
1916     my $counts = $apputils->simple_scalar_request(
1917         "open-ils.storage", $method, $record_id );
1918
1919     $counts = [ sort {$a->[0] <=> $b->[0]} @$counts ];
1920     return $counts;
1921 }
1922
1923
1924 __PACKAGE__->register_method(
1925     method   => "copy_count_summary",
1926     api_name => "open-ils.search.biblio.copy_counts.summary.retrieve",
1927     notes    => "returns an array of these: "
1928               . "[ org_id, callnumber_prefix, callnumber_label, callnumber_suffix, <status1_count>, <status2_count>,...] "
1929               . "where statusx is a copy status name.  The statuses are sorted by ID.",
1930 );
1931
1932
1933 sub copy_count_summary {
1934     my( $self, $client, $rid, $org, $depth ) = @_;
1935     $org   ||= 1;
1936     $depth ||= 0;
1937     my $data = $U->storagereq(
1938         'open-ils.storage.biblio.record_entry.status_copy_count.atomic', $rid, $org, $depth );
1939
1940     return [ sort {
1941         (($a->[1] ? $a->[1] . ' ' : '') . $a->[2] . ($a->[3] ? ' ' . $a->[3] : ''))
1942         cmp
1943         (($b->[1] ? $b->[1] . ' ' : '') . $b->[2] . ($b->[3] ? ' ' . $b->[3] : ''))
1944     } @$data ];
1945 }
1946
1947 __PACKAGE__->register_method(
1948     method   => "copy_location_count_summary",
1949     api_name => "open-ils.search.biblio.copy_location_counts.summary.retrieve",
1950     notes    => "returns an array of these: "
1951               . "[ org_id, callnumber_prefix, callnumber_label, callnumber_suffix, copy_location, <status1_count>, <status2_count>,...] "
1952               . "where statusx is a copy status name.  The statuses are sorted by ID.",
1953 );
1954
1955 sub copy_location_count_summary {
1956     my( $self, $client, $rid, $org, $depth ) = @_;
1957     $org   ||= 1;
1958     $depth ||= 0;
1959     my $data = $U->storagereq(
1960         'open-ils.storage.biblio.record_entry.status_copy_location_count.atomic', $rid, $org, $depth );
1961
1962     return [ sort {
1963         (($a->[1] ? $a->[1] . ' ' : '') . $a->[2] . ($a->[3] ? ' ' . $a->[3] : ''))
1964         cmp
1965         (($b->[1] ? $b->[1] . ' ' : '') . $b->[2] . ($b->[3] ? ' ' . $b->[3] : ''))
1966
1967         || $a->[4] cmp $b->[4]
1968     } @$data ];
1969 }
1970
1971 __PACKAGE__->register_method(
1972     method   => "copy_count_location_summary",
1973     api_name => "open-ils.search.biblio.copy_counts.location.summary.retrieve",
1974     notes    => "returns an array of these: "
1975               . "[ org_id, callnumber_prefix, callnumber_label, callnumber_suffix, <status1_count>, <status2_count>,...] "
1976               . "where statusx is a copy status name.  The statuses are sorted by ID."
1977 );
1978
1979 sub copy_count_location_summary {
1980     my( $self, $client, $rid, $org, $depth ) = @_;
1981     $org   ||= 1;
1982     $depth ||= 0;
1983     my $data = $U->storagereq(
1984         'open-ils.storage.biblio.record_entry.status_copy_location_count.atomic', $rid, $org, $depth );
1985     return [ sort {
1986         (($a->[1] ? $a->[1] . ' ' : '') . $a->[2] . ($a->[3] ? ' ' . $a->[3] : ''))
1987         cmp
1988         (($b->[1] ? $b->[1] . ' ' : '') . $b->[2] . ($b->[3] ? ' ' . $b->[3] : ''))
1989     } @$data ];
1990 }
1991
1992
1993 foreach (qw/open-ils.search.biblio.marc
1994             open-ils.search.biblio.marc.staff/)
1995 {
1996 __PACKAGE__->register_method(
1997     method    => "marc_search",
1998     api_name  => $_,
1999     signature => {
2000         desc   => 'Fetch biblio IDs based on MARC record criteria.  '
2001                 . 'As usual, the .staff version of the search includes otherwise hidden records',
2002         params => [
2003             {
2004                 desc => 'Search hash (required) with possible elements: searches, limit, offset, sort, sort_dir. ' .
2005                         'See perldoc ' . __PACKAGE__ . ' for more detail.',
2006                 type => 'object'
2007             },
2008             {desc => 'timeout (optional)',  type => 'number'}
2009         ],
2010         return => {
2011             desc => 'Results object like: { "count": $i, "ids": [...] }',
2012             type => 'object'
2013         }
2014     }
2015 );
2016 }
2017
2018 =head3 open-ils.search.biblio.marc (arghash, timeout)
2019
2020 As elsewhere the arghash is the required argument, and must be a hashref.  The keys are:
2021
2022     searches: complex query object  (required)
2023     org_unit: The org ID to focus the search at
2024     depth   : The org depth
2025     limit   : integer search limit      default: 10
2026     offset  : integer search offset     default:  0
2027     sort    : What field to sort the results on? [ author | title | pubdate ]
2028     sort_dir: In what direction do we sort? [ asc | desc ]
2029
2030 Additional keys to refine search criteria:
2031
2032     audience : Audience
2033     language : Language (code)
2034     lit_form : Literary form
2035     item_form: Item form
2036     item_type: Item type
2037     format   : The MARC format
2038
2039 Please note that the specific strings to be used in the "addtional keys" will be entirely
2040 dependent on your loaded data.
2041
2042 All keys except "searches" are optional.
2043 The "searches" value must be an arrayref of hashref elements, including keys "term" and "restrict".
2044
2045 For example, an arg hash might look like:
2046
2047     $arghash = {
2048         searches => [
2049             {
2050                 term     => "harry",
2051                 restrict => [
2052                     {
2053                         tag => 245,
2054                         subfield => "a"
2055                     }
2056                     # ...
2057                 ]
2058             }
2059             # ...
2060         ],
2061         org_unit  => 1,
2062         limit     => 5,
2063         sort      => "author",
2064         item_type => "g"
2065     }
2066
2067 The arghash is eventually passed to the SRF call:
2068 L<open-ils.storage.biblio.full_rec.multi_search[.staff].atomic>
2069
2070 Presently, search uses the cache unconditionally.
2071
2072 =cut
2073
2074 # FIXME: that example above isn't actually tested.
2075 # FIXME: sort and limit added.  item_type not tested yet.
2076 # TODO: docache option?
2077 sub marc_search {
2078     my( $self, $conn, $args, $timeout ) = @_;
2079
2080     my $method = 'open-ils.storage.biblio.full_rec.multi_search';
2081     $method .= ".staff" if $self->api_name =~ /staff/;
2082     $method .= ".atomic";
2083
2084     my $limit = $args->{limit} || 10;
2085     my $offset = $args->{offset} || 0;
2086
2087     # allow caller to pass in a call timeout since MARC searches
2088     # can take longer than the default 60-second timeout.
2089     # Default to 2 mins.  Arbitrarily cap at 5 mins.
2090     $timeout = 120 if !$timeout or $timeout > 300;
2091
2092     my @search;
2093     push( @search, ($_ => $$args{$_}) ) for (sort keys %$args);
2094     my $ckey = $pfx . md5_hex($method . OpenSRF::Utils::JSON->perl2JSON(\@search));
2095
2096     my $recs = search_cache($ckey, $offset, $limit);
2097
2098     if(!$recs) {
2099
2100         my $ses = OpenSRF::AppSession->create('open-ils.storage');
2101         my $req = $ses->request($method, %$args);
2102         my $resp = $req->recv($timeout);
2103
2104         if($resp and $recs = $resp->content) {
2105             put_cache($ckey, scalar(@$recs), $recs);
2106         } else {
2107             $recs = [];
2108         }
2109
2110         $ses->kill_me;
2111     }
2112
2113     my $count = 0;
2114     $count = $recs->[0]->[2] if $recs->[0] and $recs->[0]->[2];
2115     my @recs = map { $_->[0] } @$recs;
2116
2117     return { ids => \@recs, count => $count };
2118 }
2119
2120
2121 foreach my $isbn_method (qw/
2122     open-ils.search.biblio.isbn
2123     open-ils.search.biblio.isbn.staff
2124 /) {
2125 __PACKAGE__->register_method(
2126     method    => "biblio_search_isbn",
2127     api_name  => $isbn_method,
2128     signature => {
2129         desc   => 'Retrieve biblio IDs for a given ISBN. The .staff version of the call includes otherwise hidden hits.',
2130         params => [
2131             {desc => 'ISBN', type => 'string'}
2132         ],
2133         return => {
2134             desc => 'Results object like: { "count": $i, "ids": [...] }',
2135             type => 'object'
2136         }
2137     }
2138 );
2139 }
2140
2141 sub biblio_search_isbn {
2142     my( $self, $client, $isbn ) = @_;
2143     $logger->debug("Searching ISBN $isbn");
2144     # the previous implementation of this method was essentially unlimited,
2145     # so we will set our limit very high and let multiclass.query provide any
2146     # actual limit
2147     # XXX: if making this unlimited is deemed important, we might consider
2148     # reworking 'open-ils.storage.id_list.biblio.record_entry.search.isbn',
2149     # which is functionally deprecated at this point, or a custom call to
2150     # 'open-ils.storage.biblio.multiclass.search_fts'
2151
2152     my $isbn_method = 'open-ils.search.biblio.multiclass.query';
2153     if ($self->api_name =~ m/.staff$/) {
2154         $isbn_method .= '.staff';
2155     }
2156
2157     my $method = $self->method_lookup($isbn_method);
2158     my ($search_result) = $method->run({'limit' => 1000000}, "identifier|isbn:$isbn");
2159     my @recs = map { $_->[0] } @{$search_result->{'ids'}};
2160     return { ids => \@recs, count => $search_result->{'count'} };
2161 }
2162
2163 __PACKAGE__->register_method(
2164     method   => "biblio_search_isbn_batch",
2165     api_name => "open-ils.search.biblio.isbn_list",
2166 );
2167
2168 # XXX: see biblio_search_isbn() for note concerning 'limit'
2169 sub biblio_search_isbn_batch {
2170     my( $self, $client, $isbn_list ) = @_;
2171     $logger->debug("Searching ISBNs @$isbn_list");
2172     my @recs = (); my %rec_set = ();
2173     my $method = $self->method_lookup('open-ils.search.biblio.multiclass.query');
2174     foreach my $isbn ( @$isbn_list ) {
2175         my ($search_result) = $method->run({'limit' => 1000000}, "identifier|isbn:$isbn");
2176         my @recs_subset = map { $_->[0] } @{$search_result->{'ids'}};
2177         foreach my $rec (@recs_subset) {
2178             if (! $rec_set{ $rec }) {
2179                 $rec_set{ $rec } = 1;
2180                 push @recs, $rec;
2181             }
2182         }
2183     }
2184     return { ids => \@recs, count => scalar(@recs) };
2185 }
2186
2187 foreach my $issn_method (qw/
2188     open-ils.search.biblio.issn
2189     open-ils.search.biblio.issn.staff
2190 /) {
2191 __PACKAGE__->register_method(
2192     method   => "biblio_search_issn",
2193     api_name => $issn_method,
2194     signature => {
2195         desc   => 'Retrieve biblio IDs for a given ISSN',
2196         params => [
2197             {desc => 'ISBN', type => 'string'}
2198         ],
2199         return => {
2200             desc => 'Results object like: { "count": $i, "ids": [...] }',
2201             type => 'object'
2202         }
2203     }
2204 );
2205 }
2206
2207 sub biblio_search_issn {
2208     my( $self, $client, $issn ) = @_;
2209     $logger->debug("Searching ISSN $issn");
2210     # the previous implementation of this method was essentially unlimited,
2211     # so we will set our limit very high and let multiclass.query provide any
2212     # actual limit
2213     # XXX: if making this unlimited is deemed important, we might consider
2214     # reworking 'open-ils.storage.id_list.biblio.record_entry.search.issn',
2215     # which is functionally deprecated at this point, or a custom call to
2216     # 'open-ils.storage.biblio.multiclass.search_fts'
2217
2218     my $issn_method = 'open-ils.search.biblio.multiclass.query';
2219     if ($self->api_name =~ m/.staff$/) {
2220         $issn_method .= '.staff';
2221     }
2222
2223     my $method = $self->method_lookup($issn_method);
2224     my ($search_result) = $method->run({'limit' => 1000000}, "identifier|issn:$issn");
2225     my @recs = map { $_->[0] } @{$search_result->{'ids'}};
2226     return { ids => \@recs, count => $search_result->{'count'} };
2227 }
2228
2229
2230 __PACKAGE__->register_method(
2231     method    => "fetch_mods_by_copy",
2232     api_name  => "open-ils.search.biblio.mods_from_copy",
2233     argc      => 1,
2234     signature => {
2235         desc    => 'Retrieve MODS record given an attached copy ID',
2236         params  => [
2237             { desc => 'Copy ID', type => 'number' }
2238         ],
2239         returns => {
2240             desc => 'MODS record, event on error or uncataloged item'
2241         }
2242     }
2243 );
2244
2245 sub fetch_mods_by_copy {
2246     my( $self, $client, $copyid ) = @_;
2247     my ($record, $evt) = $apputils->fetch_record_by_copy( $copyid );
2248     return $evt if $evt;
2249     return OpenILS::Event->new('ITEM_NOT_CATALOGED') unless $record->marc;
2250     return $apputils->record_to_mvr($record);
2251 }
2252
2253
2254 # -------------------------------------------------------------------------------------
2255
2256 __PACKAGE__->register_method(
2257     method   => "cn_browse",
2258     api_name => "open-ils.search.callnumber.browse.target",
2259     notes    => "Starts a callnumber browse"
2260 );
2261
2262 __PACKAGE__->register_method(
2263     method   => "cn_browse",
2264     api_name => "open-ils.search.callnumber.browse.page_up",
2265     notes    => "Returns the previous page of callnumbers",
2266 );
2267
2268 __PACKAGE__->register_method(
2269     method   => "cn_browse",
2270     api_name => "open-ils.search.callnumber.browse.page_down",
2271     notes    => "Returns the next page of callnumbers",
2272 );
2273
2274
2275 # RETURNS array of arrays like so: label, owning_lib, record, id
2276 sub cn_browse {
2277     my( $self, $client, @params ) = @_;
2278     my $method;
2279
2280     $method = 'open-ils.storage.asset.call_number.browse.target.atomic'
2281         if( $self->api_name =~ /target/ );
2282     $method = 'open-ils.storage.asset.call_number.browse.page_up.atomic'
2283         if( $self->api_name =~ /page_up/ );
2284     $method = 'open-ils.storage.asset.call_number.browse.page_down.atomic'
2285         if( $self->api_name =~ /page_down/ );
2286
2287     return $apputils->simplereq( 'open-ils.storage', $method, @params );
2288 }
2289 # -------------------------------------------------------------------------------------
2290
2291 __PACKAGE__->register_method(
2292     method        => "fetch_cn",
2293     api_name      => "open-ils.search.callnumber.retrieve",
2294     authoritative => 1,
2295     notes         => "retrieves a callnumber based on ID",
2296 );
2297
2298 sub fetch_cn {
2299     my( $self, $client, $id ) = @_;
2300
2301     my $e = new_editor();
2302     my( $cn, $evt ) = $apputils->fetch_callnumber( $id, 0, $e );
2303     return $evt if $evt;
2304     return $cn;
2305 }
2306
2307 __PACKAGE__->register_method(
2308     method        => "fetch_fleshed_cn",
2309     api_name      => "open-ils.search.callnumber.fleshed.retrieve",
2310     authoritative => 1,
2311     notes         => "retrieves a callnumber based on ID, fleshing prefix, suffix, and label_class",
2312 );
2313
2314 sub fetch_fleshed_cn {
2315     my( $self, $client, $id ) = @_;
2316
2317     my $e = new_editor();
2318     my( $cn, $evt ) = $apputils->fetch_callnumber( $id, 1, $e );
2319     return $evt if $evt;
2320     return $cn;
2321 }
2322
2323
2324 __PACKAGE__->register_method(
2325     method    => "fetch_copy_by_cn",
2326     api_name  => 'open-ils.search.copies_by_call_number.retrieve',
2327     signature => q/
2328         Returns an array of copy ID's by callnumber ID
2329         @param cnid The callnumber ID
2330         @return An array of copy IDs
2331     /
2332 );
2333
2334 sub fetch_copy_by_cn {
2335     my( $self, $conn, $cnid ) = @_;
2336     return $U->cstorereq(
2337         'open-ils.cstore.direct.asset.copy.id_list.atomic',
2338         { call_number => $cnid, deleted => 'f' } );
2339 }
2340
2341 __PACKAGE__->register_method(
2342     method    => 'fetch_cn_by_info',
2343     api_name  => 'open-ils.search.call_number.retrieve_by_info',
2344     signature => q/
2345         @param label The callnumber label
2346         @param record The record the cn is attached to
2347         @param org The owning library of the cn
2348         @return The callnumber object
2349     /
2350 );
2351
2352
2353 sub fetch_cn_by_info {
2354     my( $self, $conn, $label, $record, $org ) = @_;
2355     return $U->cstorereq(
2356         'open-ils.cstore.direct.asset.call_number.search',
2357         { label => $label, record => $record, owning_lib => $org, deleted => 'f' });
2358 }
2359
2360
2361
2362 __PACKAGE__->register_method(
2363     method   => 'bib_extras',
2364     api_name => 'open-ils.search.biblio.lit_form_map.retrieve.all',
2365     ctype => 'lit_form'
2366 );
2367 __PACKAGE__->register_method(
2368     method   => 'bib_extras',
2369     api_name => 'open-ils.search.biblio.item_form_map.retrieve.all',
2370     ctype => 'item_form'
2371 );
2372 __PACKAGE__->register_method(
2373     method   => 'bib_extras',
2374     api_name => 'open-ils.search.biblio.item_type_map.retrieve.all',
2375     ctype => 'item_type',
2376 );
2377 __PACKAGE__->register_method(
2378     method   => 'bib_extras',
2379     api_name => 'open-ils.search.biblio.bib_level_map.retrieve.all',
2380     ctype => 'bib_level'
2381 );
2382 __PACKAGE__->register_method(
2383     method   => 'bib_extras',
2384     api_name => 'open-ils.search.biblio.audience_map.retrieve.all',
2385     ctype => 'audience'
2386 );
2387
2388 sub bib_extras {
2389     my $self = shift;
2390     $logger->warn("deprecation warning: " .$self->api_name);
2391
2392     my $e = new_editor();
2393
2394     my $ctype = $self->{ctype};
2395     my $ccvms = $e->search_config_coded_value_map({ctype => $ctype});
2396
2397     my @objs;
2398     for my $ccvm (@$ccvms) {
2399         my $obj = "Fieldmapper::config::${ctype}_map"->new;
2400         $obj->value($ccvm->value);
2401         $obj->code($ccvm->code);
2402         $obj->description($ccvm->description) if $obj->can('description');
2403         push(@objs, $obj);
2404     }
2405
2406     return \@objs;
2407 }
2408
2409
2410
2411 __PACKAGE__->register_method(
2412     method    => 'fetch_slim_record',
2413     api_name  => 'open-ils.search.biblio.record_entry.slim.retrieve',
2414     signature => {
2415         desc   => "Retrieves one or more biblio.record_entry without the attached marcxml",
2416         params => [
2417             { desc => 'Array of Record IDs', type => 'array' }
2418         ],
2419         return => {
2420             desc => 'Array of biblio records, event on error'
2421         }
2422     }
2423 );
2424
2425 sub fetch_slim_record {
2426     my( $self, $conn, $ids ) = @_;
2427
2428     my $editor = new_editor();
2429     my @res;
2430     for( @$ids ) {
2431         return $editor->event unless
2432             my $r = $editor->retrieve_biblio_record_entry($_);
2433         $r->clear_marc;
2434         push(@res, $r);
2435     }
2436     return \@res;
2437 }
2438
2439 __PACKAGE__->register_method(
2440     method    => 'rec_hold_parts',
2441     api_name  => 'open-ils.search.biblio.record_hold_parts',
2442     signature => q/
2443        Returns a list of {label :foo, id : bar} objects for viable monograph parts for a given record
2444     /
2445 );
2446
2447 sub rec_hold_parts {
2448     my( $self, $conn, $args ) = @_;
2449
2450     my $rec        = $$args{record};
2451     my $mrec       = $$args{metarecord};
2452     my $pickup_lib = $$args{pickup_lib};
2453     my $e = new_editor();
2454
2455     my $query = {
2456         select => {bmp => ['id', 'label']},
2457         from => 'bmp',
2458         where => {
2459             id => {
2460                 in => {
2461                     select => {'acpm' => ['part']},
2462                     from => {acpm => {acp => {join => {acn => {join => 'bre'}}}}},
2463                     where => {
2464                         '+acp' => {'deleted' => 'f'},
2465                         '+bre' => {id => $rec}
2466                     },
2467                     distinct => 1,
2468                 }
2469             },
2470             deleted => 'f'
2471         },
2472         order_by =>[{class=>'bmp', field=>'label_sortkey'}]
2473     };
2474
2475     if(defined $pickup_lib) {
2476         my $hard_boundary = $U->ou_ancestor_setting_value($pickup_lib, OILS_SETTING_HOLD_HARD_BOUNDARY);
2477         if($hard_boundary) {
2478             my $orgs = $e->json_query({from => ['actor.org_unit_descendants' => $pickup_lib, $hard_boundary]});
2479             $query->{where}->{'+acp'}->{circ_lib} = [ map { $_->{id} } @$orgs ];
2480         }
2481     }
2482
2483     return $e->json_query($query);
2484 }
2485
2486
2487
2488
2489 __PACKAGE__->register_method(
2490     method    => 'rec_to_mr_rec_descriptors',
2491     api_name  => 'open-ils.search.metabib.record_to_descriptors',
2492     signature => q/
2493         specialized method...
2494         Given a biblio record id or a metarecord id,
2495         this returns a list of metabib.record_descriptor
2496         objects that live within the same metarecord
2497         @param args Object of args including:
2498     /
2499 );
2500
2501 sub rec_to_mr_rec_descriptors {
2502     my( $self, $conn, $args ) = @_;
2503
2504     my $rec        = $$args{record};
2505     my $mrec       = $$args{metarecord};
2506     my $item_forms = $$args{item_forms};
2507     my $item_types = $$args{item_types};
2508     my $item_lang  = $$args{item_lang};
2509     my $pickup_lib = $$args{pickup_lib};
2510
2511     my $hard_boundary = $U->ou_ancestor_setting_value($pickup_lib, OILS_SETTING_HOLD_HARD_BOUNDARY) if (defined $pickup_lib);
2512
2513     my $e = new_editor();
2514     my $recs;
2515
2516     if( !$mrec ) {
2517         my $map = $e->search_metabib_metarecord_source_map({source => $rec});
2518         return $e->event unless @$map;
2519         $mrec = $$map[0]->metarecord;
2520     }
2521
2522     $recs = $e->search_metabib_metarecord_source_map({metarecord => $mrec});
2523     return $e->event unless @$recs;
2524
2525     my @recs = map { $_->source } @$recs;
2526     my $search = { record => \@recs };
2527     $search->{item_form} = $item_forms if $item_forms and @$item_forms;
2528     $search->{item_type} = $item_types if $item_types and @$item_types;
2529     $search->{item_lang} = $item_lang  if $item_lang;
2530
2531     my $desc = $e->search_metabib_record_descriptor($search);
2532
2533     my $query = {
2534         distinct => 1,
2535         select   => { 'bre' => ['id'] },
2536         from     => {
2537             'bre' => {
2538                 'acn' => {
2539                     'join' => {
2540                         'acp' => {"join" => {"acpl" => {}, "ccs" => {}}}
2541                       }
2542                   }
2543              }
2544         },
2545         where => {
2546             '+bre' => { id => \@recs },
2547             '+acp' => {
2548                 holdable => 't',
2549                 deleted  => 'f'
2550             },
2551             "+ccs" => { holdable => 't' },
2552             "+acpl" => { holdable => 't', deleted => 'f' }
2553         }
2554     };
2555
2556     if ($hard_boundary) { # 0 (or "top") is the same as no setting
2557         my $orgs = $e->json_query(
2558             { from => [ 'actor.org_unit_descendants' => $pickup_lib, $hard_boundary ] }
2559         ) or return $e->die_event;
2560
2561         $query->{where}->{"+acp"}->{circ_lib} = [ map { $_->{id} } @$orgs ];
2562     }
2563
2564     my $good_records = $e->json_query($query) or return $e->die_event;
2565
2566     my @keep;
2567     for my $d (@$desc) {
2568         if ( grep { $d->record == $_->{id} } @$good_records ) {
2569             push @keep, $d;
2570         }
2571     }
2572
2573     $desc = \@keep;
2574
2575     return { metarecord => $mrec, descriptors => $desc };
2576 }
2577
2578
2579 __PACKAGE__->register_method(
2580     method   => 'fetch_age_protect',
2581     api_name => 'open-ils.search.copy.age_protect.retrieve.all',
2582 );
2583
2584 sub fetch_age_protect {
2585     return new_editor()->retrieve_all_config_rule_age_hold_protect();
2586 }
2587
2588
2589 __PACKAGE__->register_method(
2590     method   => 'copies_by_cn_label',
2591     api_name => 'open-ils.search.asset.copy.retrieve_by_cn_label',
2592 );
2593
2594 __PACKAGE__->register_method(
2595     method   => 'copies_by_cn_label',
2596     api_name => 'open-ils.search.asset.copy.retrieve_by_cn_label.staff',
2597 );
2598
2599 sub copies_by_cn_label {
2600     my( $self, $conn, $record, $cn_parts, $circ_lib ) = @_;
2601     my $e = new_editor();
2602     my $cnp_id = $cn_parts->[0] eq '' ? -1 : $e->search_asset_call_number_prefix({label => $cn_parts->[0]}, {idlist=>1})->[0];
2603     my $cns_id = $cn_parts->[2] eq '' ? -1 : $e->search_asset_call_number_suffix({label => $cn_parts->[2]}, {idlist=>1})->[0];
2604     my $cns = $e->search_asset_call_number({record => $record, prefix => $cnp_id, label => $cn_parts->[1], suffix => $cns_id, deleted => 'f'}, {idlist=>1});
2605     return [] unless @$cns;
2606
2607     # show all non-deleted copies in the staff client ...
2608     if ($self->api_name =~ /staff$/o) {
2609         return $e->search_asset_copy({call_number => $cns, circ_lib => $circ_lib, deleted => 'f'}, {idlist=>1});
2610     }
2611
2612     # ... otherwise, grab the copies ...
2613     my $copies = $e->search_asset_copy(
2614         [ {call_number => $cns, circ_lib => $circ_lib, deleted => 'f', opac_visible => 't'},
2615           {flesh => 1, flesh_fields => { acp => [ qw/location status/] } }
2616         ]
2617     );
2618
2619     # ... and test for location and status visibility
2620     return [ map { ($U->is_true($_->location->opac_visible) && $U->is_true($_->status->opac_visible)) ? ($_->id) : () } @$copies ];
2621 }
2622
2623
2624 1;
2625