Open-ILS/src/perlmods/lib/OpenILS/WWW/EGCatLoader/Util.pm

   1 package OpenILS::WWW::EGCatLoader;
   2 use strict; use warnings;
   3 use Apache2::Const -compile => qw(OK DECLINED FORBIDDEN HTTP_INTERNAL_SERVER_ERROR REDIRECT HTTP_BAD_REQUEST);
   4 use File::Spec;
   5 use OpenSRF::Utils::Logger qw/$logger/;
   6 use OpenILS::Utils::CStoreEditor qw/:funcs/;
   7 use OpenILS::Utils::Fieldmapper;
   8 use OpenILS::Application::AppUtils;
   9 use OpenSRF::MultiSession;
  10 my $U = 'OpenILS::Application::AppUtils';
  11
  12 my $ro_object_subs; # cached subs
  13 our %cache = ( # cached data
  14     map => {en_us => {}},
  15     list => {en_us => {}},
  16     search => {en_us => {}},
  17     org_settings => {en_us => {}},
  18     search_filter_groups => {en_us => {}},
  19     aou_tree => {en_us => undef},
  20     aouct_tree => {},
  21     eg_cache_hash => undef
  22 );
  23
  24 sub init_ro_object_cache {
  25     my $self = shift;
  26     my $e = $self->editor;
  27     my $ctx = $self->ctx;
  28
  29     # reset org unit setting cache on each page load to avoid the
  30     # requirement of reloading apache with each org-setting change
  31     $cache{org_settings} = {};
  32
  33     if($ro_object_subs) {
  34         # subs have been built.  insert into the context then move along.
  35         $ctx->{$_} = $ro_object_subs->{$_} for keys %$ro_object_subs;
  36         return;
  37     }
  38
  39     # make all "field_safe" classes accesible by default in the template context
  40     my @classes = grep {
  41         ($Fieldmapper::fieldmap->{$_}->{field_safe} || '') =~ /true/i
  42     } keys %{ $Fieldmapper::fieldmap };
  43
  44     for my $class (@classes) {
  45
  46         my $hint = $Fieldmapper::fieldmap->{$class}->{hint};
  47         next if $hint eq 'aou'; # handled separately
  48
  49         my $ident_field =  $Fieldmapper::fieldmap->{$class}->{identity};
  50         (my $eclass = $class) =~ s/Fieldmapper:://o;
  51         $eclass =~ s/::/_/g;
  52
  53         my $list_key = "${hint}_list";
  54         my $get_key = "get_$hint";
  55         my $search_key = "search_$hint";
  56
  57         # Retrieve the full set of objects with class $hint
  58         $ro_object_subs->{$list_key} = sub {
  59             my $method = "retrieve_all_$eclass";
  60             $cache{list}{$ctx->{locale}}{$hint} = $e->$method() unless $cache{list}{$ctx->{locale}}{$hint};
  61             return $cache{list}{$ctx->{locale}}{$hint};
  62         };
  63
  64         # locate object of class $hint with Ident field $id
  65         $cache{map}{$hint} = {};
  66         $ro_object_subs->{$get_key} = sub {
  67             my $id = shift;
  68             return $cache{map}{$ctx->{locale}}{$hint}{$id} if $cache{map}{$ctx->{locale}}{$hint}{$id};
  69             ($cache{map}{$ctx->{locale}}{$hint}{$id}) = grep { $_->$ident_field eq $id } @{$ro_object_subs->{$list_key}->()};
  70             return $cache{map}{$ctx->{locale}}{$hint}{$id};
  71         };
  72
  73         # search for objects of class $hint where field=value
  74         $cache{search}{$hint} = {};
  75         $ro_object_subs->{$search_key} = sub {
  76             my ($field, $val, $filterfield, $filterval) = @_;
  77             my $method = "search_$eclass";
  78             my $cacheval = $val;
  79             if (ref $val) {
  80                 $val = [sort(@$val)] if ref $val eq 'ARRAY';
  81                 $cacheval = OpenSRF::Utils::JSON->perl2JSON($val);
  82                 #$self->apache->log->info("cacheval : $cacheval");
  83             }
  84             my $search_obj = {$field => $val};
  85             if($filterfield) {
  86                 $search_obj->{$filterfield} = $filterval;
  87                 $cacheval .= ':' . $filterfield . ':' . $filterval;
  88             }
  89             #$cache{search}{$ctx->{locale}}{$hint}{$field} = {} unless $cache{search}{$ctx->{locale}}{$hint}{$field};
  90             $cache{search}{$ctx->{locale}}{$hint}{$field}{$cacheval} = $e->$method($search_obj)
  91                 unless $cache{search}{$ctx->{locale}}{$hint}{$field}{$cacheval};
  92             return $cache{search}{$ctx->{locale}}{$hint}{$field}{$cacheval};
  93         };
  94     }
  95
  96     $ro_object_subs->{aou_tree} = sub {
  97
  98         # fetch the org unit tree
  99         unless($cache{aou_tree}{$ctx->{locale}}) {
 100             my $tree = $e->search_actor_org_unit([
 101                             {   parent_ou => undef},
 102                             {   flesh            => -1,
 103                                     flesh_fields    => {aou =>  ['children']},
 104                                     order_by        => {aou => 'name'}
 105                             }
 106                     ])->[0];
 107
 108             # flesh the org unit type for each org unit
 109             # and simultaneously set the id => aou map cache
 110             sub flesh_aout {
 111                 my $node = shift;
 112                 my $ro_object_subs = shift;
 113                 my $ctx = shift;
 114                 $node->ou_type( $ro_object_subs->{get_aout}->($node->ou_type) );
 115                 $cache{map}{$ctx->{locale}}{aou}{$node->id} = $node;
 116                 flesh_aout($_, $ro_object_subs, $ctx) foreach @{$node->children};
 117             };
 118             flesh_aout($tree, $ro_object_subs, $ctx);
 119
 120             $cache{aou_tree}{$ctx->{locale}} = $tree;
 121         }
 122
 123         return $cache{aou_tree}{$ctx->{locale}};
 124     };
 125
 126     # Add a special handler for the tree-shaped org unit cache
 127     $ro_object_subs->{get_aou} = sub {
 128         my $org_id = shift;
 129         return undef unless defined $org_id;
 130         $ro_object_subs->{aou_tree}->(); # force the org tree to load
 131         return $cache{map}{$ctx->{locale}}{aou}{$org_id};
 132     };
 133
 134     # Returns a flat list of aou objects.  often easier to manage than a tree.
 135     $ro_object_subs->{aou_list} = sub {
 136         $ro_object_subs->{aou_tree}->(); # force the org tree to load
 137         return [ values %{$cache{map}{$ctx->{locale}}{aou}} ];
 138     };
 139
 140     $ro_object_subs->{aouct_tree} = sub {
 141
 142         # fetch the org unit tree
 143         unless(exists $cache{aouct_tree}{$ctx->{locale}}) {
 144             $cache{aouct_tree}{$ctx->{locale}} = undef;
 145
 146             my $tree_id = $e->search_actor_org_unit_custom_tree(
 147                 {purpose => 'opac', active => 't'},
 148                 {idlist => 1}
 149             )->[0];
 150
 151             if ($tree_id) {
 152                 my $node_tree = $e->search_actor_org_unit_custom_tree_node([
 153                 {parent_node => undef, tree => $tree_id},
 154                 {   flesh        => -1,
 155                     flesh_fields => {aouctn => ['children', 'org_unit']},
 156                     order_by     => {aouctn => 'sibling_order'}
 157                 }
 158                 ])->[0];
 159
 160                 # tree-ify the org units.  note that since the orgs are fleshed
 161                 # upon retrieval, this org tree will not clobber ctx->{aou_tree}.
 162                 my @nodes = ($node_tree);
 163                 while (my $node = shift(@nodes)) {
 164                     my $aou = $node->org_unit;
 165                     $aou->children([]);
 166                     for my $cnode (@{$node->children}) {
 167                         my $child_org = $cnode->org_unit;
 168                         $child_org->parent_ou($aou->id);
 169                         $child_org->ou_type( $ro_object_subs->{get_aout}->($child_org->ou_type) );
 170                         push(@{$aou->children}, $child_org);
 171                         push(@nodes, $cnode);
 172                     }
 173                 }
 174
 175                 $cache{aouct_tree}{$ctx->{locale}} = $node_tree->org_unit;
 176             }
 177         }
 178
 179         return $cache{aouct_tree}{$ctx->{locale}};
 180     };
 181
 182     # turns an ISO date into something TT can understand
 183     $ro_object_subs->{parse_datetime} = sub {
 184         my $date = shift;
 185
 186         # Probably an accidental entry like '0212' instead of '2012',
 187         # but 1) the leading 0 may get stripped in cstore and
 188         # 2) DateTime::Format::ISO8601 returns an error as years
 189         # must be 2 or 4 digits
 190         if ($date =~ m/^\d{3}-/) {
 191             $logger->warn("Invalid date had a 3-digit year: $date");
 192             $date = '0' . $date;
 193         } elsif ($date =~ m/^\d{1}-/) {
 194             $logger->warn("Invalid date had a 1-digit year: $date");
 195             $date = '000' . $date;
 196         }
 197
 198         my $cleansed_date = cleanse_ISO8601($date);
 199
 200         $date = DateTime::Format::ISO8601->new->parse_datetime($cleansed_date);
 201         return sprintf(
 202             "%0.2d:%0.2d:%0.2d %0.2d-%0.2d-%0.4d",
 203             $date->hour,
 204             $date->minute,
 205             $date->second,
 206             $date->day,
 207             $date->month,
 208             $date->year
 209         );
 210     };
 211
 212     # retrieve and cache org unit setting values
 213     $ro_object_subs->{get_org_setting} = sub {
 214         my($org_id, $setting) = @_;
 215
 216         $cache{org_settings}{$ctx->{locale}}{$org_id}{$setting} =
 217             $U->ou_ancestor_setting_value($org_id, $setting)
 218                 unless exists $cache{org_settings}{$ctx->{locale}}{$org_id}{$setting};
 219
 220         return $cache{org_settings}{$ctx->{locale}}{$org_id}{$setting};
 221     };
 222
 223     $ctx->{$_} = $ro_object_subs->{$_} for keys %$ro_object_subs;
 224 }
 225
 226 sub generic_redirect {
 227     my $self = shift;
 228     my $url = shift;
 229     my $cookie = shift; # can be an array of cgi.cookie's
 230
 231     $self->apache->print(
 232         $self->cgi->redirect(
 233             -url => $url ||
 234                 $self->cgi->param('redirect_to') ||
 235                 $self->ctx->{referer} ||
 236                 $self->ctx->{home_page},
 237             -cookie => $cookie
 238         )
 239     );
 240
 241     return Apache2::Const::REDIRECT;
 242 }
 243
 244 sub get_records_and_facets {
 245     my ($self, $rec_ids, $facet_key, $unapi_args) = @_;
 246
 247     $unapi_args ||= {};
 248     $unapi_args->{site} ||= $self->ctx->{aou_tree}->()->shortname;
 249     $unapi_args->{depth} ||= $self->ctx->{aou_tree}->()->ou_type->depth;
 250     $unapi_args->{flesh_depth} ||= 5;
 251
 252     my @data;
 253     my $outer_self = $self;
 254     $self->timelog("get_records_and_facets(): about to call multisession");
 255     my $ses = OpenSRF::MultiSession->new(
 256         app => 'open-ils.cstore',
 257         cap => 10, # XXX config
 258         success_handler => sub {
 259             my($self, $req) = @_;
 260             my $data = $req->{response}->[0]->content;
 261
 262             $outer_self->timelog("get_records_and_facets(): got response content");
 263
 264             # Protect against requests for non-existent records
 265             return unless $data->{'unapi.bre'};
 266
 267             my $xml = XML::LibXML->new->parse_string($data->{'unapi.bre'})->documentElement;
 268
 269             $outer_self->timelog("get_records_and_facets(): parsed xml");
 270             # Protect against legacy invalid MARCXML that might not have a 901c
 271             my $bre_id;
 272             my $bre_id_nodes =  $xml->find('*[@tag="901"]/*[@code="c"]');
 273             if ($bre_id_nodes) {
 274                 $bre_id =  $bre_id_nodes->[0]->textContent;
 275             } else {
 276                 $logger->warn("Missing 901 subfield 'c' in " . $xml->toString());
 277             }
 278             push(@data, {id => $bre_id, marc_xml => $xml});
 279             $outer_self->timelog("get_records_and_facets(): end of success handler");
 280         }
 281     );
 282
 283     $self->timelog("get_records_and_facets(): about to call unapi.bre via json_query (rec_ids has " . scalar(@$rec_ids));
 284
 285     $ses->request(
 286         'open-ils.cstore.json_query',
 287          {from => [
 288             'unapi.bre', $_, 'marcxml','record',
 289             $unapi_args->{flesh},
 290             $unapi_args->{site},
 291             $unapi_args->{depth},
 292             'acn=>' . $unapi_args->{flesh_depth} . ',acp=>' . $unapi_args->{flesh_depth},
 293             undef, undef, $unapi_args->{pref_lib}
 294         ]}
 295     ) for @$rec_ids;
 296
 297
 298     $self->timelog("get_records_and_facets():almost ready to fetch facets");
 299     # collect the facet data
 300     my $search = OpenSRF::AppSession->create('open-ils.search');
 301     my $facet_req = $search->request(
 302         'open-ils.search.facet_cache.retrieve', $facet_key, 10
 303     ) if $facet_key;
 304
 305     # gather up the unapi recs
 306     $ses->session_wait(1);
 307     $self->timelog("get_records_and_facets():past session wait");
 308
 309     my $facets = {};
 310     if ($facet_key) {
 311         my $tmp_facets = $facet_req->gather(1);
 312         $self->timelog("get_records_and_facets(): gathered facet data");
 313         for my $cmf_id (keys %$tmp_facets) {
 314
 315             # sort highest to lowest match count
 316             my @entries;
 317             my $entries = $tmp_facets->{$cmf_id};
 318             for my $ent (keys %$entries) {
 319                 push(@entries, {value => $ent, count => $$entries{$ent}});
 320             };
 321             @entries = sort { $b->{count} <=> $a->{count} } @entries;
 322             $facets->{$cmf_id} = {
 323                 cmf => $self->ctx->{get_cmf}->($cmf_id),
 324                 data => \@entries
 325             }
 326         }
 327         $self->timelog("get_records_and_facets(): gathered/sorted facet data");
 328     } else {
 329         $facets = undef;
 330     }
 331
 332     $search->kill_me;
 333
 334     return ($facets, @data);
 335 }
 336
 337 # TODO: blend this code w/ ^-- get_records_and_facets
 338 sub fetch_marc_xml_by_id {
 339     my ($self, $id_list) = @_;
 340     $id_list = [$id_list] unless ref($id_list);
 341
 342     {
 343         no warnings qw/numeric/;
 344         $id_list = [map { int $_ } @$id_list];
 345         $id_list = [grep { $_ > 0} @$id_list];
 346     };
 347
 348     return {} if scalar(@$id_list) < 1;
 349
 350     # I'm just sure there needs to be some more efficient way to get all of
 351     # this.
 352     my $results = $self->editor->json_query({
 353         "select" => {"bre" => ["id", "marc"]},
 354         "from" => {"bre" => {}},
 355         "where" => {"id" => $id_list}
 356     }, {substream => 1}) or return $self->editor->die_event;
 357
 358     my $marc_xml = {};
 359     for my $r (@$results) {
 360         $marc_xml->{$r->{"id"}} =
 361             (new XML::LibXML)->parse_string($r->{"marc"});
 362     }
 363
 364     return $marc_xml;
 365 }
 366
 367 sub _get_search_lib {
 368     my $self = shift;
 369     my $ctx = $self->ctx;
 370
 371     # avoid duplicate lookups
 372     return $ctx->{search_ou} if $ctx->{search_ou};
 373
 374     my $loc = $ctx->{copy_location_group_org};
 375     return $loc if $loc;
 376
 377     # loc param takes precedence
 378     $loc = $self->cgi->param('loc');
 379     return $loc if $loc;
 380
 381     if ($self->apache->headers_in->get('OILS-Search-Lib')) {
 382         return $self->apache->headers_in->get('OILS-Search-Lib');
 383     }
 384
 385     my $pref_lib = $self->_get_pref_lib();
 386     return $pref_lib if $pref_lib;
 387
 388     return $ctx->{aou_tree}->()->id;
 389 }
 390
 391 sub _get_pref_lib {
 392     my $self = shift;
 393     my $ctx = $self->ctx;
 394
 395     # plib param takes precedence
 396     my $plib = $self->cgi->param('plib');
 397     return $plib if $plib;
 398
 399     if ($self->apache->headers_in->get('OILS-Pref-Lib')) {
 400         return $self->apache->headers_in->get('OILS-Pref-Lib');
 401     }
 402
 403     if ($ctx->{user}) {
 404         # See if the user has a search library preference
 405         my $lset = $self->editor->search_actor_user_setting({
 406             usr => $ctx->{user}->id,
 407             name => 'opac.default_search_location'
 408         })->[0];
 409         return OpenSRF::Utils::JSON->JSON2perl($lset->value) if $lset;
 410
 411         # Otherwise return the user's home library
 412         return $ctx->{user}->home_ou;
 413     }
 414
 415     if ($ctx->{physical_loc}) {
 416         return $ctx->{physical_loc};
 417     }
 418
 419 }
 420
 421 # This is defensively coded since we don't do much manual reading from the
 422 # file system in this module.
 423 sub load_eg_cache_hash {
 424     my ($self) = @_;
 425
 426     # just a context helper
 427     $self->ctx->{eg_cache_hash} = sub { return $cache{eg_cache_hash}; };
 428
 429     # Need to actually load the value? If already done, move on.
 430     return if defined $cache{eg_cache_hash};
 431
 432     # In this way even if we fail, we won't slow things down by ever trying
 433     # again within this Apache process' lifetime.
 434     $cache{eg_cache_hash} = 0;
 435
 436     my $path = File::Spec->catfile(
 437         $self->apache->document_root, "eg_cache_hash"
 438     );
 439
 440     if (not open FH, "<$path") {
 441         $self->apache->log->warn("error opening $path : $!");
 442         return;
 443     } else {
 444         my $buf;
 445         my $rv = read FH, $buf, 64;  # defensive
 446         close FH;
 447
 448         if (not defined $rv) {  # error
 449             $self->apache->log->warn("error reading $path : $!");
 450         } elsif ($rv > 0) {     # no error, something read
 451             chomp $buf;
 452             $cache{eg_cache_hash} = $buf;
 453         }
 454     }
 455 }
 456
 457 # Extracts the copy location org unit and group from the
 458 # "logc" param, which takes the form org_id:grp_id.
 459 sub extract_copy_location_group_info {
 460     my $self = shift;
 461     my $ctx = $self->ctx;
 462     if (my $clump = $self->cgi->param('locg')) {
 463         my ($org, $grp) = split(/:/, $clump);
 464         $ctx->{copy_location_group_org} = $org;
 465         $ctx->{copy_location_group} = $grp if $grp;
 466     }
 467 }
 468
 469 sub load_copy_location_groups {
 470     my $self = shift;
 471     my $ctx = $self->ctx;
 472
 473     # User can access to the search location groups at the current
 474     # search lib, the physical location lib, and the patron's home ou.
 475     my @ctx_orgs = $ctx->{search_ou};
 476     push(@ctx_orgs, $ctx->{physical_loc}) if $ctx->{physical_loc};
 477     push(@ctx_orgs, $ctx->{user}->home_ou) if $ctx->{user};
 478
 479     my $grps = $self->editor->search_asset_copy_location_group([
 480         {
 481             opac_visible => 't',
 482             owner => {
 483                 in => {
 484                     select => {aou => [{
 485                         column => 'id',
 486                         transform => 'actor.org_unit_full_path',
 487                         result_field => 'id',
 488                     }]},
 489                     from => 'aou',
 490                     where => {id => \@ctx_orgs}
 491                 }
 492             }
 493         },
 494         {order_by => {acplg => 'pos'}}
 495     ]);
 496
 497     my %buckets;
 498     push(@{$buckets{$_->owner}}, $_) for @$grps;
 499     $ctx->{copy_location_groups} = \%buckets;
 500 }
 501
 502 sub set_file_download_headers {
 503     my $self = shift;
 504     my $filename = shift;
 505     my $ctype = shift || "text/plain; encoding=utf8";
 506
 507     $self->apache->content_type($ctype);
 508
 509     $self->apache->headers_out->add(
 510         "Content-Disposition",
 511         "attachment;filename=$filename"
 512     );
 513
 514     return Apache2::Const::OK;
 515 }
 516
 517 sub apache_log_if_event {
 518     my ($self, $event, $prefix_text, $success_ok, $level) = @_;
 519
 520     $prefix_text ||= "Evergreen returned event";
 521     $success_ok ||= 0;
 522     $level ||= "warn";
 523
 524     chomp $prefix_text;
 525     $prefix_text .= ": ";
 526
 527     my $code = $U->event_code($event);
 528     if (defined $code and ($code or not $success_ok)) {
 529         $self->apache->log->$level(
 530             $prefix_text .
 531             ($event->{textcode} || "") . " ($code)" .
 532             ($event->{note} ? (": " . $event->{note}) : "")
 533         );
 534         return 1;
 535     }
 536
 537     return;
 538 }
 539
 540 sub load_search_filter_groups {
 541     my $self = shift;
 542     my $ctx_org = shift;
 543     my $org_list = $U->get_org_ancestors($ctx_org, 1);
 544
 545     my %seen;
 546     for my $org_id (@$org_list) {
 547
 548         my $grps;
 549         if (! ($grps = $cache{search_filter_groups}{$org_id}) ) {
 550             $grps = $self->editor->search_actor_search_filter_group([
 551                 {owner => $org_id},
 552                 {   flesh => 2,
 553                     flesh_fields => {
 554                         asfg => ['entries'],
 555                         asfge => ['query']
 556                     }
 557                 }
 558             ]);
 559             $cache{search_filter_groups}{$org_id} = $grps;
 560         }
 561
 562         # for the current context, if a descendant org has a group
 563         # with a matching code replace the group from the parent.
 564         $seen{$_->code} = $_ for @$grps;
 565     }
 566
 567     return $self->ctx->{search_filter_groups} = \%seen;
 568 }
 569
 570
 571 sub check_for_temp_list_warning {
 572     my $self = shift;
 573     my $ctx = $self->ctx;
 574     my $cgi = $self->cgi;
 575
 576     my $lib = $self->_get_search_lib;
 577     my $warn = ($ctx->{get_org_setting}->($lib || 1, 'opac.patron.temporary_list_warn')) ? 1 : 0;
 578
 579     if ($warn && $ctx->{user}) {
 580         $self->_load_user_with_prefs;
 581         my $map = $ctx->{user_setting_map};
 582         $warn = 0 if ($$map{'opac.temporary_list_no_warn'});
 583     }
 584
 585     # Check for a cookie disabling the warning.
 586     $warn = 0 if ($warn && $cgi->cookie('no_temp_list_warn'));
 587
 588     return $warn;
 589 }
 590
 591 1;