Open-ILS/src/perlmods/OpenILS/Application/Storage/Publisher/metabib.pm

   1 package OpenILS::Application::Storage::Publisher::metabib;
   2 use base qw/OpenILS::Application::Storage::Publisher/;
   3 use vars qw/$VERSION/;
   4 use OpenSRF::EX qw/:try/;
   5 use OpenILS::Application::Storage::FTS;
   6 use OpenILS::Utils::Fieldmapper;
   7 use OpenSRF::Utils::Logger qw/:level/;
   8 use OpenSRF::Utils::Cache;
   9 use Data::Dumper;
  10 use Digest::MD5 qw/md5_hex/;
  11
  12
  13 my $log = 'OpenSRF::Utils::Logger';
  14
  15 $VERSION = 1;
  16
  17 sub ordered_records_from_metarecord {
  18         my $self = shift;
  19         my $client = shift;
  20         my $mr = shift;
  21         my $formats = shift;
  22         my $org = shift || 1;
  23         my $depth = shift;
  24
  25         my (@types,@forms);
  26
  27         if ($formats) {
  28                 my ($t, $f) = split '-', $formats;
  29                 @types = split '', $t;
  30                 @forms = split '', $f;
  31         }
  32
  33         my $descendants =
  34                 defined($depth) ?
  35                         "actor.org_unit_descendants($org, $depth)" :
  36                         "actor.org_unit_descendants($org)" ;
  37
  38
  39         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
  40         $copies_visible = '' if ($self->api_name =~ /staff/o);
  41
  42         my $sm_table = metabib::metarecord_source_map->table;
  43         my $rd_table = metabib::record_descriptor->table;
  44         my $fr_table = metabib::full_rec->table;
  45         my $cn_table = asset::call_number->table;
  46         my $cl_table = asset::copy_location->table;
  47         my $cp_table = asset::copy->table;
  48         my $cs_table = config::copy_status->table;
  49         my $src_table = config::bib_source->table;
  50         my $out_table = actor::org_unit_type->table;
  51         my $br_table = biblio::record_entry->table;
  52
  53         my $sql = <<"   SQL";
  54                 SELECT  record,
  55                         item_type,
  56                         item_form,
  57                         quality,
  58                         FIRST(COALESCE(LTRIM(SUBSTR( value, COALESCE(SUBSTRING(ind2 FROM '\\\\d+'),'0')::INT )),'zzzzzzzz')) AS title
  59                 FROM    (
  60                         SELECT  rd.record,
  61                                 rd.item_type,
  62                                 rd.item_form,
  63                                 br.quality,
  64                                 fr.tag,
  65                                 fr.subfield,
  66                                 fr.value,
  67                                 fr.ind2
  68         SQL
  69
  70         if ($copies_visible) {
  71                 $sql .= <<"             SQL";
  72                           FROM  $sm_table sm,
  73                                 $br_table br,
  74                                 $fr_table fr,
  75                                 $rd_table rd
  76                           WHERE rd.record = sm.source
  77                                 AND fr.record = sm.source
  78                                 AND br.id = sm.source
  79                                 AND sm.metarecord = ?
  80                                 AND (EXISTS ((SELECT    1
  81                                                 FROM    $cp_table cp
  82                                                         JOIN $cn_table cn ON (cp.call_number = cn.id)
  83                                                         JOIN $cs_table cs ON (cp.status = cs.id)
  84                                                         JOIN $cl_table cl ON (cp.location = cl.id)
  85                                                         JOIN $descendants d ON (cp.circ_lib = d.id)
  86                                                 WHERE   cn.record = sm.source
  87                                                         $copies_visible
  88                                                 LIMIT 1))
  89                                         OR EXISTS ((
  90                                             SELECT      1
  91                                               FROM      $src_table src
  92                                               WHERE     src.id = br.source
  93                                                         AND src.transcendant IS TRUE))
  94                                 )
  95
  96                 SQL
  97         } else {
  98                 $sql .= <<"             SQL";
  99                           FROM  $sm_table sm
 100                                 JOIN $br_table br ON (sm.source = br.id)
 101                                 JOIN $fr_table fr ON (fr.record = br.id)
 102                                 JOIN $rd_table rd ON (rd.record = br.id)
 103                           WHERE sm.metarecord = ?
 104                                 AND ((  EXISTS (
 105                                                 SELECT  1
 106                                                   FROM  $cp_table cp,
 107                                                         $cn_table cn,
 108                                                         $descendants d
 109                                                   WHERE cn.record = br.id
 110                                                         AND cn.deleted = FALSE
 111                                                         AND cp.deleted = FALSE
 112                                                         AND cp.circ_lib = d.id
 113                                                         AND cn.id = cp.call_number
 114                                                   LIMIT 1
 115                                         ) OR NOT EXISTS (
 116                                                 SELECT  1
 117                                                   FROM  $cp_table cp,
 118                                                         $cn_table cn
 119                                                   WHERE cn.record = br.id
 120                                                         AND cn.deleted = FALSE
 121                                                         AND cp.deleted = FALSE
 122                                                         AND cn.id = cp.call_number
 123                                                   LIMIT 1
 124                                         ))
 125                                         OR EXISTS ((
 126                                             SELECT      1
 127                                               FROM      $src_table src
 128                                               WHERE     src.id = br.source
 129                                                         AND src.transcendant IS TRUE))
 130                                 )
 131                 SQL
 132         }
 133
 134         if (@types) {
 135                 $sql .= '                               AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 136         }
 137
 138         if (@forms) {
 139                 $sql .= '                               AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 140         }
 141
 142
 143
 144         $sql .= <<"     SQL";
 145                           OFFSET 0
 146                         ) AS x
 147           WHERE tag = '245'
 148                 AND subfield = 'a'
 149           GROUP BY record, item_type, item_form, quality
 150           ORDER BY
 151                 CASE
 152                         WHEN item_type IS NULL -- default
 153                                 THEN 0
 154                         WHEN item_type = '' -- default
 155                                 THEN 0
 156                         WHEN item_type IN ('a','t') -- books
 157                                 THEN 1
 158                         WHEN item_type = 'g' -- movies
 159                                 THEN 2
 160                         WHEN item_type IN ('i','j') -- sound recordings
 161                                 THEN 3
 162                         WHEN item_type = 'm' -- software
 163                                 THEN 4
 164                         WHEN item_type = 'k' -- images
 165                                 THEN 5
 166                         WHEN item_type IN ('e','f') -- maps
 167                                 THEN 6
 168                         WHEN item_type IN ('o','p') -- mixed
 169                                 THEN 7
 170                         WHEN item_type IN ('c','d') -- music
 171                                 THEN 8
 172                         WHEN item_type = 'r' -- 3d
 173                                 THEN 9
 174                 END,
 175                 title ASC,
 176                 quality DESC
 177         SQL
 178
 179         my $ids = metabib::metarecord_source_map->db_Main->selectcol_arrayref($sql, {}, "$mr", @types, @forms);
 180         return $ids if ($self->api_name =~ /atomic$/o);
 181
 182         $client->respond( $_ ) for ( @$ids );
 183         return undef;
 184
 185 }
 186 __PACKAGE__->register_method(
 187         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records',
 188         method          => 'ordered_records_from_metarecord',
 189         api_level       => 1,
 190         cachable        => 1,
 191 );
 192 __PACKAGE__->register_method(
 193         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records.staff',
 194         method          => 'ordered_records_from_metarecord',
 195         api_level       => 1,
 196         cachable        => 1,
 197 );
 198
 199 __PACKAGE__->register_method(
 200         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records.atomic',
 201         method          => 'ordered_records_from_metarecord',
 202         api_level       => 1,
 203         cachable        => 1,
 204 );
 205 __PACKAGE__->register_method(
 206         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records.staff.atomic',
 207         method          => 'ordered_records_from_metarecord',
 208         api_level       => 1,
 209         cachable        => 1,
 210 );
 211
 212 sub isxn_search {
 213         my $self = shift;
 214         my $client = shift;
 215         my $isxn = shift;
 216
 217         my $tag = ($self->api_name =~ /isbn/o) ? '020' : '022';
 218
 219         my $fr_table = metabib::full_rec->table;
 220
 221         my $sql = <<"   SQL";
 222                 SELECT  record
 223                   FROM  $fr_table
 224                   WHERE tag = ?
 225                         AND value LIKE ?
 226         SQL
 227
 228         my $list = metabib::metarecord_source_map->db_Main->selectcol_arrayref($sql, {}, $tag, "$isxn%");
 229         $client->respond($_) for (@$list);
 230         return undef;
 231 }
 232 __PACKAGE__->register_method(
 233         api_name        => 'open-ils.storage.id_list.biblio.record_entry.search.isbn',
 234         method          => 'isxn_search',
 235         api_level       => 1,
 236         stream          => 1,
 237 );
 238 __PACKAGE__->register_method(
 239         api_name        => 'open-ils.storage.id_list.biblio.record_entry.search.issn',
 240         method          => 'isxn_search',
 241         api_level       => 1,
 242         stream          => 1,
 243 );
 244
 245 sub metarecord_copy_count {
 246         my $self = shift;
 247         my $client = shift;
 248
 249         my %args = @_;
 250
 251         my $sm_table = metabib::metarecord_source_map->table;
 252         my $rd_table = metabib::record_descriptor->table;
 253         my $cn_table = asset::call_number->table;
 254         my $cp_table = asset::copy->table;
 255         my $br_table = biblio::record_entry->table;
 256         my $src_table = config::bib_source->table;
 257         my $cl_table = asset::copy_location->table;
 258         my $cs_table = config::copy_status->table;
 259         my $out_table = actor::org_unit_type->table;
 260         my $descendants = "actor.org_unit_descendants(u.id)";
 261         my $ancestors = "actor.org_unit_ancestors(?)";
 262
 263         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 264         $copies_visible = '' if ($self->api_name =~ /staff/o);
 265
 266         my (@types,@forms);
 267         my ($t_filter, $f_filter) = ('','');
 268
 269         if ($args{format}) {
 270                 my ($t, $f) = split '-', $args{format};
 271                 @types = split '', $t;
 272                 @forms = split '', $f;
 273                 if (@types) {
 274                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 275                 }
 276
 277                 if (@forms) {
 278                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 279                 }
 280         }
 281
 282         my $sql = <<"   SQL";
 283                 SELECT  t.depth,
 284                         u.id AS org_unit,
 285                         sum(
 286                                 (SELECT count(cp.id)
 287                                   FROM  $sm_table r
 288                                         JOIN $cn_table cn ON (cn.record = r.source)
 289                                         JOIN $rd_table rd ON (cn.record = rd.record)
 290                                         JOIN $cp_table cp ON (cn.id = cp.call_number)
 291                                         JOIN $cs_table cs ON (cp.status = cs.id)
 292                                         JOIN $cl_table cl ON (cp.location = cl.id)
 293                                         JOIN $descendants a ON (cp.circ_lib = a.id)
 294                                   WHERE r.metarecord = ?
 295                                         AND cn.deleted IS FALSE
 296                                         AND cp.deleted IS FALSE
 297                                         $copies_visible
 298                                         $t_filter
 299                                         $f_filter
 300                                 )
 301                         ) AS count,
 302                         sum(
 303                                 (SELECT count(cp.id)
 304                                   FROM  $sm_table r
 305                                         JOIN $cn_table cn ON (cn.record = r.source)
 306                                         JOIN $rd_table rd ON (cn.record = rd.record)
 307                                         JOIN $cp_table cp ON (cn.id = cp.call_number)
 308                                         JOIN $cs_table cs ON (cp.status = cs.id)
 309                                         JOIN $cl_table cl ON (cp.location = cl.id)
 310                                         JOIN $descendants a ON (cp.circ_lib = a.id)
 311                                   WHERE r.metarecord = ?
 312                                         AND cp.status = 0
 313                                         AND cn.deleted IS FALSE
 314                                         AND cp.deleted IS FALSE
 315                                         $copies_visible
 316                                         $t_filter
 317                                         $f_filter
 318                                 )
 319                         ) AS available,
 320                         sum(
 321                                 (SELECT count(cp.id)
 322                                   FROM  $sm_table r
 323                                         JOIN $cn_table cn ON (cn.record = r.source)
 324                                         JOIN $rd_table rd ON (cn.record = rd.record)
 325                                         JOIN $cp_table cp ON (cn.id = cp.call_number)
 326                                         JOIN $cs_table cs ON (cp.status = cs.id)
 327                                         JOIN $cl_table cl ON (cp.location = cl.id)
 328                                   WHERE r.metarecord = ?
 329                                         AND cn.deleted IS FALSE
 330                                         AND cp.deleted IS FALSE
 331                                         AND cp.opac_visible IS TRUE
 332                                         AND cs.holdable IS TRUE
 333                                         AND cl.opac_visible IS TRUE
 334                                         $t_filter
 335                                         $f_filter
 336                                 )
 337                                 +
 338                                 (SELECT sum(1)
 339                                   FROM  $sm_table r
 340                                         JOIN $br_table br ON (br.id = r.source)
 341                                         LEFT JOIN $src_table src ON (src.id = br.source)
 342                                   WHERE r.metarecord = ?
 343                                         AND src.transcendant IS TRUE
 344                                 )
 345                         ) AS unshadow
 346
 347                   FROM  $ancestors u
 348                         JOIN $out_table t ON (u.ou_type = t.id)
 349                   GROUP BY 1,2
 350         SQL
 351
 352         my $sth = metabib::metarecord_source_map->db_Main->prepare_cached($sql);
 353         $sth->execute(  ''.$args{metarecord},
 354                         @types,
 355                         @forms,
 356                         ''.$args{metarecord},
 357                         @types,
 358                         @forms,
 359                         ''.$args{metarecord},
 360                         @types,
 361                         @forms,
 362                         ''.$args{metarecord},
 363                         ''.$args{org_unit},
 364         );
 365
 366         while ( my $row = $sth->fetchrow_hashref ) {
 367                 $client->respond( $row );
 368         }
 369         return undef;
 370 }
 371 __PACKAGE__->register_method(
 372         api_name        => 'open-ils.storage.metabib.metarecord.copy_count',
 373         method          => 'metarecord_copy_count',
 374         api_level       => 1,
 375         stream          => 1,
 376         cachable        => 1,
 377 );
 378 __PACKAGE__->register_method(
 379         api_name        => 'open-ils.storage.metabib.metarecord.copy_count.staff',
 380         method          => 'metarecord_copy_count',
 381         api_level       => 1,
 382         stream          => 1,
 383         cachable        => 1,
 384 );
 385
 386 sub biblio_multi_search_full_rec {
 387         my $self = shift;
 388         my $client = shift;
 389
 390         my %args = @_;
 391         my $class_join = $args{class_join} || 'AND';
 392         my $limit = $args{limit} || 100;
 393         my $offset = $args{offset} || 0;
 394         my $sort = $args{'sort'};
 395         my $sort_dir = $args{sort_dir} || 'DESC';
 396
 397         my @binds;
 398         my @selects;
 399
 400         for my $arg (@{ $args{searches} }) {
 401                 my $term = $$arg{term};
 402                 my $limiters = $$arg{restrict};
 403
 404                 my ($index_col) = metabib::full_rec->columns('FTS');
 405                 $index_col ||= 'value';
 406                 my $search_table = metabib::full_rec->table;
 407
 408                 my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
 409
 410                 my $fts_where = $fts->sql_where_clause();
 411                 my @fts_ranks = $fts->fts_rank;
 412
 413                 my $rank = join(' + ', @fts_ranks);
 414
 415                 my @wheres;
 416                 for my $limit (@$limiters) {
 417                         push @wheres, "( tag = ? AND subfield LIKE ? AND $fts_where )";
 418                         push @binds, $$limit{tag}, $$limit{subfield};
 419                         $log->debug("Limiting query using { tag => $$limit{tag}, subfield => $$limit{subfield} }", DEBUG);
 420                 }
 421                 my $where = join(' OR ', @wheres);
 422
 423                 push @selects, "SELECT id, record, $rank as sum FROM $search_table WHERE $where";
 424
 425         }
 426
 427         my $descendants = defined($args{depth}) ?
 428                                 "actor.org_unit_descendants($args{org_unit}, $args{depth})" :
 429                                 "actor.org_unit_descendants($args{org_unit})" ;
 430
 431
 432         my $metabib_record_descriptor = metabib::record_descriptor->table;
 433         my $metabib_full_rec = metabib::full_rec->table;
 434         my $asset_call_number_table = asset::call_number->table;
 435         my $asset_copy_table = asset::copy->table;
 436         my $cs_table = config::copy_status->table;
 437         my $cl_table = asset::copy_location->table;
 438         my $br_table = biblio::record_entry->table;
 439
 440         my $cj = 'HAVING COUNT(x.id) = ' . scalar(@selects) if ($class_join eq 'AND');
 441         my $search_table =
 442                 '(SELECT x.record, sum(x.sum) FROM (('.
 443                         join(') UNION ALL (', @selects).
 444                         ")) x GROUP BY 1 $cj ORDER BY 2 DESC )";
 445
 446         my $has_vols = 'AND cn.owning_lib = d.id';
 447         my $has_copies = 'AND cp.call_number = cn.id';
 448         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 449
 450         if ($self->api_name =~ /staff/o) {
 451                 $copies_visible = '';
 452                 $has_copies = '' if ($ou_type == 0);
 453                 $has_vols = '' if ($ou_type == 0);
 454         }
 455
 456         my ($t_filter, $f_filter) = ('','');
 457         my ($a_filter, $l_filter, $lf_filter) = ('','','');
 458
 459         if (my $a = $args{audience}) {
 460                 $a = [$a] if (!ref($a));
 461                 my @aud = @$a;
 462
 463                 $a_filter = ' AND rd.audience IN ('.join(',',map{'?'}@aud).')';
 464                 push @binds, @aud;
 465         }
 466
 467         if (my $l = $args{language}) {
 468                 $l = [$l] if (!ref($l));
 469                 my @lang = @$l;
 470
 471                 $l_filter = ' AND rd.item_lang IN ('.join(',',map{'?'}@lang).')';
 472                 push @binds, @lang;
 473         }
 474
 475         if (my $f = $args{lit_form}) {
 476                 $f = [$f] if (!ref($f));
 477                 my @lit_form = @$f;
 478
 479                 $lf_filter = ' AND rd.lit_form IN ('.join(',',map{'?'}@lit_form).')';
 480                 push @binds, @lit_form;
 481         }
 482
 483         if (my $f = $args{item_form}) {
 484                 $f = [$f] if (!ref($f));
 485                 my @forms = @$f;
 486
 487                 $f_filter = ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 488                 push @binds, @forms;
 489         }
 490
 491         if (my $t = $args{item_type}) {
 492                 $t = [$t] if (!ref($t));
 493                 my @types = @$t;
 494
 495                 $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 496                 push @binds, @types;
 497         }
 498
 499
 500         if ($args{format}) {
 501                 my ($t, $f) = split '-', $args{format};
 502                 my @types = split '', $t;
 503                 my @forms = split '', $f;
 504                 if (@types) {
 505                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 506                 }
 507
 508                 if (@forms) {
 509                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 510                 }
 511                 push @binds, @types, @forms;
 512         }
 513
 514         my $relevance = 'sum(f.sum)';
 515         $relevance = 1 if (!$copies_visible);
 516
 517         my $rank = $relevance;
 518         if (lc($sort) eq 'pubdate') {
 519                 $rank = <<"             RANK";
 520                         ( FIRST ((
 521                                 SELECT  COALESCE(SUBSTRING(frp.value FROM '\\\\d+'),'9999')::INT
 522                                   FROM  $metabib_full_rec frp
 523                                   WHERE frp.record = f.record
 524                                         AND frp.tag = '260'
 525                                         AND frp.subfield = 'c'
 526                                   LIMIT 1
 527                         )) )
 528                 RANK
 529         } elsif (lc($sort) eq 'create_date') {
 530                 $rank = <<"             RANK";
 531                         ( FIRST (( SELECT create_date FROM $br_table rbr WHERE rbr.id = f.record)) )
 532                 RANK
 533         } elsif (lc($sort) eq 'edit_date') {
 534                 $rank = <<"             RANK";
 535                         ( FIRST (( SELECT edit_date FROM $br_table rbr WHERE rbr.id = f.record)) )
 536                 RANK
 537         } elsif (lc($sort) eq 'title') {
 538                 $rank = <<"             RANK";
 539                         ( FIRST ((
 540                                 SELECT  COALESCE(LTRIM(SUBSTR( frt.value, COALESCE(SUBSTRING(frt.ind2 FROM '\\\\d+'),'0')::INT )),'zzzzzzzz')
 541                                   FROM  $metabib_full_rec frt
 542                                   WHERE frt.record = f.record
 543                                         AND frt.tag = '245'
 544                                         AND frt.subfield = 'a'
 545                                   LIMIT 1
 546                         )) )
 547                 RANK
 548         } elsif (lc($sort) eq 'author') {
 549                 $rank = <<"             RANK";
 550                         ( FIRST((
 551                                 SELECT  COALESCE(LTRIM(fra.value),'zzzzzzzz')
 552                                   FROM  $metabib_full_rec fra
 553                                   WHERE fra.record = f.record
 554                                         AND fra.tag LIKE '1%'
 555                                         AND fra.subfield = 'a'
 556                                   ORDER BY fra.tag::text::int
 557                                   LIMIT 1
 558                         )) )
 559                 RANK
 560         } else {
 561                 $sort = undef;
 562         }
 563
 564
 565         if ($copies_visible) {
 566                 $select = <<"           SQL";
 567                         SELECT  f.record, $relevance, count(DISTINCT cp.id), $rank
 568                         FROM    $search_table f,
 569                                 $asset_call_number_table cn,
 570                                 $asset_copy_table cp,
 571                                 $cs_table cs,
 572                                 $cl_table cl,
 573                                 $br_table br,
 574                                 $metabib_record_descriptor rd,
 575                                 $descendants d
 576                         WHERE   br.id = f.record
 577                                 AND cn.record = f.record
 578                                 AND rd.record = f.record
 579                                 AND cp.status = cs.id
 580                                 AND cp.location = cl.id
 581                                 AND br.deleted IS FALSE
 582                                 AND cn.deleted IS FALSE
 583                                 AND cp.deleted IS FALSE
 584                                 $has_vols
 585                                 $has_copies
 586                                 $copies_visible
 587                                 $t_filter
 588                                 $f_filter
 589                                 $a_filter
 590                                 $l_filter
 591                                 $lf_filter
 592                         GROUP BY f.record HAVING count(DISTINCT cp.id) > 0
 593                         ORDER BY 4 $sort_dir,3 DESC
 594                 SQL
 595         } else {
 596                 $select = <<"           SQL";
 597                         SELECT  f.record, 1, 1, $rank
 598                         FROM    $search_table f,
 599                                 $br_table br,
 600                                 $metabib_record_descriptor rd
 601                         WHERE   br.id = f.record
 602                                 AND rd.record = f.record
 603                                 AND br.deleted IS FALSE
 604                                 $t_filter
 605                                 $f_filter
 606                                 $a_filter
 607                                 $l_filter
 608                                 $lf_filter
 609                         GROUP BY 1,2,3
 610                         ORDER BY 4 $sort_dir
 611                 SQL
 612         }
 613
 614
 615         $log->debug("Search SQL :: [$select]",DEBUG);
 616
 617         my $recs = metabib::full_rec->db_Main->selectall_arrayref("$select;", {}, @binds);
 618         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
 619
 620         my $max = 0;
 621         $max = 1 if (!@$recs);
 622         for (@$recs) {
 623                 $max = $$_[1] if ($$_[1] > $max);
 624         }
 625
 626         my $count = @$recs;
 627         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
 628                 next unless ($$rec[0]);
 629                 my ($rid,$rank,$junk,$skip) = @$rec;
 630                 $client->respond( [$rid, sprintf('%0.3f',$rank/$max), $count] );
 631         }
 632         return undef;
 633 }
 634 __PACKAGE__->register_method(
 635         api_name        => 'open-ils.storage.biblio.full_rec.multi_search',
 636         method          => 'biblio_multi_search_full_rec',
 637         api_level       => 1,
 638         stream          => 1,
 639         cachable        => 1,
 640 );
 641 __PACKAGE__->register_method(
 642         api_name        => 'open-ils.storage.biblio.full_rec.multi_search.staff',
 643         method          => 'biblio_multi_search_full_rec',
 644         api_level       => 1,
 645         stream          => 1,
 646         cachable        => 1,
 647 );
 648
 649 sub search_full_rec {
 650         my $self = shift;
 651         my $client = shift;
 652
 653         my %args = @_;
 654
 655         my $term = $args{term};
 656         my $limiters = $args{restrict};
 657
 658         my ($index_col) = metabib::full_rec->columns('FTS');
 659         $index_col ||= 'value';
 660         my $search_table = metabib::full_rec->table;
 661
 662         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
 663
 664         my $fts_where = $fts->sql_where_clause();
 665         my @fts_ranks = $fts->fts_rank;
 666
 667         my $rank = join(' + ', @fts_ranks);
 668
 669         my @binds;
 670         my @wheres;
 671         for my $limit (@$limiters) {
 672                 push @wheres, "( tag = ? AND subfield LIKE ? AND $fts_where )";
 673                 push @binds, $$limit{tag}, $$limit{subfield};
 674                 $log->debug("Limiting query using { tag => $$limit{tag}, subfield => $$limit{subfield} }", DEBUG);
 675         }
 676         my $where = join(' OR ', @wheres);
 677
 678         my $select = "SELECT record, sum($rank) FROM $search_table WHERE $where GROUP BY 1 ORDER BY 2 DESC;";
 679
 680         $log->debug("Search SQL :: [$select]",DEBUG);
 681
 682         my $recs = metabib::full_rec->db_Main->selectall_arrayref($select, {}, @binds);
 683         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
 684
 685         $client->respond($_) for (@$recs);
 686         return undef;
 687 }
 688 __PACKAGE__->register_method(
 689         api_name        => 'open-ils.storage.direct.metabib.full_rec.search_fts.value',
 690         method          => 'search_full_rec',
 691         api_level       => 1,
 692         stream          => 1,
 693         cachable        => 1,
 694 );
 695 __PACKAGE__->register_method(
 696         api_name        => 'open-ils.storage.direct.metabib.full_rec.search_fts.index_vector',
 697         method          => 'search_full_rec',
 698         api_level       => 1,
 699         stream          => 1,
 700         cachable        => 1,
 701 );
 702
 703
 704 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
 705 sub search_class_fts {
 706         my $self = shift;
 707         my $client = shift;
 708         my %args = @_;
 709
 710         my $term = $args{term};
 711         my $ou = $args{org_unit};
 712         my $ou_type = $args{depth};
 713         my $limit = $args{limit};
 714         my $offset = $args{offset};
 715
 716         my $limit_clause = '';
 717         my $offset_clause = '';
 718
 719         $limit_clause = "LIMIT $limit" if (defined $limit and int($limit) > 0);
 720         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
 721
 722         my (@types,@forms);
 723         my ($t_filter, $f_filter) = ('','');
 724
 725         if ($args{format}) {
 726                 my ($t, $f) = split '-', $args{format};
 727                 @types = split '', $t;
 728                 @forms = split '', $f;
 729                 if (@types) {
 730                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 731                 }
 732
 733                 if (@forms) {
 734                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 735                 }
 736         }
 737
 738
 739
 740         my $descendants = defined($ou_type) ?
 741                                 "actor.org_unit_descendants($ou, $ou_type)" :
 742                                 "actor.org_unit_descendants($ou)";
 743
 744         my $class = $self->{cdbi};
 745         my $search_table = $class->table;
 746
 747         my $metabib_record_descriptor = metabib::record_descriptor->table;
 748         my $metabib_metarecord = metabib::metarecord->table;
 749         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
 750         my $asset_call_number_table = asset::call_number->table;
 751         my $asset_copy_table = asset::copy->table;
 752         my $cs_table = config::copy_status->table;
 753         my $cl_table = asset::copy_location->table;
 754
 755         my ($index_col) = $class->columns('FTS');
 756         $index_col ||= 'value';
 757
 758         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'f.value', "f.$index_col");
 759
 760         my $fts_where = $fts->sql_where_clause;
 761         my @fts_ranks = $fts->fts_rank;
 762
 763         my $rank = join(' + ', @fts_ranks);
 764
 765         my $has_vols = 'AND cn.owning_lib = d.id';
 766         my $has_copies = 'AND cp.call_number = cn.id';
 767         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 768
 769         my $visible_count = ', count(DISTINCT cp.id)';
 770         my $visible_count_test = 'HAVING count(DISTINCT cp.id) > 0';
 771
 772         if ($self->api_name =~ /staff/o) {
 773                 $copies_visible = '';
 774                 $visible_count_test = '';
 775                 $has_copies = '' if ($ou_type == 0);
 776                 $has_vols = '' if ($ou_type == 0);
 777         }
 778
 779         my $rank_calc = <<"     RANK";
 780                 , (SUM( $rank
 781                         * CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END -- phrase order
 782                         * CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END -- first word match
 783                         * CASE WHEN f.value ~* ? THEN 2 ELSE 1 END -- only word match
 784                 )/COUNT(m.source)), MIN(COALESCE(CHAR_LENGTH(f.value),1))
 785         RANK
 786
 787         $rank_calc = ',1 , 1' if ($self->api_name =~ /unordered/o);
 788
 789         if ($copies_visible) {
 790                 $select = <<"           SQL";
 791                         SELECT  m.metarecord $rank_calc $visible_count, CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
 792                         FROM    $search_table f,
 793                                 $metabib_metarecord_source_map_table m,
 794                                 $asset_call_number_table cn,
 795                                 $asset_copy_table cp,
 796                                 $cs_table cs,
 797                                 $cl_table cl,
 798                                 $metabib_record_descriptor rd,
 799                                 $descendants d
 800                         WHERE   $fts_where
 801                                 AND m.source = f.source
 802                                 AND cn.record = m.source
 803                                 AND rd.record = m.source
 804                                 AND cp.status = cs.id
 805                                 AND cp.location = cl.id
 806                                 $has_vols
 807                                 $has_copies
 808                                 $copies_visible
 809                                 $t_filter
 810                                 $f_filter
 811                         GROUP BY 1 $visible_count_test
 812                         ORDER BY 2 DESC,3
 813                         $limit_clause $offset_clause
 814                 SQL
 815         } else {
 816                 $select = <<"           SQL";
 817                         SELECT  m.metarecord $rank_calc, 0, CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
 818                         FROM    $search_table f,
 819                                 $metabib_metarecord_source_map_table m,
 820                                 $metabib_record_descriptor rd
 821                         WHERE   $fts_where
 822                                 AND m.source = f.source
 823                                 AND rd.record = m.source
 824                                 $t_filter
 825                                 $f_filter
 826                         GROUP BY 1, 4
 827                         ORDER BY 2 DESC,3
 828                         $limit_clause $offset_clause
 829                 SQL
 830         }
 831
 832         $log->debug("Field Search SQL :: [$select]",DEBUG);
 833
 834         my $SQLstring = join('%',$fts->words);
 835         my $REstring = join('\\s+',$fts->words);
 836         my $first_word = ($fts->words)[0].'%';
 837         my $recs = ($self->api_name =~ /unordered/o) ?
 838                         $class->db_Main->selectall_arrayref($select, {}, @types, @forms) :
 839                         $class->db_Main->selectall_arrayref($select, {},
 840                                 '%'.lc($SQLstring).'%',                 # phrase order match
 841                                 lc($first_word),                        # first word match
 842                                 '^\\s*'.lc($REstring).'\\s*/?\s*$',     # full exact match
 843                                 @types, @forms
 844                         );
 845
 846         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
 847
 848         $client->respond($_) for (map { [@$_[0,1,3,4]] } @$recs);
 849         return undef;
 850 }
 851
 852 for my $class ( qw/title author subject keyword series/ ) {
 853         __PACKAGE__->register_method(
 854                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord",
 855                 method          => 'search_class_fts',
 856                 api_level       => 1,
 857                 stream          => 1,
 858                 cdbi            => "metabib::${class}_field_entry",
 859                 cachable        => 1,
 860         );
 861         __PACKAGE__->register_method(
 862                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.unordered",
 863                 method          => 'search_class_fts',
 864                 api_level       => 1,
 865                 stream          => 1,
 866                 cdbi            => "metabib::${class}_field_entry",
 867                 cachable        => 1,
 868         );
 869         __PACKAGE__->register_method(
 870                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.staff",
 871                 method          => 'search_class_fts',
 872                 api_level       => 1,
 873                 stream          => 1,
 874                 cdbi            => "metabib::${class}_field_entry",
 875                 cachable        => 1,
 876         );
 877         __PACKAGE__->register_method(
 878                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.staff.unordered",
 879                 method          => 'search_class_fts',
 880                 api_level       => 1,
 881                 stream          => 1,
 882                 cdbi            => "metabib::${class}_field_entry",
 883                 cachable        => 1,
 884         );
 885 }
 886
 887 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
 888 sub search_class_fts_count {
 889         my $self = shift;
 890         my $client = shift;
 891         my %args = @_;
 892
 893         my $term = $args{term};
 894         my $ou = $args{org_unit};
 895         my $ou_type = $args{depth};
 896         my $limit = $args{limit} || 100;
 897         my $offset = $args{offset} || 0;
 898
 899         my $descendants = defined($ou_type) ?
 900                                 "actor.org_unit_descendants($ou, $ou_type)" :
 901                                 "actor.org_unit_descendants($ou)";
 902
 903         my (@types,@forms);
 904         my ($t_filter, $f_filter) = ('','');
 905
 906         if ($args{format}) {
 907                 my ($t, $f) = split '-', $args{format};
 908                 @types = split '', $t;
 909                 @forms = split '', $f;
 910                 if (@types) {
 911                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 912                 }
 913
 914                 if (@forms) {
 915                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 916                 }
 917         }
 918
 919
 920         (my $search_class = $self->api_name) =~ s/.*metabib.(\w+).search_fts.*/$1/o;
 921
 922         my $class = $self->{cdbi};
 923         my $search_table = $class->table;
 924
 925         my $metabib_record_descriptor = metabib::record_descriptor->table;
 926         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
 927         my $asset_call_number_table = asset::call_number->table;
 928         my $asset_copy_table = asset::copy->table;
 929         my $cs_table = config::copy_status->table;
 930         my $cl_table = asset::copy_location->table;
 931
 932         my ($index_col) = $class->columns('FTS');
 933         $index_col ||= 'value';
 934
 935         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
 936
 937         my $fts_where = $fts->sql_where_clause;
 938
 939         my $has_vols = 'AND cn.owning_lib = d.id';
 940         my $has_copies = 'AND cp.call_number = cn.id';
 941         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 942         if ($self->api_name =~ /staff/o) {
 943                 $copies_visible = '';
 944                 $has_vols = '' if ($ou_type == 0);
 945                 $has_copies = '' if ($ou_type == 0);
 946         }
 947
 948         # XXX test an "EXISTS version of descendant checking...
 949         my $select;
 950         if ($copies_visible) {
 951                 $select = <<"           SQL";
 952                 SELECT  count(distinct  m.metarecord)
 953                   FROM  $search_table f,
 954                         $metabib_metarecord_source_map_table m,
 955                         $metabib_metarecord_source_map_table mr,
 956                         $asset_call_number_table cn,
 957                         $asset_copy_table cp,
 958                         $cs_table cs,
 959                         $cl_table cl,
 960                         $metabib_record_descriptor rd,
 961                         $descendants d
 962                   WHERE $fts_where
 963                         AND mr.source = f.source
 964                         AND mr.metarecord = m.metarecord
 965                         AND cn.record = m.source
 966                         AND rd.record = m.source
 967                         AND cp.status = cs.id
 968                         AND cp.location = cl.id
 969                         $has_vols
 970                         $has_copies
 971                         $copies_visible
 972                         $t_filter
 973                         $f_filter
 974                 SQL
 975         } else {
 976                 $select = <<"           SQL";
 977                 SELECT  count(distinct  m.metarecord)
 978                   FROM  $search_table f,
 979                         $metabib_metarecord_source_map_table m,
 980                         $metabib_metarecord_source_map_table mr,
 981                         $metabib_record_descriptor rd
 982                   WHERE $fts_where
 983                         AND mr.source = f.source
 984                         AND mr.metarecord = m.metarecord
 985                         AND rd.record = m.source
 986                         $t_filter
 987                         $f_filter
 988                 SQL
 989         }
 990
 991         $log->debug("Field Search Count SQL :: [$select]",DEBUG);
 992
 993         my $recs = $class->db_Main->selectrow_arrayref($select, {}, @types, @forms)->[0];
 994
 995         $log->debug("Count Search yielded $recs results.",DEBUG);
 996
 997         return $recs;
 998
 999 }
1000 for my $class ( qw/title author subject keyword series/ ) {
1001         __PACKAGE__->register_method(
1002                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord_count",
1003                 method          => 'search_class_fts_count',
1004                 api_level       => 1,
1005                 stream          => 1,
1006                 cdbi            => "metabib::${class}_field_entry",
1007                 cachable        => 1,
1008         );
1009         __PACKAGE__->register_method(
1010                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord_count.staff",
1011                 method          => 'search_class_fts_count',
1012                 api_level       => 1,
1013                 stream          => 1,
1014                 cdbi            => "metabib::${class}_field_entry",
1015                 cachable        => 1,
1016         );
1017 }
1018
1019
1020 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
1021 sub postfilter_search_class_fts {
1022         my $self = shift;
1023         my $client = shift;
1024         my %args = @_;
1025
1026         my $term = $args{term};
1027         my $sort = $args{'sort'};
1028         my $sort_dir = $args{sort_dir} || 'DESC';
1029         my $ou = $args{org_unit};
1030         my $ou_type = $args{depth};
1031         my $limit = $args{limit} || 10;
1032         my $visiblity_limit = $args{visiblity_limit} || 5000;
1033         my $offset = $args{offset} || 0;
1034
1035         my $outer_limit = 1000;
1036
1037         my $limit_clause = '';
1038         my $offset_clause = '';
1039
1040         $limit_clause = "LIMIT $outer_limit";
1041         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
1042
1043         my (@types,@forms,@lang,@aud,@lit_form);
1044         my ($t_filter, $f_filter) = ('','');
1045         my ($a_filter, $l_filter, $lf_filter) = ('','','');
1046         my ($ot_filter, $of_filter) = ('','');
1047         my ($oa_filter, $ol_filter, $olf_filter) = ('','','');
1048
1049         if (my $a = $args{audience}) {
1050                 $a = [$a] if (!ref($a));
1051                 @aud = @$a;
1052
1053                 $a_filter = ' AND rd.audience IN ('.join(',',map{'?'}@aud).')';
1054                 $oa_filter = ' AND ord.audience IN ('.join(',',map{'?'}@aud).')';
1055         }
1056
1057         if (my $l = $args{language}) {
1058                 $l = [$l] if (!ref($l));
1059                 @lang = @$l;
1060
1061                 $l_filter = ' AND rd.item_lang IN ('.join(',',map{'?'}@lang).')';
1062                 $ol_filter = ' AND ord.item_lang IN ('.join(',',map{'?'}@lang).')';
1063         }
1064
1065         if (my $f = $args{lit_form}) {
1066                 $f = [$f] if (!ref($f));
1067                 @lit_form = @$f;
1068
1069                 $lf_filter = ' AND rd.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1070                 $olf_filter = ' AND ord.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1071         }
1072
1073         if ($args{format}) {
1074                 my ($t, $f) = split '-', $args{format};
1075                 @types = split '', $t;
1076                 @forms = split '', $f;
1077                 if (@types) {
1078                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1079                         $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1080                 }
1081
1082                 if (@forms) {
1083                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1084                         $of_filter .= ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1085                 }
1086         }
1087
1088
1089         my $descendants = defined($ou_type) ?
1090                                 "actor.org_unit_descendants($ou, $ou_type)" :
1091                                 "actor.org_unit_descendants($ou)";
1092
1093         my $class = $self->{cdbi};
1094         my $search_table = $class->table;
1095
1096         my $metabib_full_rec = metabib::full_rec->table;
1097         my $metabib_record_descriptor = metabib::record_descriptor->table;
1098         my $metabib_metarecord = metabib::metarecord->table;
1099         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
1100         my $asset_call_number_table = asset::call_number->table;
1101         my $asset_copy_table = asset::copy->table;
1102         my $cs_table = config::copy_status->table;
1103         my $cl_table = asset::copy_location->table;
1104         my $br_table = biblio::record_entry->table;
1105
1106         my ($index_col) = $class->columns('FTS');
1107         $index_col ||= 'value';
1108
1109         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'f.value', "f.$index_col");
1110
1111         my $SQLstring = join('%',map { lc($_) } $fts->words);
1112         my $REstring = '^' . join('\s+',map { lc($_) } $fts->words) . '\W*$';
1113         my $first_word = lc(($fts->words)[0]).'%';
1114
1115         my $fts_where = $fts->sql_where_clause;
1116         my @fts_ranks = $fts->fts_rank;
1117
1118         my %bonus = ();
1119         $bonus{'metabib::keyword_field_entry'} = [ { 'CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END' => $SQLstring } ];
1120         $bonus{'metabib::title_field_entry'} =
1121                 $bonus{'metabib::series_field_entry'} = [
1122                         { 'CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END' => $first_word },
1123                         { 'CASE WHEN f.value ~* ? THEN 2 ELSE 1 END' => $REstring },
1124                         @{ $bonus{'metabib::keyword_field_entry'} }
1125                 ];
1126
1127         my $bonus_list = join ' * ', map { keys %$_ } @{ $bonus{$class} };
1128         $bonus_list ||= '1';
1129
1130         my @bonus_values = map { values %$_ } @{ $bonus{$class} };
1131
1132         my $relevance = join(' + ', @fts_ranks);
1133         $relevance = <<"        RANK";
1134                         (SUM( ( $relevance )  * ( $bonus_list ) )/COUNT(m.source))
1135         RANK
1136
1137         my $rank = $relevance;
1138         if (lc($sort) eq 'pubdate') {
1139                 $rank = <<"             RANK";
1140                         ( FIRST ((
1141                                 SELECT  COALESCE(SUBSTRING(frp.value FROM '\\\\d+'),'9999')::INT
1142                                   FROM  $metabib_full_rec frp
1143                                   WHERE frp.record = mr.master_record
1144                                         AND frp.tag = '260'
1145                                         AND frp.subfield = 'c'
1146                                   LIMIT 1
1147                         )) )
1148                 RANK
1149         } elsif (lc($sort) eq 'create_date') {
1150                 $rank = <<"             RANK";
1151                         ( FIRST (( SELECT create_date FROM $br_table rbr WHERE rbr.id = mr.master_record)) )
1152                 RANK
1153         } elsif (lc($sort) eq 'edit_date') {
1154                 $rank = <<"             RANK";
1155                         ( FIRST (( SELECT edit_date FROM $br_table rbr WHERE rbr.id = mr.master_record)) )
1156                 RANK
1157         } elsif (lc($sort) eq 'title') {
1158                 $rank = <<"             RANK";
1159                         ( FIRST ((
1160                                 SELECT  COALESCE(LTRIM(SUBSTR( frt.value, COALESCE(SUBSTRING(frt.ind2 FROM '\\\\d+'),'0')::INT )),'zzzzzzzz')
1161                                   FROM  $metabib_full_rec frt
1162                                   WHERE frt.record = mr.master_record
1163                                         AND frt.tag = '245'
1164                                         AND frt.subfield = 'a'
1165                                   LIMIT 1
1166                         )) )
1167                 RANK
1168         } elsif (lc($sort) eq 'author') {
1169                 $rank = <<"             RANK";
1170                         ( FIRST((
1171                                 SELECT  COALESCE(LTRIM(fra.value),'zzzzzzzz')
1172                                   FROM  $metabib_full_rec fra
1173                                   WHERE fra.record = mr.master_record
1174                                         AND fra.tag LIKE '1%'
1175                                         AND fra.subfield = 'a'
1176                                   ORDER BY fra.tag::text::int
1177                                   LIMIT 1
1178                         )) )
1179                 RANK
1180         } else {
1181                 $sort = undef;
1182         }
1183
1184         my $select = <<"        SQL";
1185                 SELECT  m.metarecord,
1186                         $relevance,
1187                         CASE WHEN COUNT(DISTINCT smrs.source) = 1 THEN MIN(m.source) ELSE 0 END,
1188                         $rank
1189                 FROM    $search_table f,
1190                         $metabib_metarecord_source_map_table m,
1191                         $metabib_metarecord_source_map_table smrs,
1192                         $metabib_metarecord mr,
1193                         $metabib_record_descriptor rd
1194                 WHERE   $fts_where
1195                         AND smrs.metarecord = mr.id
1196                         AND m.source = f.source
1197                         AND m.metarecord = mr.id
1198                         AND rd.record = smrs.source
1199                         $t_filter
1200                         $f_filter
1201                         $a_filter
1202                         $l_filter
1203                         $lf_filter
1204                 GROUP BY m.metarecord
1205                 ORDER BY 4 $sort_dir, MIN(COALESCE(CHAR_LENGTH(f.value),1))
1206                 LIMIT $visiblity_limit
1207         SQL
1208
1209         if (0) {
1210                 $select = <<"           SQL";
1211
1212                         SELECT  DISTINCT s.*
1213                           FROM  $asset_call_number_table cn,
1214                                 $metabib_metarecord_source_map_table mrs,
1215                                 $asset_copy_table cp,
1216                                 $cs_table cs,
1217                                 $cl_table cl,
1218                                 $br_table br,
1219                                 $descendants d,
1220                                 $metabib_record_descriptor ord,
1221                                 ($select) s
1222                           WHERE mrs.metarecord = s.metarecord
1223                                 AND br.id = mrs.source
1224                                 AND cn.record = mrs.source
1225                                 AND cp.status = cs.id
1226                                 AND cp.location = cl.id
1227                                 AND cn.owning_lib = d.id
1228                                 AND cp.call_number = cn.id
1229                                 AND cp.opac_visible IS TRUE
1230                                 AND cs.holdable IS TRUE
1231                                 AND cl.opac_visible IS TRUE
1232                                 AND br.active IS TRUE
1233                                 AND br.deleted IS FALSE
1234                                 AND ord.record = mrs.source
1235                                 $ot_filter
1236                                 $of_filter
1237                                 $oa_filter
1238                                 $ol_filter
1239                                 $olf_filter
1240                           ORDER BY 4 $sort_dir
1241                 SQL
1242         } elsif ($self->api_name !~ /staff/o) {
1243                 $select = <<"           SQL";
1244
1245                         SELECT  DISTINCT s.*
1246                           FROM  ($select) s
1247                           WHERE EXISTS (
1248                                 SELECT  1
1249                                   FROM  $asset_call_number_table cn,
1250                                         $metabib_metarecord_source_map_table mrs,
1251                                         $asset_copy_table cp,
1252                                         $cs_table cs,
1253                                         $cl_table cl,
1254                                         $br_table br,
1255                                         $descendants d,
1256                                         $metabib_record_descriptor ord
1257
1258                                   WHERE mrs.metarecord = s.metarecord
1259                                         AND br.id = mrs.source
1260                                         AND cn.record = mrs.source
1261                                         AND cp.status = cs.id
1262                                         AND cp.location = cl.id
1263                                         AND cn.owning_lib = d.id
1264                                         AND cp.call_number = cn.id
1265                                         AND cp.opac_visible IS TRUE
1266                                         AND cs.holdable IS TRUE
1267                                         AND cl.opac_visible IS TRUE
1268                                         AND br.active IS TRUE
1269                                         AND br.deleted IS FALSE
1270                                         AND ord.record = mrs.source
1271                                         $ot_filter
1272                                         $of_filter
1273                                         $oa_filter
1274                                         $ol_filter
1275                                         $olf_filter
1276                                   LIMIT 1
1277                                 )
1278                           ORDER BY 4 $sort_dir
1279                 SQL
1280         } else {
1281                 $select = <<"           SQL";
1282
1283                         SELECT  DISTINCT s.*
1284                           FROM  ($select) s
1285                           WHERE EXISTS (
1286                                 SELECT  1
1287                                   FROM  $asset_call_number_table cn,
1288                                         $metabib_metarecord_source_map_table mrs,
1289                                         $br_table br,
1290                                         $descendants d,
1291                                         $metabib_record_descriptor ord
1292
1293                                   WHERE mrs.metarecord = s.metarecord
1294                                         AND br.id = mrs.source
1295                                         AND cn.record = mrs.source
1296                                         AND cn.owning_lib = d.id
1297                                         AND br.deleted IS FALSE
1298                                         AND ord.record = mrs.source
1299                                         $ot_filter
1300                                         $of_filter
1301                                         $oa_filter
1302                                         $ol_filter
1303                                         $olf_filter
1304                                   LIMIT 1
1305                                 )
1306                                 OR NOT EXISTS (
1307                                 SELECT  1
1308                                   FROM  $asset_call_number_table cn,
1309                                         $metabib_metarecord_source_map_table mrs,
1310                                         $metabib_record_descriptor ord
1311                                   WHERE mrs.metarecord = s.metarecord
1312                                         AND cn.record = mrs.source
1313                                         AND ord.record = mrs.source
1314                                         $ot_filter
1315                                         $of_filter
1316                                         $oa_filter
1317                                         $ol_filter
1318                                         $olf_filter
1319                                   LIMIT 1
1320                                 )
1321                           ORDER BY 4 $sort_dir
1322                 SQL
1323         }
1324
1325
1326         $log->debug("Field Search SQL :: [$select]",DEBUG);
1327
1328         my $recs = $class->db_Main->selectall_arrayref(
1329                         $select, {},
1330                         (@bonus_values > 0 ? @bonus_values : () ),
1331                         ( (!$sort && @bonus_values > 0) ? @bonus_values : () ),
1332                         @types, @forms, @aud, @lang, @lit_form,
1333                         @types, @forms, @aud, @lang, @lit_form,
1334                         ($self->api_name =~ /staff/o ? (@types, @forms, @aud, @lang, @lit_form) : () ) );
1335
1336         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
1337
1338         my $max = 0;
1339         $max = 1 if (!@$recs);
1340         for (@$recs) {
1341                 $max = $$_[1] if ($$_[1] > $max);
1342         }
1343
1344         my $count = scalar(@$recs);
1345         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
1346                 my ($mrid,$rank,$skip) = @$rec;
1347                 $client->respond( [$mrid, sprintf('%0.3f',$rank/$max), $skip, $count] );
1348         }
1349         return undef;
1350 }
1351
1352 for my $class ( qw/title author subject keyword series/ ) {
1353         __PACKAGE__->register_method(
1354                 api_name        => "open-ils.storage.metabib.$class.post_filter.search_fts.metarecord",
1355                 method          => 'postfilter_search_class_fts',
1356                 api_level       => 1,
1357                 stream          => 1,
1358                 cdbi            => "metabib::${class}_field_entry",
1359                 cachable        => 1,
1360         );
1361         __PACKAGE__->register_method(
1362                 api_name        => "open-ils.storage.metabib.$class.post_filter.search_fts.metarecord.staff",
1363                 method          => 'postfilter_search_class_fts',
1364                 api_level       => 1,
1365                 stream          => 1,
1366                 cdbi            => "metabib::${class}_field_entry",
1367                 cachable        => 1,
1368         );
1369 }
1370
1371
1372
1373 my $_cdbi = {   title   => "metabib::title_field_entry",
1374                 author  => "metabib::author_field_entry",
1375                 subject => "metabib::subject_field_entry",
1376                 keyword => "metabib::keyword_field_entry",
1377                 series  => "metabib::series_field_entry",
1378 };
1379
1380 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
1381 sub postfilter_search_multi_class_fts {
1382         my $self = shift;
1383         my $client = shift;
1384         my %args = @_;
1385
1386         my $sort = $args{'sort'};
1387         my $sort_dir = $args{sort_dir} || 'DESC';
1388         my $ou = $args{org_unit};
1389         my $ou_type = $args{depth};
1390         my $limit = $args{limit} || 10;;
1391         my $visiblity_limit = $args{visiblity_limit} || 5000;;
1392         my $offset = $args{offset} || 0;
1393
1394         if (!$ou) {
1395                 $ou = actor::org_unit->search( { parent_ou => undef } )->next->id;
1396         }
1397
1398         if (!defined($args{org_unit})) {
1399                 die "No target organizational unit passed to ".$self->api_name;
1400         }
1401
1402         if (! scalar( keys %{$args{searches}} )) {
1403                 die "No search arguments were passed to ".$self->api_name;
1404         }
1405
1406         my $outer_limit = 1000;
1407
1408         my $limit_clause = '';
1409         my $offset_clause = '';
1410
1411         $limit_clause = "LIMIT $outer_limit";
1412         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
1413
1414         my (@types,@forms,@lang,@aud,@lit_form);
1415         my ($t_filter, $f_filter) = ('','');
1416         my ($a_filter, $l_filter, $lf_filter) = ('','','');
1417         my ($ot_filter, $of_filter) = ('','');
1418         my ($oa_filter, $ol_filter, $olf_filter) = ('','','');
1419
1420         if (my $a = $args{audience}) {
1421                 $a = [$a] if (!ref($a));
1422                 @aud = @$a;
1423
1424                 $a_filter = ' AND rd.audience IN ('.join(',',map{'?'}@aud).')';
1425                 $oa_filter = ' AND ord.audience IN ('.join(',',map{'?'}@aud).')';
1426         }
1427
1428         if (my $l = $args{language}) {
1429                 $l = [$l] if (!ref($l));
1430                 @lang = @$l;
1431
1432                 $l_filter = ' AND rd.item_lang IN ('.join(',',map{'?'}@lang).')';
1433                 $ol_filter = ' AND ord.item_lang IN ('.join(',',map{'?'}@lang).')';
1434         }
1435
1436         if (my $f = $args{lit_form}) {
1437                 $f = [$f] if (!ref($f));
1438                 @lit_form = @$f;
1439
1440                 $lf_filter = ' AND rd.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1441                 $olf_filter = ' AND ord.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1442         }
1443
1444         if (my $f = $args{item_form}) {
1445                 $f = [$f] if (!ref($f));
1446                 @forms = @$f;
1447
1448                 $f_filter = ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1449                 $of_filter = ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1450         }
1451
1452         if (my $t = $args{item_type}) {
1453                 $t = [$t] if (!ref($t));
1454                 @types = @$t;
1455
1456                 $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1457                 $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1458         }
1459
1460
1461         # XXX legacy format and item type support
1462         if ($args{format}) {
1463                 my ($t, $f) = split '-', $args{format};
1464                 @types = split '', $t;
1465                 @forms = split '', $f;
1466                 if (@types) {
1467                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1468                         $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1469                 }
1470
1471                 if (@forms) {
1472                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1473                         $of_filter .= ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1474                 }
1475         }
1476
1477
1478
1479         my $descendants = defined($ou_type) ?
1480                                 "actor.org_unit_descendants($ou, $ou_type)" :
1481                                 "actor.org_unit_descendants($ou)";
1482
1483         my $search_table_list = '';
1484         my $fts_list = '';
1485         my $join_table_list = '';
1486         my @rank_list;
1487
1488         my @bonus_lists;
1489         my @bonus_values;
1490         my $prev_search_class;
1491         my $curr_search_class;
1492         for my $search_class (sort keys %{$args{searches}}) {
1493                 $prev_search_class = $curr_search_class if ($curr_search_class);
1494
1495                 $curr_search_class = $search_class;
1496
1497                 my $class = $_cdbi->{$search_class};
1498                 my $search_table = $class->table;
1499
1500                 my ($index_col) = $class->columns('FTS');
1501                 $index_col ||= 'value';
1502
1503
1504                 my $fts = OpenILS::Application::Storage::FTS->compile($args{searches}{$search_class}{term}, $search_class.'.value', "$search_class.$index_col");
1505
1506                 my $fts_where = $fts->sql_where_clause;
1507                 my @fts_ranks = $fts->fts_rank;
1508
1509                 my $SQLstring = join('%',map { lc($_) } $fts->words);
1510                 my $REstring = '^' . join('\s+',map { lc($_) } $fts->words) . '\W*$';
1511                 my $first_word = lc(($fts->words)[0]).'%';
1512
1513                 my $rank = join(' + ', @fts_ranks);
1514
1515                 my %bonus = ();
1516                 $bonus{'keyword'} = [ { "CASE WHEN $search_class.value LIKE ? THEN 10 ELSE 1 END" => $SQLstring } ];
1517
1518                 $bonus{'series'} = [
1519                         { "CASE WHEN $search_class.value LIKE ? THEN 1.5 ELSE 1 END" => $first_word },
1520                         { "CASE WHEN $search_class.value ~ ? THEN 20 ELSE 1 END" => $REstring },
1521                 ];
1522
1523                 $bonus{'title'} = [ @{ $bonus{'series'} }, @{ $bonus{'keyword'} } ];
1524
1525                 my $bonus_list = join ' * ', map { keys %$_ } @{ $bonus{$search_class} };
1526                 $bonus_list ||= '1';
1527
1528                 push @bonus_lists, $bonus_list;
1529                 push @bonus_values, map { values %$_ } @{ $bonus{$search_class} };
1530
1531
1532                 #---------------------
1533
1534                 $search_table_list .= "$search_table $search_class, ";
1535                 push @rank_list,$rank;
1536                 $fts_list .= " AND $fts_where AND m.source = $search_class.source";
1537
1538                 if ($prev_search_class) {
1539                         $join_table_list .= " AND $prev_search_class.source = $curr_search_class.source";
1540                 }
1541         }
1542
1543         my $metabib_record_descriptor = metabib::record_descriptor->table;
1544         my $metabib_full_rec = metabib::full_rec->table;
1545         my $metabib_metarecord = metabib::metarecord->table;
1546         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
1547         my $asset_call_number_table = asset::call_number->table;
1548         my $asset_copy_table = asset::copy->table;
1549         my $cs_table = config::copy_status->table;
1550         my $cl_table = asset::copy_location->table;
1551         my $br_table = biblio::record_entry->table;
1552         my $source_table = config::bib_source->table;
1553
1554         my $bonuses = join (' * ', @bonus_lists);
1555         my $relevance = join (' + ', @rank_list);
1556         $relevance = "SUM( ($relevance) * ($bonuses) )/COUNT(DISTINCT smrs.source)";
1557
1558
1559         my $secondary_sort = <<"        SORT";
1560                 ( FIRST ((
1561                         SELECT  COALESCE(LTRIM(SUBSTR( sfrt.value, COALESCE(SUBSTRING(sfrt.ind2 FROM '\\\\d+'),'0')::INT )),'zzzzzzzz')
1562                           FROM  $metabib_full_rec sfrt,
1563                                 $metabib_metarecord mr
1564                           WHERE sfrt.record = mr.master_record
1565                                 AND sfrt.tag = '245'
1566                                 AND sfrt.subfield = 'a'
1567                           LIMIT 1
1568                 )) )
1569         SORT
1570
1571         my $rank = $relevance;
1572         if (lc($sort) eq 'pubdate') {
1573                 $rank = <<"             RANK";
1574                         ( FIRST ((
1575                                 SELECT  COALESCE(SUBSTRING(frp.value FROM '\\\\d+'),'9999')::INT
1576                                   FROM  $metabib_full_rec frp
1577                                   WHERE frp.record = mr.master_record
1578                                         AND frp.tag = '260'
1579                                         AND frp.subfield = 'c'
1580                                   LIMIT 1
1581                         )) )
1582                 RANK
1583         } elsif (lc($sort) eq 'create_date') {
1584                 $rank = <<"             RANK";
1585                         ( FIRST (( SELECT create_date FROM $br_table rbr WHERE rbr.id = mr.master_record)) )
1586                 RANK
1587         } elsif (lc($sort) eq 'edit_date') {
1588                 $rank = <<"             RANK";
1589                         ( FIRST (( SELECT edit_date FROM $br_table rbr WHERE rbr.id = mr.master_record)) )
1590                 RANK
1591         } elsif (lc($sort) eq 'title') {
1592                 $rank = <<"             RANK";
1593                         ( FIRST ((
1594                                 SELECT  COALESCE(LTRIM(SUBSTR( frt.value, COALESCE(SUBSTRING(frt.ind2 FROM '\\\\d+'),'0')::INT )),'zzzzzzzz')
1595                                   FROM  $metabib_full_rec frt
1596                                   WHERE frt.record = mr.master_record
1597                                         AND frt.tag = '245'
1598                                         AND frt.subfield = 'a'
1599                                   LIMIT 1
1600                         )) )
1601                 RANK
1602                 $secondary_sort = <<"           SORT";
1603                         ( FIRST ((
1604                                 SELECT  COALESCE(SUBSTRING(sfrp.value FROM '\\\\d+'),'9999')::INT
1605                                   FROM  $metabib_full_rec sfrp
1606                                   WHERE sfrp.record = mr.master_record
1607                                         AND sfrp.tag = '260'
1608                                         AND sfrp.subfield = 'c'
1609                                   LIMIT 1
1610                         )) )
1611                 SORT
1612         } elsif (lc($sort) eq 'author') {
1613                 $rank = <<"             RANK";
1614                         ( FIRST((
1615                                 SELECT  COALESCE(LTRIM(fra.value),'zzzzzzzz')
1616                                   FROM  $metabib_full_rec fra
1617                                   WHERE fra.record = mr.master_record
1618                                         AND fra.tag LIKE '1%'
1619                                         AND fra.subfield = 'a'
1620                                   ORDER BY fra.tag::text::int
1621                                   LIMIT 1
1622                         )) )
1623                 RANK
1624         } else {
1625                 push @bonus_values, @bonus_values;
1626                 $sort = undef;
1627         }
1628
1629
1630         my $select = <<"        SQL";
1631                 SELECT  m.metarecord,
1632                         $relevance,
1633                         CASE WHEN COUNT(DISTINCT smrs.source) = 1 THEN FIRST(m.source) ELSE 0 END,
1634                         $rank,
1635                         $secondary_sort
1636                 FROM    $search_table_list
1637                         $metabib_metarecord mr,
1638                         $metabib_metarecord_source_map_table m,
1639                         $metabib_metarecord_source_map_table smrs
1640                 WHERE   m.metarecord = smrs.metarecord
1641                         AND mr.id = m.metarecord
1642                         $fts_list
1643                         $join_table_list
1644                 GROUP BY m.metarecord
1645                 -- ORDER BY 4 $sort_dir
1646                 LIMIT $visiblity_limit
1647         SQL
1648
1649         if ($self->api_name !~ /staff/o) {
1650                 $select = <<"           SQL";
1651
1652                         SELECT  s.*
1653                           FROM  ($select) s
1654                           WHERE EXISTS (
1655                                 SELECT  1
1656                                   FROM  $asset_call_number_table cn,
1657                                         $metabib_metarecord_source_map_table mrs,
1658                                         $asset_copy_table cp,
1659                                         $cs_table cs,
1660                                         $cl_table cl,
1661                                         $br_table br,
1662                                         $descendants d,
1663                                         $metabib_record_descriptor ord
1664                                   WHERE mrs.metarecord = s.metarecord
1665                                         AND br.id = mrs.source
1666                                         AND cn.record = mrs.source
1667                                         AND cp.status = cs.id
1668                                         AND cp.location = cl.id
1669                                         AND cn.owning_lib = d.id
1670                                         AND cp.call_number = cn.id
1671                                         AND cp.opac_visible IS TRUE
1672                                         AND cs.holdable IS TRUE
1673                                         AND cl.opac_visible IS TRUE
1674                                         AND br.active IS TRUE
1675                                         AND br.deleted IS FALSE
1676                                         AND cp.deleted IS FALSE
1677                                         AND cn.deleted IS FALSE
1678                                         AND ord.record = mrs.source
1679                                         $ot_filter
1680                                         $of_filter
1681                                         $oa_filter
1682                                         $ol_filter
1683                                         $olf_filter
1684                                   LIMIT 1
1685                                 )
1686                                 OR EXISTS (
1687                                 SELECT  1
1688                                   FROM  $br_table br,
1689                                         $metabib_metarecord_source_map_table mrs,
1690                                         $metabib_record_descriptor ord,
1691                                         $source_table src
1692                                   WHERE mrs.metarecord = s.metarecord
1693                                         AND ord.record = mrs.source
1694                                         AND br.id = mrs.source
1695                                         AND br.source = src.id
1696                                         AND src.transcendant IS TRUE
1697                                         $ot_filter
1698                                         $of_filter
1699                                         $oa_filter
1700                                         $ol_filter
1701                                         $olf_filter
1702                                 )
1703                           ORDER BY 4 $sort_dir, 5
1704                 SQL
1705         } else {
1706                 $select = <<"           SQL";
1707
1708                         SELECT  DISTINCT s.*
1709                           FROM  ($select) s,
1710                                 $metabib_metarecord_source_map_table omrs,
1711                                 $metabib_record_descriptor ord
1712                           WHERE omrs.metarecord = s.metarecord
1713                                 AND ord.record = omrs.source
1714                                 AND (   EXISTS (
1715                                                 SELECT  1
1716                                                   FROM  $asset_call_number_table cn,
1717                                                         $descendants d,
1718                                                         $br_table br
1719                                                   WHERE br.id = omrs.source
1720                                                         AND cn.record = omrs.source
1721                                                         AND cn.owning_lib = d.id
1722                                                         AND br.deleted IS FALSE
1723                                                         AND cn.deleted IS FALSE
1724                                                   LIMIT 1
1725                                         )
1726                                         OR NOT EXISTS (
1727                                                 SELECT  1
1728                                                   FROM  $asset_call_number_table cn
1729                                                   WHERE cn.record = omrs.source
1730                                                         AND cn.deleted IS FALSE
1731                                                   LIMIT 1
1732                                         )
1733                                         OR EXISTS (
1734                                         SELECT  1
1735                                           FROM  $br_table br,
1736                                                 $metabib_metarecord_source_map_table mrs,
1737                                                 $metabib_record_descriptor ord,
1738                                                 $source_table src
1739                                           WHERE mrs.metarecord = s.metarecord
1740                                                 AND br.id = mrs.source
1741                                                 AND br.source = src.id
1742                                                 AND src.transcendant IS TRUE
1743                                                 $ot_filter
1744                                                 $of_filter
1745                                                 $oa_filter
1746                                                 $ol_filter
1747                                                 $olf_filter
1748                                         )
1749                                 )
1750                                 $ot_filter
1751                                 $of_filter
1752                                 $oa_filter
1753                                 $ol_filter
1754                                 $olf_filter
1755
1756                           ORDER BY 4 $sort_dir, 5
1757                 SQL
1758         }
1759
1760
1761         $log->debug("Field Search SQL :: [$select]",DEBUG);
1762
1763         my $recs = $_cdbi->{title}->db_Main->selectall_arrayref(
1764                         $select, {},
1765                         @bonus_values,
1766                         @types, @forms, @aud, @lang, @lit_form,
1767                         @types, @forms, @aud, @lang, @lit_form,
1768                         # ($self->api_name =~ /staff/o ? (@types, @forms, @aud, @lang, @lit_form) : () )
1769         );
1770
1771         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
1772
1773         my $max = 0;
1774         $max = 1 if (!@$recs);
1775         for (@$recs) {
1776                 $max = $$_[1] if ($$_[1] > $max);
1777         }
1778
1779         my $count = scalar(@$recs);
1780         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
1781                 next unless ($$rec[0]);
1782                 my ($mrid,$rank,$skip) = @$rec;
1783                 $client->respond( [$mrid, sprintf('%0.3f',$rank/$max), $skip, $count] );
1784         }
1785         return undef;
1786 }
1787
1788 __PACKAGE__->register_method(
1789         api_name        => "open-ils.storage.metabib.post_filter.multiclass.search_fts.metarecord",
1790         method          => 'postfilter_search_multi_class_fts',
1791         api_level       => 1,
1792         stream          => 1,
1793         cachable        => 1,
1794 );
1795 __PACKAGE__->register_method(
1796         api_name        => "open-ils.storage.metabib.post_filter.multiclass.search_fts.metarecord.staff",
1797         method          => 'postfilter_search_multi_class_fts',
1798         api_level       => 1,
1799         stream          => 1,
1800         cachable        => 1,
1801 );
1802
1803 __PACKAGE__->register_method(
1804         api_name        => "open-ils.storage.metabib.multiclass.search_fts",
1805         method          => 'postfilter_search_multi_class_fts',
1806         api_level       => 1,
1807         stream          => 1,
1808         cachable        => 1,
1809 );
1810 __PACKAGE__->register_method(
1811         api_name        => "open-ils.storage.metabib.multiclass.search_fts.staff",
1812         method          => 'postfilter_search_multi_class_fts',
1813         api_level       => 1,
1814         stream          => 1,
1815         cachable        => 1,
1816 );
1817
1818 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
1819 sub biblio_search_multi_class_fts {
1820         my $self = shift;
1821         my $client = shift;
1822         my %args = @_;
1823
1824         my $sort = $args{'sort'};
1825         my $sort_dir = $args{sort_dir} || 'DESC';
1826         my $ou = $args{org_unit};
1827         my $ou_type = $args{depth};
1828         my $limit = $args{limit} || 10;
1829         my $visiblity_limit = $args{visiblity_limit} || 5000;
1830         my $offset = $args{offset} || 0;
1831
1832         if (!$ou) {
1833                 $ou = actor::org_unit->search( { parent_ou => undef } )->next->id;
1834         }
1835
1836         if (!defined($args{org_unit})) {
1837                 die "No target organizational unit passed to ".$self->api_name;
1838         }
1839
1840         if (! scalar( keys %{$args{searches}} )) {
1841                 die "No search arguments were passed to ".$self->api_name;
1842         }
1843
1844         my $outer_limit = 1000;
1845
1846         my $limit_clause = '';
1847         my $offset_clause = '';
1848
1849         $limit_clause = "LIMIT $outer_limit";
1850         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
1851
1852         my (@types,@forms,@lang,@aud,@lit_form);
1853         my ($t_filter, $f_filter) = ('','');
1854         my ($a_filter, $l_filter, $lf_filter) = ('','','');
1855         my ($ot_filter, $of_filter) = ('','');
1856         my ($oa_filter, $ol_filter, $olf_filter) = ('','','');
1857
1858         if (my $a = $args{audience}) {
1859                 $a = [$a] if (!ref($a));
1860                 @aud = @$a;
1861
1862                 $a_filter = ' AND rd.audience IN ('.join(',',map{'?'}@aud).')';
1863                 $oa_filter = ' AND ord.audience IN ('.join(',',map{'?'}@aud).')';
1864         }
1865
1866         if (my $l = $args{language}) {
1867                 $l = [$l] if (!ref($l));
1868                 @lang = @$l;
1869
1870                 $l_filter = ' AND rd.item_lang IN ('.join(',',map{'?'}@lang).')';
1871                 $ol_filter = ' AND ord.item_lang IN ('.join(',',map{'?'}@lang).')';
1872         }
1873
1874         if (my $f = $args{lit_form}) {
1875                 $f = [$f] if (!ref($f));
1876                 @lit_form = @$f;
1877
1878                 $lf_filter = ' AND rd.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1879                 $olf_filter = ' AND ord.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1880         }
1881
1882         if (my $f = $args{item_form}) {
1883                 $f = [$f] if (!ref($f));
1884                 @forms = @$f;
1885
1886                 $f_filter = ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1887                 $of_filter = ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1888         }
1889
1890         if (my $t = $args{item_type}) {
1891                 $t = [$t] if (!ref($t));
1892                 @types = @$t;
1893
1894                 $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1895                 $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1896         }
1897
1898
1899         # XXX legacy format and item type support
1900         if ($args{format}) {
1901                 my ($t, $f) = split '-', $args{format};
1902                 @types = split '', $t;
1903                 @forms = split '', $f;
1904                 if (@types) {
1905                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1906                         $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1907                 }
1908
1909                 if (@forms) {
1910                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1911                         $of_filter .= ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1912                 }
1913         }
1914
1915
1916         my $descendants = defined($ou_type) ?
1917                                 "actor.org_unit_descendants($ou, $ou_type)" :
1918                                 "actor.org_unit_descendants($ou)";
1919
1920         my $search_table_list = '';
1921         my $fts_list = '';
1922         my $join_table_list = '';
1923         my @rank_list;
1924
1925
1926         my @bonus_lists;
1927         my @bonus_values;
1928         my $prev_search_class;
1929         my $curr_search_class;
1930         for my $search_class (sort keys %{$args{searches}}) {
1931                 $prev_search_class = $curr_search_class if ($curr_search_class);
1932
1933                 $curr_search_class = $search_class;
1934
1935                 my $class = $_cdbi->{$search_class};
1936                 my $search_table = $class->table;
1937
1938                 my ($index_col) = $class->columns('FTS');
1939                 $index_col ||= 'value';
1940
1941
1942                 my $fts = OpenILS::Application::Storage::FTS->compile($args{searches}{$search_class}{term}, $search_class.'.value', "$search_class.$index_col");
1943
1944                 my $fts_where = $fts->sql_where_clause;
1945                 my @fts_ranks = $fts->fts_rank;
1946
1947                 my $SQLstring = join('%',map { lc($_) } $fts->words);
1948                 my $REstring = '^' . join('\s+',map { lc($_) } $fts->words) . '\W*$';
1949                 my $first_word = lc(($fts->words)[0]).'%';
1950
1951                 my $rank = join(' + ', @fts_ranks);
1952
1953                 my %bonus = ();
1954                 $bonus{'keyword'} = [ { "CASE WHEN $search_class.value ILIKE ? THEN 1.2 ELSE 1 END" => $SQLstring } ];
1955
1956                 $bonus{'series'} = [
1957                         { "CASE WHEN $search_class.value ILIKE ? THEN 1.5 ELSE 1 END" => $first_word },
1958                         { "CASE WHEN $search_class.value ~ ? THEN 200 ELSE 1 END" => $REstring },
1959                 ];
1960
1961                 $bonus{'title'} = [ @{ $bonus{'series'} }, @{ $bonus{'keyword'} } ];
1962
1963                 my $bonus_list = join ' * ', map { keys %$_ } @{ $bonus{$search_class} };
1964                 $bonus_list ||= '1';
1965
1966                 push @bonus_lists, $bonus_list;
1967                 push @bonus_values, map { values %$_ } @{ $bonus{$search_class} };
1968
1969                 #---------------------
1970
1971                 $search_table_list .= "$search_table $search_class, ";
1972                 push @rank_list,$rank;
1973                 $fts_list .= " AND $fts_where AND b.id = $search_class.source";
1974
1975                 if ($prev_search_class) {
1976                         $join_table_list .= " AND $prev_search_class.source = $curr_search_class.source";
1977                 }
1978         }
1979
1980         my $metabib_record_descriptor = metabib::record_descriptor->table;
1981         my $metabib_full_rec = metabib::full_rec->table;
1982         my $metabib_metarecord = metabib::metarecord->table;
1983         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
1984         my $asset_call_number_table = asset::call_number->table;
1985         my $asset_copy_table = asset::copy->table;
1986         my $cs_table = config::copy_status->table;
1987         my $cl_table = asset::copy_location->table;
1988         my $br_table = biblio::record_entry->table;
1989         my $source_table = config::bib_source->table;
1990
1991
1992         my $bonuses = join (' * ', @bonus_lists);
1993         my $relevance = join (' + ', @rank_list);
1994         $relevance = "AVG( ($relevance) * ($bonuses) )";
1995
1996
1997         my $rank = $relevance;
1998         if (lc($sort) eq 'pubdate') {
1999                 $rank = <<"             RANK";
2000                         ( FIRST ((
2001                                 SELECT  COALESCE(SUBSTRING(frp.value FROM '\\\\d{4}'),'9999')::INT
2002                                   FROM  $metabib_full_rec frp
2003                                   WHERE frp.record = b.id
2004                                         AND frp.tag = '260'
2005                                         AND frp.subfield = 'c'
2006                                   LIMIT 1
2007                         )) )
2008                 RANK
2009         } elsif (lc($sort) eq 'create_date') {
2010                 $rank = <<"             RANK";
2011                         ( FIRST (( SELECT create_date FROM $br_table rbr WHERE rbr.id = b.id)) )
2012                 RANK
2013         } elsif (lc($sort) eq 'edit_date') {
2014                 $rank = <<"             RANK";
2015                         ( FIRST (( SELECT edit_date FROM $br_table rbr WHERE rbr.id = b.id)) )
2016                 RANK
2017         } elsif (lc($sort) eq 'title') {
2018                 $rank = <<"             RANK";
2019                         ( FIRST ((
2020                                 SELECT  COALESCE(LTRIM(SUBSTR( frt.value, COALESCE(SUBSTRING(frt.ind2 FROM '\\\\d+'),'0')::INT )),'zzzzzzzz')
2021                                   FROM  $metabib_full_rec frt
2022                                   WHERE frt.record = b.id
2023                                         AND frt.tag = '245'
2024                                         AND frt.subfield = 'a'
2025                                   LIMIT 1
2026                         )) )
2027                 RANK
2028         } elsif (lc($sort) eq 'author') {
2029                 $rank = <<"             RANK";
2030                         ( FIRST((
2031                                 SELECT  COALESCE(LTRIM(fra.value),'zzzzzzzz')
2032                                   FROM  $metabib_full_rec fra
2033                                   WHERE fra.record = b.id
2034                                         AND fra.tag LIKE '1%'
2035                                         AND fra.subfield = 'a'
2036                                   ORDER BY fra.tag::text::int
2037                                   LIMIT 1
2038                         )) )
2039                 RANK
2040         } else {
2041                 push @bonus_values, @bonus_values;
2042                 $sort = undef;
2043         }
2044
2045
2046         my $select = <<"        SQL";
2047                 SELECT  b.id,
2048                         $relevance AS rel,
2049                         $rank AS rank,
2050                         b.source
2051                 FROM    $search_table_list
2052                         $metabib_record_descriptor rd,
2053                         $source_table src,
2054                         $br_table b
2055                 WHERE   rd.record = b.id
2056                         AND b.active IS TRUE
2057                         AND b.deleted IS FALSE
2058                         $fts_list
2059                         $join_table_list
2060                         $t_filter
2061                         $f_filter
2062                         $a_filter
2063                         $l_filter
2064                         $lf_filter
2065                 GROUP BY b.id, b.source
2066                 ORDER BY 3 $sort_dir
2067                 LIMIT $visiblity_limit
2068         SQL
2069
2070         if ($self->api_name !~ /staff/o) {
2071                 $select = <<"           SQL";
2072
2073                         SELECT  s.*
2074                           FROM  ($select) s
2075                                 LEFT OUTER JOIN $source_table src ON (s.source = src.id)
2076                           WHERE EXISTS (
2077                                 SELECT  1
2078                                   FROM  $asset_call_number_table cn,
2079                                         $asset_copy_table cp,
2080                                         $cs_table cs,
2081                                         $cl_table cl,
2082                                         $descendants d
2083                                   WHERE cn.record = s.id
2084                                         AND cp.status = cs.id
2085                                         AND cp.location = cl.id
2086                                         AND cn.owning_lib = d.id
2087                                         AND cp.call_number = cn.id
2088                                         AND cp.opac_visible IS TRUE
2089                                         AND cs.holdable IS TRUE
2090                                         AND cl.opac_visible IS TRUE
2091                                         AND cp.deleted IS FALSE
2092                                         AND cn.deleted IS FALSE
2093                                   LIMIT 1
2094                                 )
2095                                 OR src.transcendant IS TRUE
2096                           ORDER BY 3 $sort_dir
2097                 SQL
2098         } else {
2099                 $select = <<"           SQL";
2100
2101                         SELECT  s.*
2102                           FROM  ($select) s
2103                                 LEFT OUTER JOIN $source_table src ON (s.source = src.id)
2104                           WHERE EXISTS (
2105                                 SELECT  1
2106                                   FROM  $asset_call_number_table cn,
2107                                         $descendants d
2108                                   WHERE cn.record = s.id
2109                                         AND cn.owning_lib = d.id
2110                                         AND cn.deleted IS FALSE
2111                                   LIMIT 1
2112                                 )
2113                                 OR NOT EXISTS (
2114                                 SELECT  1
2115                                   FROM  $asset_call_number_table cn
2116                                   WHERE cn.record = s.id
2117                                   LIMIT 1
2118                                 )
2119                                 OR src.transcendant IS TRUE
2120                           ORDER BY 3 $sort_dir
2121                 SQL
2122         }
2123
2124
2125         $log->debug("Field Search SQL :: [$select]",DEBUG);
2126
2127         my $recs = $_cdbi->{title}->db_Main->selectall_arrayref(
2128                         $select, {},
2129                         @bonus_values, @types, @forms, @aud, @lang, @lit_form
2130         );
2131
2132         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
2133
2134         my $max = 0;
2135         $max = 1 if (!@$recs);
2136         for (@$recs) {
2137                 $max = $$_[1] if ($$_[1] > $max);
2138         }
2139
2140         my $count = scalar(@$recs);
2141         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
2142                 next unless ($$rec[0]);
2143                 my ($mrid,$rank) = @$rec;
2144                 $client->respond( [$mrid, sprintf('%0.3f',$rank/$max), $count] );
2145         }
2146         return undef;
2147 }
2148
2149 __PACKAGE__->register_method(
2150         api_name        => "open-ils.storage.biblio.multiclass.search_fts.record",
2151         method          => 'biblio_search_multi_class_fts',
2152         api_level       => 1,
2153         stream          => 1,
2154         cachable        => 1,
2155 );
2156 __PACKAGE__->register_method(
2157         api_name        => "open-ils.storage.biblio.multiclass.search_fts.record.staff",
2158         method          => 'biblio_search_multi_class_fts',
2159         api_level       => 1,
2160         stream          => 1,
2161         cachable        => 1,
2162 );
2163
2164
2165
2166 __PACKAGE__->register_method(
2167         api_name        => "open-ils.storage.biblio.multiclass.search_fts",
2168         method          => 'biblio_search_multi_class_fts',
2169         api_level       => 1,
2170         stream          => 1,
2171         cachable        => 1,
2172 );
2173 __PACKAGE__->register_method(
2174         api_name        => "open-ils.storage.biblio.multiclass.search_fts.staff",
2175         method          => 'biblio_search_multi_class_fts',
2176         api_level       => 1,
2177         stream          => 1,
2178         cachable        => 1,
2179 );
2180
2181
2182 1;
2183