Open-ILS/src/perlmods/OpenILS/Application/Storage/Publisher/metabib.pm

   1 package OpenILS::Application::Storage::Publisher::metabib;
   2 use base qw/OpenILS::Application::Storage::Publisher/;
   3 use vars qw/$VERSION/;
   4 use OpenSRF::EX qw/:try/;
   5 use OpenILS::Application::Storage::FTS;
   6 use OpenILS::Utils::Fieldmapper;
   7 use OpenSRF::Utils::Logger qw/:level/;
   8 use OpenSRF::Utils::Cache;
   9 use OpenSRF::Utils::JSON;
  10 use Data::Dumper;
  11 use Digest::MD5 qw/md5_hex/;
  12
  13
  14 my $log = 'OpenSRF::Utils::Logger';
  15
  16 $VERSION = 1;
  17
  18 sub ordered_records_from_metarecord {
  19         my $self = shift;
  20         my $client = shift;
  21         my $mr = shift;
  22         my $formats = shift;
  23         my $org = shift || 1;
  24         my $depth = shift;
  25
  26         my (@types,@forms);
  27
  28         if ($formats) {
  29                 my ($t, $f) = split '-', $formats;
  30                 @types = split '', $t;
  31                 @forms = split '', $f;
  32         }
  33
  34         my $descendants =
  35                 defined($depth) ?
  36                         "actor.org_unit_descendants($org, $depth)" :
  37                         "actor.org_unit_descendants($org)" ;
  38
  39
  40         my $copies_visible = 'AND d.opac_visible IS TRUE AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
  41         $copies_visible = '' if ($self->api_name =~ /staff/o);
  42
  43         my $sm_table = metabib::metarecord_source_map->table;
  44         my $rd_table = metabib::record_descriptor->table;
  45         my $fr_table = metabib::full_rec->table;
  46         my $cn_table = asset::call_number->table;
  47         my $cl_table = asset::copy_location->table;
  48         my $cp_table = asset::copy->table;
  49         my $cs_table = config::copy_status->table;
  50         my $src_table = config::bib_source->table;
  51         my $out_table = actor::org_unit_type->table;
  52         my $br_table = biblio::record_entry->table;
  53
  54         my $sql = <<"   SQL";
  55                 SELECT  record,
  56                         item_type,
  57                         item_form,
  58                         quality,
  59                         FIRST(COALESCE(LTRIM(SUBSTR( value, COALESCE(SUBSTRING(ind2 FROM '\\\\d+'),'0')::INT + 1 )),'zzzzzzzz')) AS title
  60                 FROM    (
  61                         SELECT  rd.record,
  62                                 rd.item_type,
  63                                 rd.item_form,
  64                                 br.quality,
  65                                 fr.tag,
  66                                 fr.subfield,
  67                                 fr.value,
  68                                 fr.ind2
  69         SQL
  70
  71         if ($copies_visible) {
  72                 $sql .= <<"             SQL";
  73                           FROM  $sm_table sm,
  74                                 $br_table br,
  75                                 $fr_table fr,
  76                                 $rd_table rd
  77                           WHERE rd.record = sm.source
  78                                 AND fr.record = sm.source
  79                                 AND br.id = sm.source
  80                                 AND sm.metarecord = ?
  81                                 AND (EXISTS ((SELECT    1
  82                                                 FROM    $cp_table cp
  83                                                         JOIN $cn_table cn ON (cp.call_number = cn.id)
  84                                                         JOIN $cs_table cs ON (cp.status = cs.id)
  85                                                         JOIN $cl_table cl ON (cp.location = cl.id)
  86                                                         JOIN $descendants d ON (cp.circ_lib = d.id)
  87                                                 WHERE   cn.record = sm.source
  88                                                         $copies_visible
  89                                                 LIMIT 1))
  90                                         OR EXISTS ((
  91                                             SELECT      1
  92                                               FROM      $src_table src
  93                                               WHERE     src.id = br.source
  94                                                         AND src.transcendant IS TRUE))
  95                                 )
  96
  97                 SQL
  98         } else {
  99                 $sql .= <<"             SQL";
 100                           FROM  $sm_table sm
 101                                 JOIN $br_table br ON (sm.source = br.id)
 102                                 JOIN $fr_table fr ON (fr.record = br.id)
 103                                 JOIN $rd_table rd ON (rd.record = br.id)
 104                           WHERE sm.metarecord = ?
 105                                 AND ((  EXISTS (
 106                                                 SELECT  1
 107                                                   FROM  $cp_table cp,
 108                                                         $cn_table cn,
 109                                                         $descendants d
 110                                                   WHERE cn.record = br.id
 111                                                         AND cn.deleted = FALSE
 112                                                         AND cp.deleted = FALSE
 113                                                         AND cp.circ_lib = d.id
 114                                                         AND cn.id = cp.call_number
 115                                                   LIMIT 1
 116                                         ) OR NOT EXISTS (
 117                                                 SELECT  1
 118                                                   FROM  $cp_table cp,
 119                                                         $cn_table cn
 120                                                   WHERE cn.record = br.id
 121                                                         AND cn.deleted = FALSE
 122                                                         AND cp.deleted = FALSE
 123                                                         AND cn.id = cp.call_number
 124                                                   LIMIT 1
 125                                         ))
 126                                         OR EXISTS ((
 127                                             SELECT      1
 128                                               FROM      $src_table src
 129                                               WHERE     src.id = br.source
 130                                                         AND src.transcendant IS TRUE))
 131                                 )
 132                 SQL
 133         }
 134
 135         if (@types) {
 136                 $sql .= '                               AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 137         }
 138
 139         if (@forms) {
 140                 $sql .= '                               AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 141         }
 142
 143
 144
 145         $sql .= <<"     SQL";
 146                           OFFSET 0
 147                         ) AS x
 148           WHERE tag = '245'
 149                 AND subfield = 'a'
 150           GROUP BY record, item_type, item_form, quality
 151           ORDER BY
 152                 CASE
 153                         WHEN item_type IS NULL -- default
 154                                 THEN 0
 155                         WHEN item_type = '' -- default
 156                                 THEN 0
 157                         WHEN item_type IN ('a','t') -- books
 158                                 THEN 1
 159                         WHEN item_type = 'g' -- movies
 160                                 THEN 2
 161                         WHEN item_type IN ('i','j') -- sound recordings
 162                                 THEN 3
 163                         WHEN item_type = 'm' -- software
 164                                 THEN 4
 165                         WHEN item_type = 'k' -- images
 166                                 THEN 5
 167                         WHEN item_type IN ('e','f') -- maps
 168                                 THEN 6
 169                         WHEN item_type IN ('o','p') -- mixed
 170                                 THEN 7
 171                         WHEN item_type IN ('c','d') -- music
 172                                 THEN 8
 173                         WHEN item_type = 'r' -- 3d
 174                                 THEN 9
 175                 END,
 176                 title ASC,
 177                 quality DESC
 178         SQL
 179
 180         my $ids = metabib::metarecord_source_map->db_Main->selectcol_arrayref($sql, {}, "$mr", @types, @forms);
 181         return $ids if ($self->api_name =~ /atomic$/o);
 182
 183         $client->respond( $_ ) for ( @$ids );
 184         return undef;
 185
 186 }
 187 __PACKAGE__->register_method(
 188         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records',
 189         method          => 'ordered_records_from_metarecord',
 190         api_level       => 1,
 191         cachable        => 1,
 192 );
 193 __PACKAGE__->register_method(
 194         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records.staff',
 195         method          => 'ordered_records_from_metarecord',
 196         api_level       => 1,
 197         cachable        => 1,
 198 );
 199
 200 __PACKAGE__->register_method(
 201         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records.atomic',
 202         method          => 'ordered_records_from_metarecord',
 203         api_level       => 1,
 204         cachable        => 1,
 205 );
 206 __PACKAGE__->register_method(
 207         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records.staff.atomic',
 208         method          => 'ordered_records_from_metarecord',
 209         api_level       => 1,
 210         cachable        => 1,
 211 );
 212
 213 sub isxn_search {
 214         my $self = shift;
 215         my $client = shift;
 216         my $isxn = lc(shift());
 217
 218         $isxn =~ s/^\s*//o;
 219         $isxn =~ s/\s*$//o;
 220         $isxn =~ s/-//o if ($self->api_name =~ /isbn/o);
 221
 222         my $tag = ($self->api_name =~ /isbn/o) ? "'020' OR f.tag = '024'" : "'022'";
 223
 224         my $fr_table = metabib::full_rec->table;
 225         my $bib_table = biblio::record_entry->table;
 226
 227         my $sql = <<"   SQL";
 228                 SELECT  DISTINCT f.record
 229                   FROM  $fr_table f
 230                         JOIN $bib_table b ON (b.id = f.record)
 231                   WHERE (f.tag = $tag)
 232                         AND f.value LIKE ?
 233                         AND b.deleted IS FALSE
 234         SQL
 235
 236         my $list = metabib::full_rec->db_Main->selectcol_arrayref($sql, {}, "$isxn%");
 237         $client->respond($_) for (@$list);
 238         return undef;
 239 }
 240 __PACKAGE__->register_method(
 241         api_name        => 'open-ils.storage.id_list.biblio.record_entry.search.isbn',
 242         method          => 'isxn_search',
 243         api_level       => 1,
 244         stream          => 1,
 245 );
 246 __PACKAGE__->register_method(
 247         api_name        => 'open-ils.storage.id_list.biblio.record_entry.search.issn',
 248         method          => 'isxn_search',
 249         api_level       => 1,
 250         stream          => 1,
 251 );
 252
 253 sub metarecord_copy_count {
 254         my $self = shift;
 255         my $client = shift;
 256
 257         my %args = @_;
 258
 259         my $sm_table = metabib::metarecord_source_map->table;
 260         my $rd_table = metabib::record_descriptor->table;
 261         my $cn_table = asset::call_number->table;
 262         my $cp_table = asset::copy->table;
 263         my $br_table = biblio::record_entry->table;
 264         my $src_table = config::bib_source->table;
 265         my $cl_table = asset::copy_location->table;
 266         my $cs_table = config::copy_status->table;
 267         my $out_table = actor::org_unit_type->table;
 268
 269         my $descendants = "actor.org_unit_descendants(u.id)";
 270         my $ancestors = "actor.org_unit_ancestors(?) u JOIN $out_table t ON (u.ou_type = t.id)";
 271
 272     if ($args{org_unit} < 0) {
 273         $args{org_unit} *= -1;
 274         $ancestors = "(select org_unit as id from actor.org_lasso_map where lasso = ?) u CROSS JOIN (SELECT -1 AS depth) t";
 275     }
 276
 277         my $copies_visible = 'AND a.opac_visible IS TRUE AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 278         $copies_visible = '' if ($self->api_name =~ /staff/o);
 279
 280         my (@types,@forms);
 281         my ($t_filter, $f_filter) = ('','');
 282
 283         if ($args{format}) {
 284                 my ($t, $f) = split '-', $args{format};
 285                 @types = split '', $t;
 286                 @forms = split '', $f;
 287                 if (@types) {
 288                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 289                 }
 290
 291                 if (@forms) {
 292                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 293                 }
 294         }
 295
 296         my $sql = <<"   SQL";
 297                 SELECT  t.depth,
 298                         u.id AS org_unit,
 299                         sum(
 300                                 (SELECT count(cp.id)
 301                                   FROM  $sm_table r
 302                                         JOIN $cn_table cn ON (cn.record = r.source)
 303                                         JOIN $rd_table rd ON (cn.record = rd.record)
 304                                         JOIN $cp_table cp ON (cn.id = cp.call_number)
 305                                         JOIN $cs_table cs ON (cp.status = cs.id)
 306                                         JOIN $cl_table cl ON (cp.location = cl.id)
 307                                         JOIN $descendants a ON (cp.circ_lib = a.id)
 308                                   WHERE r.metarecord = ?
 309                                         AND cn.deleted IS FALSE
 310                                         AND cp.deleted IS FALSE
 311                                         $copies_visible
 312                                         $t_filter
 313                                         $f_filter
 314                                 )
 315                         ) AS count,
 316                         sum(
 317                                 (SELECT count(cp.id)
 318                                   FROM  $sm_table r
 319                                         JOIN $cn_table cn ON (cn.record = r.source)
 320                                         JOIN $rd_table rd ON (cn.record = rd.record)
 321                                         JOIN $cp_table cp ON (cn.id = cp.call_number)
 322                                         JOIN $cs_table cs ON (cp.status = cs.id)
 323                                         JOIN $cl_table cl ON (cp.location = cl.id)
 324                                         JOIN $descendants a ON (cp.circ_lib = a.id)
 325                                   WHERE r.metarecord = ?
 326                                         AND cp.status IN (0,7)
 327                                         AND cn.deleted IS FALSE
 328                                         AND cp.deleted IS FALSE
 329                                         $copies_visible
 330                                         $t_filter
 331                                         $f_filter
 332                                 )
 333                         ) AS available,
 334                         sum(
 335                                 (SELECT count(cp.id)
 336                                   FROM  $sm_table r
 337                                         JOIN $cn_table cn ON (cn.record = r.source)
 338                                         JOIN $rd_table rd ON (cn.record = rd.record)
 339                                         JOIN $cp_table cp ON (cn.id = cp.call_number)
 340                                         JOIN $cs_table cs ON (cp.status = cs.id)
 341                                         JOIN $cl_table cl ON (cp.location = cl.id)
 342                                   WHERE r.metarecord = ?
 343                                         AND cn.deleted IS FALSE
 344                                         AND cp.deleted IS FALSE
 345                                         AND cp.opac_visible IS TRUE
 346                                         AND cs.holdable IS TRUE
 347                                         AND cl.opac_visible IS TRUE
 348                                         $t_filter
 349                                         $f_filter
 350                                 )
 351                         ) AS unshadow,
 352                         sum(
 353                                 (SELECT sum(1)
 354                                   FROM  $sm_table r
 355                                         JOIN $br_table br ON (br.id = r.source)
 356                                         JOIN $src_table src ON (src.id = br.source)
 357                                   WHERE r.metarecord = ?
 358                                         AND src.transcendant IS TRUE
 359                                 )
 360                         ) AS transcendant
 361
 362                   FROM  $ancestors
 363                   GROUP BY 1,2
 364         SQL
 365
 366         my $sth = metabib::metarecord_source_map->db_Main->prepare_cached($sql);
 367         $sth->execute(  ''.$args{metarecord},
 368                         @types,
 369                         @forms,
 370                         ''.$args{metarecord},
 371                         @types,
 372                         @forms,
 373                         ''.$args{metarecord},
 374                         @types,
 375                         @forms,
 376                         ''.$args{metarecord},
 377                         ''.$args{org_unit},
 378         );
 379
 380         while ( my $row = $sth->fetchrow_hashref ) {
 381                 $client->respond( $row );
 382         }
 383         return undef;
 384 }
 385 __PACKAGE__->register_method(
 386         api_name        => 'open-ils.storage.metabib.metarecord.copy_count',
 387         method          => 'metarecord_copy_count',
 388         api_level       => 1,
 389         stream          => 1,
 390         cachable        => 1,
 391 );
 392 __PACKAGE__->register_method(
 393         api_name        => 'open-ils.storage.metabib.metarecord.copy_count.staff',
 394         method          => 'metarecord_copy_count',
 395         api_level       => 1,
 396         stream          => 1,
 397         cachable        => 1,
 398 );
 399
 400 sub biblio_multi_search_full_rec {
 401         my $self = shift;
 402         my $client = shift;
 403
 404         my %args = @_;
 405         my $class_join = $args{class_join} || 'AND';
 406         my $limit = $args{limit} || 100;
 407         my $offset = $args{offset} || 0;
 408         my $sort = $args{'sort'};
 409         my $sort_dir = $args{sort_dir} || 'DESC';
 410
 411         my @binds;
 412         my @selects;
 413
 414         for my $arg (@{ $args{searches} }) {
 415                 my $term = $$arg{term};
 416                 my $limiters = $$arg{restrict};
 417
 418                 my ($index_col) = metabib::full_rec->columns('FTS');
 419                 $index_col ||= 'value';
 420                 my $search_table = metabib::full_rec->table;
 421
 422                 my $fts = OpenILS::Application::Storage::FTS->compile('default' => $term, 'value',"$index_col");
 423
 424                 my $fts_where = $fts->sql_where_clause();
 425                 my @fts_ranks = $fts->fts_rank;
 426
 427                 my $rank = join(' + ', @fts_ranks);
 428
 429                 my @wheres;
 430                 for my $limit (@$limiters) {
 431                         push @wheres, "( tag = ? AND subfield LIKE ? AND $fts_where )";
 432                         push @binds, $$limit{tag}, $$limit{subfield};
 433                         $log->debug("Limiting query using { tag => $$limit{tag}, subfield => $$limit{subfield} }", DEBUG);
 434                 }
 435                 my $where = join(' OR ', @wheres);
 436
 437                 push @selects, "SELECT id, record, $rank as sum FROM $search_table WHERE $where";
 438
 439         }
 440
 441         my $descendants = defined($args{depth}) ?
 442                                 "actor.org_unit_descendants($args{org_unit}, $args{depth})" :
 443                                 "actor.org_unit_descendants($args{org_unit})" ;
 444
 445
 446         my $metabib_record_descriptor = metabib::record_descriptor->table;
 447         my $metabib_full_rec = metabib::full_rec->table;
 448         my $asset_call_number_table = asset::call_number->table;
 449         my $asset_copy_table = asset::copy->table;
 450         my $cs_table = config::copy_status->table;
 451         my $cl_table = asset::copy_location->table;
 452         my $br_table = biblio::record_entry->table;
 453
 454         my $cj = 'HAVING COUNT(x.id) = ' . scalar(@selects) if ($class_join eq 'AND');
 455         my $search_table =
 456                 '(SELECT x.record, sum(x.sum) FROM (('.
 457                         join(') UNION ALL (', @selects).
 458                         ")) x GROUP BY 1 $cj ORDER BY 2 DESC )";
 459
 460         my $has_vols = 'AND cn.owning_lib = d.id';
 461         my $has_copies = 'AND cp.call_number = cn.id';
 462         my $copies_visible = 'AND d.opac_visible IS TRUE AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 463
 464         if ($self->api_name =~ /staff/o) {
 465                 $copies_visible = '';
 466                 $has_copies = '' if ($ou_type == 0);
 467                 $has_vols = '' if ($ou_type == 0);
 468         }
 469
 470         my ($t_filter, $f_filter) = ('','');
 471         my ($a_filter, $l_filter, $lf_filter) = ('','','');
 472
 473         if (my $a = $args{audience}) {
 474                 $a = [$a] if (!ref($a));
 475                 my @aud = @$a;
 476
 477                 $a_filter = ' AND rd.audience IN ('.join(',',map{'?'}@aud).')';
 478                 push @binds, @aud;
 479         }
 480
 481         if (my $l = $args{language}) {
 482                 $l = [$l] if (!ref($l));
 483                 my @lang = @$l;
 484
 485                 $l_filter = ' AND rd.item_lang IN ('.join(',',map{'?'}@lang).')';
 486                 push @binds, @lang;
 487         }
 488
 489         if (my $f = $args{lit_form}) {
 490                 $f = [$f] if (!ref($f));
 491                 my @lit_form = @$f;
 492
 493                 $lf_filter = ' AND rd.lit_form IN ('.join(',',map{'?'}@lit_form).')';
 494                 push @binds, @lit_form;
 495         }
 496
 497         if (my $f = $args{item_form}) {
 498                 $f = [$f] if (!ref($f));
 499                 my @forms = @$f;
 500
 501                 $f_filter = ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 502                 push @binds, @forms;
 503         }
 504
 505         if (my $t = $args{item_type}) {
 506                 $t = [$t] if (!ref($t));
 507                 my @types = @$t;
 508
 509                 $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 510                 push @binds, @types;
 511         }
 512
 513
 514         if ($args{format}) {
 515                 my ($t, $f) = split '-', $args{format};
 516                 my @types = split '', $t;
 517                 my @forms = split '', $f;
 518                 if (@types) {
 519                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 520                 }
 521
 522                 if (@forms) {
 523                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 524                 }
 525                 push @binds, @types, @forms;
 526         }
 527
 528         my $relevance = 'sum(f.sum)';
 529         $relevance = 1 if (!$copies_visible);
 530
 531         my $rank = $relevance;
 532         if (lc($sort) eq 'pubdate') {
 533                 $rank = <<"             RANK";
 534                         ( FIRST ((
 535                                 SELECT  COALESCE(SUBSTRING(frp.value FROM '\\\\d+'),'9999')::INT
 536                                   FROM  $metabib_full_rec frp
 537                                   WHERE frp.record = f.record
 538                                         AND frp.tag = '260'
 539                                         AND frp.subfield = 'c'
 540                                   LIMIT 1
 541                         )) )
 542                 RANK
 543         } elsif (lc($sort) eq 'create_date') {
 544                 $rank = <<"             RANK";
 545                         ( FIRST (( SELECT create_date FROM $br_table rbr WHERE rbr.id = f.record)) )
 546                 RANK
 547         } elsif (lc($sort) eq 'edit_date') {
 548                 $rank = <<"             RANK";
 549                         ( FIRST (( SELECT edit_date FROM $br_table rbr WHERE rbr.id = f.record)) )
 550                 RANK
 551         } elsif (lc($sort) eq 'title') {
 552                 $rank = <<"             RANK";
 553                         ( FIRST ((
 554                                 SELECT  COALESCE(LTRIM(SUBSTR( frt.value, COALESCE(SUBSTRING(frt.ind2 FROM '\\\\d+'),'0')::INT + 1 )),'zzzzzzzz')
 555                                   FROM  $metabib_full_rec frt
 556                                   WHERE frt.record = f.record
 557                                         AND frt.tag = '245'
 558                                         AND frt.subfield = 'a'
 559                                   LIMIT 1
 560                         )) )
 561                 RANK
 562         } elsif (lc($sort) eq 'author') {
 563                 $rank = <<"             RANK";
 564                         ( FIRST((
 565                                 SELECT  COALESCE(LTRIM(fra.value),'zzzzzzzz')
 566                                   FROM  $metabib_full_rec fra
 567                                   WHERE fra.record = f.record
 568                                         AND fra.tag LIKE '1%'
 569                                         AND fra.subfield = 'a'
 570                                   ORDER BY fra.tag::text::int
 571                                   LIMIT 1
 572                         )) )
 573                 RANK
 574         } else {
 575                 $sort = undef;
 576         }
 577
 578
 579         if ($copies_visible) {
 580                 $select = <<"           SQL";
 581                         SELECT  f.record, $relevance, count(DISTINCT cp.id), $rank
 582                         FROM    $search_table f,
 583                                 $asset_call_number_table cn,
 584                                 $asset_copy_table cp,
 585                                 $cs_table cs,
 586                                 $cl_table cl,
 587                                 $br_table br,
 588                                 $metabib_record_descriptor rd,
 589                                 $descendants d
 590                         WHERE   br.id = f.record
 591                                 AND cn.record = f.record
 592                                 AND rd.record = f.record
 593                                 AND cp.status = cs.id
 594                                 AND cp.location = cl.id
 595                                 AND br.deleted IS FALSE
 596                                 AND cn.deleted IS FALSE
 597                                 AND cp.deleted IS FALSE
 598                                 $has_vols
 599                                 $has_copies
 600                                 $copies_visible
 601                                 $t_filter
 602                                 $f_filter
 603                                 $a_filter
 604                                 $l_filter
 605                                 $lf_filter
 606                         GROUP BY f.record HAVING count(DISTINCT cp.id) > 0
 607                         ORDER BY 4 $sort_dir,3 DESC
 608                 SQL
 609         } else {
 610                 $select = <<"           SQL";
 611                         SELECT  f.record, 1, 1, $rank
 612                         FROM    $search_table f,
 613                                 $br_table br,
 614                                 $metabib_record_descriptor rd
 615                         WHERE   br.id = f.record
 616                                 AND rd.record = f.record
 617                                 AND br.deleted IS FALSE
 618                                 $t_filter
 619                                 $f_filter
 620                                 $a_filter
 621                                 $l_filter
 622                                 $lf_filter
 623                         GROUP BY 1,2,3
 624                         ORDER BY 4 $sort_dir
 625                 SQL
 626         }
 627
 628
 629         $log->debug("Search SQL :: [$select]",DEBUG);
 630
 631         my $recs = metabib::full_rec->db_Main->selectall_arrayref("$select;", {}, @binds);
 632         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
 633
 634         my $max = 0;
 635         $max = 1 if (!@$recs);
 636         for (@$recs) {
 637                 $max = $$_[1] if ($$_[1] > $max);
 638         }
 639
 640         my $count = @$recs;
 641         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
 642                 next unless ($$rec[0]);
 643                 my ($rid,$rank,$junk,$skip) = @$rec;
 644                 $client->respond( [$rid, sprintf('%0.3f',$rank/$max), $count] );
 645         }
 646         return undef;
 647 }
 648 __PACKAGE__->register_method(
 649         api_name        => 'open-ils.storage.biblio.full_rec.multi_search',
 650         method          => 'biblio_multi_search_full_rec',
 651         api_level       => 1,
 652         stream          => 1,
 653         cachable        => 1,
 654 );
 655 __PACKAGE__->register_method(
 656         api_name        => 'open-ils.storage.biblio.full_rec.multi_search.staff',
 657         method          => 'biblio_multi_search_full_rec',
 658         api_level       => 1,
 659         stream          => 1,
 660         cachable        => 1,
 661 );
 662
 663 sub search_full_rec {
 664         my $self = shift;
 665         my $client = shift;
 666
 667         my %args = @_;
 668
 669         my $term = $args{term};
 670         my $limiters = $args{restrict};
 671
 672         my ($index_col) = metabib::full_rec->columns('FTS');
 673         $index_col ||= 'value';
 674         my $search_table = metabib::full_rec->table;
 675
 676         my $fts = OpenILS::Application::Storage::FTS->compile('default' => $term, 'value',"$index_col");
 677
 678         my $fts_where = $fts->sql_where_clause();
 679         my @fts_ranks = $fts->fts_rank;
 680
 681         my $rank = join(' + ', @fts_ranks);
 682
 683         my @binds;
 684         my @wheres;
 685         for my $limit (@$limiters) {
 686                 push @wheres, "( tag = ? AND subfield LIKE ? AND $fts_where )";
 687                 push @binds, $$limit{tag}, $$limit{subfield};
 688                 $log->debug("Limiting query using { tag => $$limit{tag}, subfield => $$limit{subfield} }", DEBUG);
 689         }
 690         my $where = join(' OR ', @wheres);
 691
 692         my $select = "SELECT record, sum($rank) FROM $search_table WHERE $where GROUP BY 1 ORDER BY 2 DESC;";
 693
 694         $log->debug("Search SQL :: [$select]",DEBUG);
 695
 696         my $recs = metabib::full_rec->db_Main->selectall_arrayref($select, {}, @binds);
 697         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
 698
 699         $client->respond($_) for (@$recs);
 700         return undef;
 701 }
 702 __PACKAGE__->register_method(
 703         api_name        => 'open-ils.storage.direct.metabib.full_rec.search_fts.value',
 704         method          => 'search_full_rec',
 705         api_level       => 1,
 706         stream          => 1,
 707         cachable        => 1,
 708 );
 709 __PACKAGE__->register_method(
 710         api_name        => 'open-ils.storage.direct.metabib.full_rec.search_fts.index_vector',
 711         method          => 'search_full_rec',
 712         api_level       => 1,
 713         stream          => 1,
 714         cachable        => 1,
 715 );
 716
 717
 718 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
 719 sub search_class_fts {
 720         my $self = shift;
 721         my $client = shift;
 722         my %args = @_;
 723
 724         my $term = $args{term};
 725         my $ou = $args{org_unit};
 726         my $ou_type = $args{depth};
 727         my $limit = $args{limit};
 728         my $offset = $args{offset};
 729
 730         my $limit_clause = '';
 731         my $offset_clause = '';
 732
 733         $limit_clause = "LIMIT $limit" if (defined $limit and int($limit) > 0);
 734         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
 735
 736         my (@types,@forms);
 737         my ($t_filter, $f_filter) = ('','');
 738
 739         if ($args{format}) {
 740                 my ($t, $f) = split '-', $args{format};
 741                 @types = split '', $t;
 742                 @forms = split '', $f;
 743                 if (@types) {
 744                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 745                 }
 746
 747                 if (@forms) {
 748                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 749                 }
 750         }
 751
 752
 753
 754         my $descendants = defined($ou_type) ?
 755                                 "actor.org_unit_descendants($ou, $ou_type)" :
 756                                 "actor.org_unit_descendants($ou)";
 757
 758         my $class = $self->{cdbi};
 759         my $search_table = $class->table;
 760
 761         my $metabib_record_descriptor = metabib::record_descriptor->table;
 762         my $metabib_metarecord = metabib::metarecord->table;
 763         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
 764         my $asset_call_number_table = asset::call_number->table;
 765         my $asset_copy_table = asset::copy->table;
 766         my $cs_table = config::copy_status->table;
 767         my $cl_table = asset::copy_location->table;
 768
 769         my ($index_col) = $class->columns('FTS');
 770         $index_col ||= 'value';
 771
 772         (my $search_class = $self->api_name) =~ s/.*metabib.(\w+).search_fts.*/$1/o;
 773         my $fts = OpenILS::Application::Storage::FTS->compile($search_class => $term, 'f.value', "f.$index_col");
 774
 775         my $fts_where = $fts->sql_where_clause;
 776         my @fts_ranks = $fts->fts_rank;
 777
 778         my $rank = join(' + ', @fts_ranks);
 779
 780         my $has_vols = 'AND cn.owning_lib = d.id';
 781         my $has_copies = 'AND cp.call_number = cn.id';
 782         my $copies_visible = 'AND d.opac_visible IS TRUE AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 783
 784         my $visible_count = ', count(DISTINCT cp.id)';
 785         my $visible_count_test = 'HAVING count(DISTINCT cp.id) > 0';
 786
 787         if ($self->api_name =~ /staff/o) {
 788                 $copies_visible = '';
 789                 $visible_count_test = '';
 790                 $has_copies = '' if ($ou_type == 0);
 791                 $has_vols = '' if ($ou_type == 0);
 792         }
 793
 794         my $rank_calc = <<"     RANK";
 795                 , (SUM( $rank
 796                         * CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END -- phrase order
 797                         * CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END -- first word match
 798                         * CASE WHEN f.value ~* ? THEN 2 ELSE 1 END -- only word match
 799                 )/COUNT(m.source)), MIN(COALESCE(CHAR_LENGTH(f.value),1))
 800         RANK
 801
 802         $rank_calc = ',1 , 1' if ($self->api_name =~ /unordered/o);
 803
 804         if ($copies_visible) {
 805                 $select = <<"           SQL";
 806                         SELECT  m.metarecord $rank_calc $visible_count, CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
 807                         FROM    $search_table f,
 808                                 $metabib_metarecord_source_map_table m,
 809                                 $asset_call_number_table cn,
 810                                 $asset_copy_table cp,
 811                                 $cs_table cs,
 812                                 $cl_table cl,
 813                                 $metabib_record_descriptor rd,
 814                                 $descendants d
 815                         WHERE   $fts_where
 816                                 AND m.source = f.source
 817                                 AND cn.record = m.source
 818                                 AND rd.record = m.source
 819                                 AND cp.status = cs.id
 820                                 AND cp.location = cl.id
 821                                 $has_vols
 822                                 $has_copies
 823                                 $copies_visible
 824                                 $t_filter
 825                                 $f_filter
 826                         GROUP BY 1 $visible_count_test
 827                         ORDER BY 2 DESC,3
 828                         $limit_clause $offset_clause
 829                 SQL
 830         } else {
 831                 $select = <<"           SQL";
 832                         SELECT  m.metarecord $rank_calc, 0, CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
 833                         FROM    $search_table f,
 834                                 $metabib_metarecord_source_map_table m,
 835                                 $metabib_record_descriptor rd
 836                         WHERE   $fts_where
 837                                 AND m.source = f.source
 838                                 AND rd.record = m.source
 839                                 $t_filter
 840                                 $f_filter
 841                         GROUP BY 1, 4
 842                         ORDER BY 2 DESC,3
 843                         $limit_clause $offset_clause
 844                 SQL
 845         }
 846
 847         $log->debug("Field Search SQL :: [$select]",DEBUG);
 848
 849         my $SQLstring = join('%',$fts->words);
 850         my $REstring = join('\\s+',$fts->words);
 851         my $first_word = ($fts->words)[0].'%';
 852         my $recs = ($self->api_name =~ /unordered/o) ?
 853                         $class->db_Main->selectall_arrayref($select, {}, @types, @forms) :
 854                         $class->db_Main->selectall_arrayref($select, {},
 855                                 '%'.lc($SQLstring).'%',                 # phrase order match
 856                                 lc($first_word),                        # first word match
 857                                 '^\\s*'.lc($REstring).'\\s*/?\s*$',     # full exact match
 858                                 @types, @forms
 859                         );
 860
 861         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
 862
 863         $client->respond($_) for (map { [@$_[0,1,3,4]] } @$recs);
 864         return undef;
 865 }
 866
 867 for my $class ( qw/title author subject keyword series/ ) {
 868         __PACKAGE__->register_method(
 869                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord",
 870                 method          => 'search_class_fts',
 871                 api_level       => 1,
 872                 stream          => 1,
 873                 cdbi            => "metabib::${class}_field_entry",
 874                 cachable        => 1,
 875         );
 876         __PACKAGE__->register_method(
 877                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.unordered",
 878                 method          => 'search_class_fts',
 879                 api_level       => 1,
 880                 stream          => 1,
 881                 cdbi            => "metabib::${class}_field_entry",
 882                 cachable        => 1,
 883         );
 884         __PACKAGE__->register_method(
 885                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.staff",
 886                 method          => 'search_class_fts',
 887                 api_level       => 1,
 888                 stream          => 1,
 889                 cdbi            => "metabib::${class}_field_entry",
 890                 cachable        => 1,
 891         );
 892         __PACKAGE__->register_method(
 893                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.staff.unordered",
 894                 method          => 'search_class_fts',
 895                 api_level       => 1,
 896                 stream          => 1,
 897                 cdbi            => "metabib::${class}_field_entry",
 898                 cachable        => 1,
 899         );
 900 }
 901
 902 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
 903 sub search_class_fts_count {
 904         my $self = shift;
 905         my $client = shift;
 906         my %args = @_;
 907
 908         my $term = $args{term};
 909         my $ou = $args{org_unit};
 910         my $ou_type = $args{depth};
 911         my $limit = $args{limit} || 100;
 912         my $offset = $args{offset} || 0;
 913
 914         my $descendants = defined($ou_type) ?
 915                                 "actor.org_unit_descendants($ou, $ou_type)" :
 916                                 "actor.org_unit_descendants($ou)";
 917
 918         my (@types,@forms);
 919         my ($t_filter, $f_filter) = ('','');
 920
 921         if ($args{format}) {
 922                 my ($t, $f) = split '-', $args{format};
 923                 @types = split '', $t;
 924                 @forms = split '', $f;
 925                 if (@types) {
 926                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 927                 }
 928
 929                 if (@forms) {
 930                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 931                 }
 932         }
 933
 934
 935         (my $search_class = $self->api_name) =~ s/.*metabib.(\w+).search_fts.*/$1/o;
 936
 937         my $class = $self->{cdbi};
 938         my $search_table = $class->table;
 939
 940         my $metabib_record_descriptor = metabib::record_descriptor->table;
 941         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
 942         my $asset_call_number_table = asset::call_number->table;
 943         my $asset_copy_table = asset::copy->table;
 944         my $cs_table = config::copy_status->table;
 945         my $cl_table = asset::copy_location->table;
 946
 947         my ($index_col) = $class->columns('FTS');
 948         $index_col ||= 'value';
 949
 950         my $fts = OpenILS::Application::Storage::FTS->compile($search_class => $term, 'value',"$index_col");
 951
 952         my $fts_where = $fts->sql_where_clause;
 953
 954         my $has_vols = 'AND cn.owning_lib = d.id';
 955         my $has_copies = 'AND cp.call_number = cn.id';
 956         my $copies_visible = 'AND d.opac_visible IS TRUE AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 957         if ($self->api_name =~ /staff/o) {
 958                 $copies_visible = '';
 959                 $has_vols = '' if ($ou_type == 0);
 960                 $has_copies = '' if ($ou_type == 0);
 961         }
 962
 963         # XXX test an "EXISTS version of descendant checking...
 964         my $select;
 965         if ($copies_visible) {
 966                 $select = <<"           SQL";
 967                 SELECT  count(distinct  m.metarecord)
 968                   FROM  $search_table f,
 969                         $metabib_metarecord_source_map_table m,
 970                         $metabib_metarecord_source_map_table mr,
 971                         $asset_call_number_table cn,
 972                         $asset_copy_table cp,
 973                         $cs_table cs,
 974                         $cl_table cl,
 975                         $metabib_record_descriptor rd,
 976                         $descendants d
 977                   WHERE $fts_where
 978                         AND mr.source = f.source
 979                         AND mr.metarecord = m.metarecord
 980                         AND cn.record = m.source
 981                         AND rd.record = m.source
 982                         AND cp.status = cs.id
 983                         AND cp.location = cl.id
 984                         $has_vols
 985                         $has_copies
 986                         $copies_visible
 987                         $t_filter
 988                         $f_filter
 989                 SQL
 990         } else {
 991                 $select = <<"           SQL";
 992                 SELECT  count(distinct  m.metarecord)
 993                   FROM  $search_table f,
 994                         $metabib_metarecord_source_map_table m,
 995                         $metabib_metarecord_source_map_table mr,
 996                         $metabib_record_descriptor rd
 997                   WHERE $fts_where
 998                         AND mr.source = f.source
 999                         AND mr.metarecord = m.metarecord
1000                         AND rd.record = m.source
1001                         $t_filter
1002                         $f_filter
1003                 SQL
1004         }
1005
1006         $log->debug("Field Search Count SQL :: [$select]",DEBUG);
1007
1008         my $recs = $class->db_Main->selectrow_arrayref($select, {}, @types, @forms)->[0];
1009
1010         $log->debug("Count Search yielded $recs results.",DEBUG);
1011
1012         return $recs;
1013
1014 }
1015 for my $class ( qw/title author subject keyword series/ ) {
1016         __PACKAGE__->register_method(
1017                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord_count",
1018                 method          => 'search_class_fts_count',
1019                 api_level       => 1,
1020                 stream          => 1,
1021                 cdbi            => "metabib::${class}_field_entry",
1022                 cachable        => 1,
1023         );
1024         __PACKAGE__->register_method(
1025                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord_count.staff",
1026                 method          => 'search_class_fts_count',
1027                 api_level       => 1,
1028                 stream          => 1,
1029                 cdbi            => "metabib::${class}_field_entry",
1030                 cachable        => 1,
1031         );
1032 }
1033
1034
1035 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
1036 sub postfilter_search_class_fts {
1037         my $self = shift;
1038         my $client = shift;
1039         my %args = @_;
1040
1041         my $term = $args{term};
1042         my $sort = $args{'sort'};
1043         my $sort_dir = $args{sort_dir} || 'DESC';
1044         my $ou = $args{org_unit};
1045         my $ou_type = $args{depth};
1046         my $limit = $args{limit} || 10;
1047         my $visibility_limit = $args{visibility_limit} || 5000;
1048         my $offset = $args{offset} || 0;
1049
1050         my $outer_limit = 1000;
1051
1052         my $limit_clause = '';
1053         my $offset_clause = '';
1054
1055         $limit_clause = "LIMIT $outer_limit";
1056         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
1057
1058         my (@types,@forms,@lang,@aud,@lit_form);
1059         my ($t_filter, $f_filter) = ('','');
1060         my ($a_filter, $l_filter, $lf_filter) = ('','','');
1061         my ($ot_filter, $of_filter) = ('','');
1062         my ($oa_filter, $ol_filter, $olf_filter) = ('','','');
1063
1064         if (my $a = $args{audience}) {
1065                 $a = [$a] if (!ref($a));
1066                 @aud = @$a;
1067
1068                 $a_filter = ' AND rd.audience IN ('.join(',',map{'?'}@aud).')';
1069                 $oa_filter = ' AND ord.audience IN ('.join(',',map{'?'}@aud).')';
1070         }
1071
1072         if (my $l = $args{language}) {
1073                 $l = [$l] if (!ref($l));
1074                 @lang = @$l;
1075
1076                 $l_filter = ' AND rd.item_lang IN ('.join(',',map{'?'}@lang).')';
1077                 $ol_filter = ' AND ord.item_lang IN ('.join(',',map{'?'}@lang).')';
1078         }
1079
1080         if (my $f = $args{lit_form}) {
1081                 $f = [$f] if (!ref($f));
1082                 @lit_form = @$f;
1083
1084                 $lf_filter = ' AND rd.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1085                 $olf_filter = ' AND ord.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1086         }
1087
1088         if ($args{format}) {
1089                 my ($t, $f) = split '-', $args{format};
1090                 @types = split '', $t;
1091                 @forms = split '', $f;
1092                 if (@types) {
1093                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1094                         $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1095                 }
1096
1097                 if (@forms) {
1098                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1099                         $of_filter .= ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1100                 }
1101         }
1102
1103
1104         my $descendants = defined($ou_type) ?
1105                                 "actor.org_unit_descendants($ou, $ou_type)" :
1106                                 "actor.org_unit_descendants($ou)";
1107
1108         my $class = $self->{cdbi};
1109         my $search_table = $class->table;
1110
1111         my $metabib_full_rec = metabib::full_rec->table;
1112         my $metabib_record_descriptor = metabib::record_descriptor->table;
1113         my $metabib_metarecord = metabib::metarecord->table;
1114         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
1115         my $asset_call_number_table = asset::call_number->table;
1116         my $asset_copy_table = asset::copy->table;
1117         my $cs_table = config::copy_status->table;
1118         my $cl_table = asset::copy_location->table;
1119         my $br_table = biblio::record_entry->table;
1120
1121         my ($index_col) = $class->columns('FTS');
1122         $index_col ||= 'value';
1123
1124         (my $search_class = $self->api_name) =~ s/.*metabib.(\w+).post_filter.*/$1/o;
1125
1126         my $fts = OpenILS::Application::Storage::FTS->compile($search_class => $term, 'f.value', "f.$index_col");
1127
1128         my $SQLstring = join('%',map { lc($_) } $fts->words);
1129         my $REstring = '^' . join('\s+',map { lc($_) } $fts->words) . '\W*$';
1130         my $first_word = lc(($fts->words)[0]).'%';
1131
1132         my $fts_where = $fts->sql_where_clause;
1133         my @fts_ranks = $fts->fts_rank;
1134
1135         my %bonus = ();
1136         $bonus{'metabib::keyword_field_entry'} = [ { 'CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END' => $SQLstring } ];
1137         $bonus{'metabib::title_field_entry'} =
1138                 $bonus{'metabib::series_field_entry'} = [
1139                         { 'CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END' => $first_word },
1140                         { 'CASE WHEN f.value ~* ? THEN 2 ELSE 1 END' => $REstring },
1141                         @{ $bonus{'metabib::keyword_field_entry'} }
1142                 ];
1143
1144         my $bonus_list = join ' * ', map { keys %$_ } @{ $bonus{$class} };
1145         $bonus_list ||= '1';
1146
1147         my @bonus_values = map { values %$_ } @{ $bonus{$class} };
1148
1149         my $relevance = join(' + ', @fts_ranks);
1150         $relevance = <<"        RANK";
1151                         (SUM( ( $relevance )  * ( $bonus_list ) )/COUNT(m.source))
1152         RANK
1153
1154         my $string_default_sort = 'zzzz';
1155         $string_default_sort = 'AAAA' if ($sort_dir eq 'DESC');
1156
1157         my $number_default_sort = '9999';
1158         $number_default_sort = '0000' if ($sort_dir eq 'DESC');
1159
1160         my $rank = $relevance;
1161         if (lc($sort) eq 'pubdate') {
1162                 $rank = <<"             RANK";
1163                         ( FIRST ((
1164                                 SELECT  COALESCE(SUBSTRING(frp.value FROM '\\\\d+'),'$number_default_sort')::INT
1165                                   FROM  $metabib_full_rec frp
1166                                   WHERE frp.record = mr.master_record
1167                                         AND frp.tag = '260'
1168                                         AND frp.subfield = 'c'
1169                                   LIMIT 1
1170                         )) )
1171                 RANK
1172         } elsif (lc($sort) eq 'create_date') {
1173                 $rank = <<"             RANK";
1174                         ( FIRST (( SELECT create_date FROM $br_table rbr WHERE rbr.id = mr.master_record)) )
1175                 RANK
1176         } elsif (lc($sort) eq 'edit_date') {
1177                 $rank = <<"             RANK";
1178                         ( FIRST (( SELECT edit_date FROM $br_table rbr WHERE rbr.id = mr.master_record)) )
1179                 RANK
1180         } elsif (lc($sort) eq 'title') {
1181                 $rank = <<"             RANK";
1182                         ( FIRST ((
1183                                 SELECT  COALESCE(LTRIM(SUBSTR( frt.value, COALESCE(SUBSTRING(frt.ind2 FROM '\\\\d+'),'0')::INT + 1 )),'$string_default_sort')
1184                                   FROM  $metabib_full_rec frt
1185                                   WHERE frt.record = mr.master_record
1186                                         AND frt.tag = '245'
1187                                         AND frt.subfield = 'a'
1188                                   LIMIT 1
1189                         )) )
1190                 RANK
1191         } elsif (lc($sort) eq 'author') {
1192                 $rank = <<"             RANK";
1193                         ( FIRST((
1194                                 SELECT  COALESCE(LTRIM(fra.value),'$string_default_sort')
1195                                   FROM  $metabib_full_rec fra
1196                                   WHERE fra.record = mr.master_record
1197                                         AND fra.tag LIKE '1%'
1198                                         AND fra.subfield = 'a'
1199                                   ORDER BY fra.tag::text::int
1200                                   LIMIT 1
1201                         )) )
1202                 RANK
1203         } else {
1204                 $sort = undef;
1205         }
1206
1207         my $select = <<"        SQL";
1208                 SELECT  m.metarecord,
1209                         $relevance,
1210                         CASE WHEN COUNT(DISTINCT smrs.source) = 1 THEN MIN(m.source) ELSE 0 END,
1211                         $rank
1212                 FROM    $search_table f,
1213                         $metabib_metarecord_source_map_table m,
1214                         $metabib_metarecord_source_map_table smrs,
1215                         $metabib_metarecord mr,
1216                         $metabib_record_descriptor rd
1217                 WHERE   $fts_where
1218                         AND smrs.metarecord = mr.id
1219                         AND m.source = f.source
1220                         AND m.metarecord = mr.id
1221                         AND rd.record = smrs.source
1222                         $t_filter
1223                         $f_filter
1224                         $a_filter
1225                         $l_filter
1226                         $lf_filter
1227                 GROUP BY m.metarecord
1228                 ORDER BY 4 $sort_dir, MIN(COALESCE(CHAR_LENGTH(f.value),1))
1229                 LIMIT $visibility_limit
1230         SQL
1231
1232         if (0) {
1233                 $select = <<"           SQL";
1234
1235                         SELECT  DISTINCT s.*
1236                           FROM  $asset_call_number_table cn,
1237                                 $metabib_metarecord_source_map_table mrs,
1238                                 $asset_copy_table cp,
1239                                 $cs_table cs,
1240                                 $cl_table cl,
1241                                 $br_table br,
1242                                 $descendants d,
1243                                 $metabib_record_descriptor ord,
1244                                 ($select) s
1245                           WHERE mrs.metarecord = s.metarecord
1246                                 AND br.id = mrs.source
1247                                 AND cn.record = mrs.source
1248                                 AND cp.status = cs.id
1249                                 AND cp.location = cl.id
1250                                 AND cn.owning_lib = d.id
1251                                 AND cp.call_number = cn.id
1252                                 AND cp.opac_visible IS TRUE
1253                                 AND cs.holdable IS TRUE
1254                                 AND cl.opac_visible IS TRUE
1255                                 AND d.opac_visible IS TRUE
1256                                 AND br.active IS TRUE
1257                                 AND br.deleted IS FALSE
1258                                 AND ord.record = mrs.source
1259                                 $ot_filter
1260                                 $of_filter
1261                                 $oa_filter
1262                                 $ol_filter
1263                                 $olf_filter
1264                           ORDER BY 4 $sort_dir
1265                 SQL
1266         } elsif ($self->api_name !~ /staff/o) {
1267                 $select = <<"           SQL";
1268
1269                         SELECT  DISTINCT s.*
1270                           FROM  ($select) s
1271                           WHERE EXISTS (
1272                                 SELECT  1
1273                                   FROM  $asset_call_number_table cn,
1274                                         $metabib_metarecord_source_map_table mrs,
1275                                         $asset_copy_table cp,
1276                                         $cs_table cs,
1277                                         $cl_table cl,
1278                                         $br_table br,
1279                                         $descendants d,
1280                                         $metabib_record_descriptor ord
1281
1282                                   WHERE mrs.metarecord = s.metarecord
1283                                         AND br.id = mrs.source
1284                                         AND cn.record = mrs.source
1285                                         AND cp.status = cs.id
1286                                         AND cp.location = cl.id
1287                                         AND cp.circ_lib = d.id
1288                                         AND cp.call_number = cn.id
1289                                         AND cp.opac_visible IS TRUE
1290                                         AND cs.holdable IS TRUE
1291                                         AND cl.opac_visible IS TRUE
1292                                         AND d.opac_visible IS TRUE
1293                                         AND br.active IS TRUE
1294                                         AND br.deleted IS FALSE
1295                                         AND ord.record = mrs.source
1296                                         $ot_filter
1297                                         $of_filter
1298                                         $oa_filter
1299                                         $ol_filter
1300                                         $olf_filter
1301                                   LIMIT 1
1302                                 )
1303                           ORDER BY 4 $sort_dir
1304                 SQL
1305         } else {
1306                 $select = <<"           SQL";
1307
1308                         SELECT  DISTINCT s.*
1309                           FROM  ($select) s
1310                           WHERE EXISTS (
1311                                 SELECT  1
1312                                   FROM  $asset_call_number_table cn,
1313                                         $asset_copy_table cp,
1314                                         $metabib_metarecord_source_map_table mrs,
1315                                         $br_table br,
1316                                         $descendants d,
1317                                         $metabib_record_descriptor ord
1318
1319                                   WHERE mrs.metarecord = s.metarecord
1320                                         AND br.id = mrs.source
1321                                         AND cn.record = mrs.source
1322                                         AND cn.id = cp.call_number
1323                                         AND br.deleted IS FALSE
1324                                         AND cn.deleted IS FALSE
1325                                         AND ord.record = mrs.source
1326                                         AND (   cn.owning_lib = d.id
1327                                                 OR (    cp.circ_lib = d.id
1328                                                         AND cp.deleted IS FALSE
1329                                                 )
1330                                         )
1331                                         $ot_filter
1332                                         $of_filter
1333                                         $oa_filter
1334                                         $ol_filter
1335                                         $olf_filter
1336                                   LIMIT 1
1337                                 )
1338                                 OR NOT EXISTS (
1339                                 SELECT  1
1340                                   FROM  $asset_call_number_table cn,
1341                                         $metabib_metarecord_source_map_table mrs,
1342                                         $metabib_record_descriptor ord
1343                                   WHERE mrs.metarecord = s.metarecord
1344                                         AND cn.record = mrs.source
1345                                         AND ord.record = mrs.source
1346                                         $ot_filter
1347                                         $of_filter
1348                                         $oa_filter
1349                                         $ol_filter
1350                                         $olf_filter
1351                                   LIMIT 1
1352                                 )
1353                           ORDER BY 4 $sort_dir
1354                 SQL
1355         }
1356
1357
1358         $log->debug("Field Search SQL :: [$select]",DEBUG);
1359
1360         my $recs = $class->db_Main->selectall_arrayref(
1361                         $select, {},
1362                         (@bonus_values > 0 ? @bonus_values : () ),
1363                         ( (!$sort && @bonus_values > 0) ? @bonus_values : () ),
1364                         @types, @forms, @aud, @lang, @lit_form,
1365                         @types, @forms, @aud, @lang, @lit_form,
1366                         ($self->api_name =~ /staff/o ? (@types, @forms, @aud, @lang, @lit_form) : () ) );
1367
1368         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
1369
1370         my $max = 0;
1371         $max = 1 if (!@$recs);
1372         for (@$recs) {
1373                 $max = $$_[1] if ($$_[1] > $max);
1374         }
1375
1376         my $count = scalar(@$recs);
1377         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
1378                 my ($mrid,$rank,$skip) = @$rec;
1379                 $client->respond( [$mrid, sprintf('%0.3f',$rank/$max), $skip, $count] );
1380         }
1381         return undef;
1382 }
1383
1384 for my $class ( qw/title author subject keyword series/ ) {
1385         __PACKAGE__->register_method(
1386                 api_name        => "open-ils.storage.metabib.$class.post_filter.search_fts.metarecord",
1387                 method          => 'postfilter_search_class_fts',
1388                 api_level       => 1,
1389                 stream          => 1,
1390                 cdbi            => "metabib::${class}_field_entry",
1391                 cachable        => 1,
1392         );
1393         __PACKAGE__->register_method(
1394                 api_name        => "open-ils.storage.metabib.$class.post_filter.search_fts.metarecord.staff",
1395                 method          => 'postfilter_search_class_fts',
1396                 api_level       => 1,
1397                 stream          => 1,
1398                 cdbi            => "metabib::${class}_field_entry",
1399                 cachable        => 1,
1400         );
1401 }
1402
1403
1404
1405 my $_cdbi = {   title   => "metabib::title_field_entry",
1406                 author  => "metabib::author_field_entry",
1407                 subject => "metabib::subject_field_entry",
1408                 keyword => "metabib::keyword_field_entry",
1409                 series  => "metabib::series_field_entry",
1410 };
1411
1412 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
1413 sub postfilter_search_multi_class_fts {
1414         my $self = shift;
1415         my $client = shift;
1416         my %args = @_;
1417
1418         my $sort = $args{'sort'};
1419         my $sort_dir = $args{sort_dir} || 'DESC';
1420         my $ou = $args{org_unit};
1421         my $ou_type = $args{depth};
1422         my $limit = $args{limit} || 10;;
1423         my $visibility_limit = $args{visibility_limit} || 5000;;
1424         my $offset = $args{offset} || 0;
1425
1426         if (!$ou) {
1427                 $ou = actor::org_unit->search( { parent_ou => undef } )->next->id;
1428         }
1429
1430         if (!defined($args{org_unit})) {
1431                 die "No target organizational unit passed to ".$self->api_name;
1432         }
1433
1434         if (! scalar( keys %{$args{searches}} )) {
1435                 die "No search arguments were passed to ".$self->api_name;
1436         }
1437
1438         my $outer_limit = 1000;
1439
1440         my $limit_clause = '';
1441         my $offset_clause = '';
1442
1443         $limit_clause = "LIMIT $outer_limit";
1444         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
1445
1446         my ($avail_filter,@types,@forms,@lang,@aud,@lit_form,@vformats) = ('');
1447         my ($t_filter, $f_filter, $v_filter) = ('','','');
1448         my ($a_filter, $l_filter, $lf_filter) = ('','','');
1449         my ($ot_filter, $of_filter, $ov_filter) = ('','','');
1450         my ($oa_filter, $ol_filter, $olf_filter) = ('','','');
1451
1452         if ($args{available}) {
1453                 $avail_filter = ' AND cp.status IN (0,7)';
1454         }
1455
1456         if (my $a = $args{audience}) {
1457                 $a = [$a] if (!ref($a));
1458                 @aud = @$a;
1459
1460                 $a_filter = ' AND rd.audience IN ('.join(',',map{'?'}@aud).')';
1461                 $oa_filter = ' AND ord.audience IN ('.join(',',map{'?'}@aud).')';
1462         }
1463
1464         if (my $l = $args{language}) {
1465                 $l = [$l] if (!ref($l));
1466                 @lang = @$l;
1467
1468                 $l_filter = ' AND rd.item_lang IN ('.join(',',map{'?'}@lang).')';
1469                 $ol_filter = ' AND ord.item_lang IN ('.join(',',map{'?'}@lang).')';
1470         }
1471
1472         if (my $f = $args{lit_form}) {
1473                 $f = [$f] if (!ref($f));
1474                 @lit_form = @$f;
1475
1476                 $lf_filter = ' AND rd.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1477                 $olf_filter = ' AND ord.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1478         }
1479
1480         if (my $f = $args{item_form}) {
1481                 $f = [$f] if (!ref($f));
1482                 @forms = @$f;
1483
1484                 $f_filter = ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1485                 $of_filter = ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1486         }
1487
1488         if (my $t = $args{item_type}) {
1489                 $t = [$t] if (!ref($t));
1490                 @types = @$t;
1491
1492                 $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1493                 $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1494         }
1495
1496         if (my $v = $args{vr_format}) {
1497                 $v = [$v] if (!ref($v));
1498                 @vformats = @$v;
1499
1500                 $v_filter = ' AND rd.vr_format IN ('.join(',',map{'?'}@vformats).')';
1501                 $ov_filter = ' AND ord.vr_format IN ('.join(',',map{'?'}@vformats).')';
1502         }
1503
1504
1505         # XXX legacy format and item type support
1506         if ($args{format}) {
1507                 my ($t, $f) = split '-', $args{format};
1508                 @types = split '', $t;
1509                 @forms = split '', $f;
1510                 if (@types) {
1511                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1512                         $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1513                 }
1514
1515                 if (@forms) {
1516                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1517                         $of_filter .= ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1518                 }
1519         }
1520
1521
1522
1523         my $descendants = defined($ou_type) ?
1524                                 "actor.org_unit_descendants($ou, $ou_type)" :
1525                                 "actor.org_unit_descendants($ou)";
1526
1527         my $search_table_list = '';
1528         my $fts_list = '';
1529         my $join_table_list = '';
1530         my @rank_list;
1531
1532         my $field_table = config::metabib_field->table;
1533
1534         my @bonus_lists;
1535         my @bonus_values;
1536         my $prev_search_group;
1537         my $curr_search_group;
1538         my $search_class;
1539         my $search_field;
1540         my $metabib_field;
1541         for my $search_group (sort keys %{$args{searches}}) {
1542                 (my $search_group_name = $search_group) =~ s/\|/_/gso;
1543                 ($search_class,$search_field) = split /\|/, $search_group;
1544                 $log->debug("Searching class [$search_class] and field [$search_field]",DEBUG);
1545
1546                 if ($search_field) {
1547                         unless ( $metabib_field = config::metabib_field->search( field_class => $search_class, name => $search_field )->next ) {
1548                                 $log->warn("Requested class [$search_class] or field [$search_field] does not exist!");
1549                                 return undef;
1550                         }
1551                 }
1552
1553                 $prev_search_group = $curr_search_group if ($curr_search_group);
1554
1555                 $curr_search_group = $search_group_name;
1556
1557                 my $class = $_cdbi->{$search_class};
1558                 my $search_table = $class->table;
1559
1560                 my ($index_col) = $class->columns('FTS');
1561                 $index_col ||= 'value';
1562
1563
1564                 my $fts = OpenILS::Application::Storage::FTS->compile($search_class => $args{searches}{$search_group}{term}, $search_group_name.'.value', "$search_group_name.$index_col");
1565
1566                 my $fts_where = $fts->sql_where_clause;
1567                 my @fts_ranks = $fts->fts_rank;
1568
1569                 my $SQLstring = join('%',map { lc($_) } $fts->words);
1570                 my $REstring = '^' . join('\s+',map { lc($_) } $fts->words) . '\W*$';
1571                 my $first_word = lc(($fts->words)[0]).'%';
1572
1573                 $_.=" * (SELECT weight FROM $field_table WHERE $search_group_name.field = id)" for (@fts_ranks);
1574                 my $rank = join(' + ', @fts_ranks);
1575
1576                 my %bonus = ();
1577                 $bonus{'keyword'} = [ { "CASE WHEN $search_group_name.value LIKE ? THEN 10 ELSE 1 END" => $SQLstring } ];
1578                 $bonus{'author'} = [ { "CASE WHEN $search_group_name.value ILIKE ? THEN 10 ELSE 1 END" => $first_word } ];
1579
1580                 $bonus{'series'} = [
1581                         { "CASE WHEN $search_group_name.value LIKE ? THEN 1.5 ELSE 1 END" => $first_word },
1582                         { "CASE WHEN $search_group_name.value ~ ? THEN 20 ELSE 1 END" => $REstring },
1583                 ];
1584
1585                 $bonus{'title'} = [ @{ $bonus{'series'} }, @{ $bonus{'keyword'} } ];
1586
1587                 my $bonus_list = join ' * ', map { keys %$_ } @{ $bonus{$search_class} };
1588                 $bonus_list ||= '1';
1589
1590                 push @bonus_lists, $bonus_list;
1591                 push @bonus_values, map { values %$_ } @{ $bonus{$search_class} };
1592
1593
1594                 #---------------------
1595
1596                 $search_table_list .= "$search_table $search_group_name, ";
1597                 push @rank_list,$rank;
1598                 $fts_list .= " AND $fts_where AND m.source = $search_group_name.source";
1599
1600                 if ($metabib_field) {
1601                         $join_table_list .= " AND $search_group_name.field = " . $metabib_field->id;
1602                         $metabib_field = undef;
1603                 }
1604
1605                 if ($prev_search_group) {
1606                         $join_table_list .= " AND $prev_search_group.source = $curr_search_group.source";
1607                 }
1608         }
1609
1610         my $metabib_record_descriptor = metabib::record_descriptor->table;
1611         my $metabib_full_rec = metabib::full_rec->table;
1612         my $metabib_metarecord = metabib::metarecord->table;
1613         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
1614         my $asset_call_number_table = asset::call_number->table;
1615         my $asset_copy_table = asset::copy->table;
1616         my $cs_table = config::copy_status->table;
1617         my $cl_table = asset::copy_location->table;
1618         my $br_table = biblio::record_entry->table;
1619         my $source_table = config::bib_source->table;
1620
1621         my $bonuses = join (' * ', @bonus_lists);
1622         my $relevance = join (' + ', @rank_list);
1623         $relevance = "SUM( ($relevance) * ($bonuses) )/COUNT(DISTINCT smrs.source)";
1624
1625         my $string_default_sort = 'zzzz';
1626         $string_default_sort = 'AAAA' if ($sort_dir eq 'DESC');
1627
1628         my $number_default_sort = '9999';
1629         $number_default_sort = '0000' if ($sort_dir eq 'DESC');
1630
1631
1632
1633         my $secondary_sort = <<"        SORT";
1634                 ( FIRST ((
1635                         SELECT  COALESCE(LTRIM(SUBSTR( sfrt.value, COALESCE(SUBSTRING(sfrt.ind2 FROM '\\\\d+'),'0')::INT + 1 )),'$string_default_sort')
1636                           FROM  $metabib_full_rec sfrt,
1637                                 $metabib_metarecord mr
1638                           WHERE sfrt.record = mr.master_record
1639                                 AND sfrt.tag = '245'
1640                                 AND sfrt.subfield = 'a'
1641                           LIMIT 1
1642                 )) )
1643         SORT
1644
1645         my $rank = $relevance;
1646         if (lc($sort) eq 'pubdate') {
1647                 $rank = <<"             RANK";
1648                         ( FIRST ((
1649                                 SELECT  COALESCE(SUBSTRING(frp.value FROM '\\\\d+'),'$number_default_sort')::INT
1650                                   FROM  $metabib_full_rec frp
1651                                   WHERE frp.record = mr.master_record
1652                                         AND frp.tag = '260'
1653                                         AND frp.subfield = 'c'
1654                                   LIMIT 1
1655                         )) )
1656                 RANK
1657         } elsif (lc($sort) eq 'create_date') {
1658                 $rank = <<"             RANK";
1659                         ( FIRST (( SELECT create_date FROM $br_table rbr WHERE rbr.id = mr.master_record)) )
1660                 RANK
1661         } elsif (lc($sort) eq 'edit_date') {
1662                 $rank = <<"             RANK";
1663                         ( FIRST (( SELECT edit_date FROM $br_table rbr WHERE rbr.id = mr.master_record)) )
1664                 RANK
1665         } elsif (lc($sort) eq 'title') {
1666                 $rank = <<"             RANK";
1667                         ( FIRST ((
1668                                 SELECT  COALESCE(LTRIM(SUBSTR( frt.value, COALESCE(SUBSTRING(frt.ind2 FROM '\\\\d+'),'0')::INT + 1 )),'$string_default_sort')
1669                                   FROM  $metabib_full_rec frt
1670                                   WHERE frt.record = mr.master_record
1671                                         AND frt.tag = '245'
1672                                         AND frt.subfield = 'a'
1673                                   LIMIT 1
1674                         )) )
1675                 RANK
1676                 $secondary_sort = <<"           SORT";
1677                         ( FIRST ((
1678                                 SELECT  COALESCE(SUBSTRING(sfrp.value FROM '\\\\d+'),'$number_default_sort')::INT
1679                                   FROM  $metabib_full_rec sfrp
1680                                   WHERE sfrp.record = mr.master_record
1681                                         AND sfrp.tag = '260'
1682                                         AND sfrp.subfield = 'c'
1683                                   LIMIT 1
1684                         )) )
1685                 SORT
1686         } elsif (lc($sort) eq 'author') {
1687                 $rank = <<"             RANK";
1688                         ( FIRST((
1689                                 SELECT  COALESCE(LTRIM(fra.value),'$string_default_sort')
1690                                   FROM  $metabib_full_rec fra
1691                                   WHERE fra.record = mr.master_record
1692                                         AND fra.tag LIKE '1%'
1693                                         AND fra.subfield = 'a'
1694                                   ORDER BY fra.tag::text::int
1695                                   LIMIT 1
1696                         )) )
1697                 RANK
1698         } else {
1699                 push @bonus_values, @bonus_values;
1700                 $sort = undef;
1701         }
1702
1703
1704         my $select = <<"        SQL";
1705                 SELECT  m.metarecord,
1706                         $relevance,
1707                         CASE WHEN COUNT(DISTINCT smrs.source) = 1 THEN FIRST(m.source) ELSE 0 END,
1708                         $rank,
1709                         $secondary_sort
1710                 FROM    $search_table_list
1711                         $metabib_metarecord mr,
1712                         $metabib_metarecord_source_map_table m,
1713                         $metabib_metarecord_source_map_table smrs
1714                 WHERE   m.metarecord = smrs.metarecord
1715                         AND mr.id = m.metarecord
1716                         $fts_list
1717                         $join_table_list
1718                 GROUP BY m.metarecord
1719                 -- ORDER BY 4 $sort_dir
1720                 LIMIT $visibility_limit
1721         SQL
1722
1723         if ($self->api_name !~ /staff/o) {
1724                 $select = <<"           SQL";
1725
1726                         SELECT  s.*
1727                           FROM  ($select) s
1728                           WHERE EXISTS (
1729                                 SELECT  1
1730                                   FROM  $asset_call_number_table cn,
1731                                         $metabib_metarecord_source_map_table mrs,
1732                                         $asset_copy_table cp,
1733                                         $cs_table cs,
1734                                         $cl_table cl,
1735                                         $br_table br,
1736                                         $descendants d,
1737                                         $metabib_record_descriptor ord
1738                                   WHERE mrs.metarecord = s.metarecord
1739                                         AND br.id = mrs.source
1740                                         AND cn.record = mrs.source
1741                                         AND cp.status = cs.id
1742                                         AND cp.location = cl.id
1743                                         AND cp.circ_lib = d.id
1744                                         AND cp.call_number = cn.id
1745                                         AND cp.opac_visible IS TRUE
1746                                         AND cs.holdable IS TRUE
1747                                         AND cl.opac_visible IS TRUE
1748                                         AND d.opac_visible IS TRUE
1749                                         AND br.active IS TRUE
1750                                         AND br.deleted IS FALSE
1751                                         AND cp.deleted IS FALSE
1752                                         AND cn.deleted IS FALSE
1753                                         AND ord.record = mrs.source
1754                                         $ot_filter
1755                                         $of_filter
1756                                         $ov_filter
1757                                         $oa_filter
1758                                         $ol_filter
1759                                         $olf_filter
1760                                         $avail_filter
1761                                   LIMIT 1
1762                                 )
1763                                 OR EXISTS (
1764                                 SELECT  1
1765                                   FROM  $br_table br,
1766                                         $metabib_metarecord_source_map_table mrs,
1767                                         $metabib_record_descriptor ord,
1768                                         $source_table src
1769                                   WHERE mrs.metarecord = s.metarecord
1770                                         AND ord.record = mrs.source
1771                                         AND br.id = mrs.source
1772                                         AND br.source = src.id
1773                                         AND src.transcendant IS TRUE
1774                                         $ot_filter
1775                                         $of_filter
1776                                         $ov_filter
1777                                         $oa_filter
1778                                         $ol_filter
1779                                         $olf_filter
1780                                 )
1781                           ORDER BY 4 $sort_dir, 5
1782                 SQL
1783         } else {
1784                 $select = <<"           SQL";
1785
1786                         SELECT  DISTINCT s.*
1787                           FROM  ($select) s,
1788                                 $metabib_metarecord_source_map_table omrs,
1789                                 $metabib_record_descriptor ord
1790                           WHERE omrs.metarecord = s.metarecord
1791                                 AND ord.record = omrs.source
1792                                 AND (   EXISTS (
1793                                                 SELECT  1
1794                                                   FROM  $asset_call_number_table cn,
1795                                                         $asset_copy_table cp,
1796                                                         $descendants d,
1797                                                         $br_table br
1798                                                   WHERE br.id = omrs.source
1799                                                         AND cn.record = omrs.source
1800                                                         AND br.deleted IS FALSE
1801                                                         AND cn.deleted IS FALSE
1802                                                         AND cp.call_number = cn.id
1803                                                         AND (   cn.owning_lib = d.id
1804                                                                 OR (    cp.circ_lib = d.id
1805                                                                         AND cp.deleted IS FALSE
1806                                                                 )
1807                                                         )
1808                                                         $avail_filter
1809                                                   LIMIT 1
1810                                         )
1811                                         OR NOT EXISTS (
1812                                                 SELECT  1
1813                                                   FROM  $asset_call_number_table cn
1814                                                   WHERE cn.record = omrs.source
1815                                                         AND cn.deleted IS FALSE
1816                                                   LIMIT 1
1817                                         )
1818                                         OR EXISTS (
1819                                         SELECT  1
1820                                           FROM  $br_table br,
1821                                                 $metabib_metarecord_source_map_table mrs,
1822                                                 $metabib_record_descriptor ord,
1823                                                 $source_table src
1824                                           WHERE mrs.metarecord = s.metarecord
1825                                                 AND br.id = mrs.source
1826                                                 AND br.source = src.id
1827                                                 AND src.transcendant IS TRUE
1828                                                 $ot_filter
1829                                                 $of_filter
1830                                                 $ov_filter
1831                                                 $oa_filter
1832                                                 $ol_filter
1833                                                 $olf_filter
1834                                         )
1835                                 )
1836                                 $ot_filter
1837                                 $of_filter
1838                                 $ov_filter
1839                                 $oa_filter
1840                                 $ol_filter
1841                                 $olf_filter
1842
1843                           ORDER BY 4 $sort_dir, 5
1844                 SQL
1845         }
1846
1847
1848         $log->debug("Field Search SQL :: [$select]",DEBUG);
1849
1850         my $recs = $_cdbi->{title}->db_Main->selectall_arrayref(
1851                         $select, {},
1852                         @bonus_values,
1853                         @types, @forms, @vformats, @aud, @lang, @lit_form,
1854                         @types, @forms, @vformats, @aud, @lang, @lit_form,
1855                         # ($self->api_name =~ /staff/o ? (@types, @forms, @aud, @lang, @lit_form) : () )
1856         );
1857
1858         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
1859
1860         my $max = 0;
1861         $max = 1 if (!@$recs);
1862         for (@$recs) {
1863                 $max = $$_[1] if ($$_[1] > $max);
1864         }
1865
1866         my $count = scalar(@$recs);
1867         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
1868                 next unless ($$rec[0]);
1869                 my ($mrid,$rank,$skip) = @$rec;
1870                 $client->respond( [$mrid, sprintf('%0.3f',$rank/$max), $skip, $count] );
1871         }
1872         return undef;
1873 }
1874
1875 __PACKAGE__->register_method(
1876         api_name        => "open-ils.storage.metabib.post_filter.multiclass.search_fts.metarecord",
1877         method          => 'postfilter_search_multi_class_fts',
1878         api_level       => 1,
1879         stream          => 1,
1880         cachable        => 1,
1881 );
1882 __PACKAGE__->register_method(
1883         api_name        => "open-ils.storage.metabib.post_filter.multiclass.search_fts.metarecord.staff",
1884         method          => 'postfilter_search_multi_class_fts',
1885         api_level       => 1,
1886         stream          => 1,
1887         cachable        => 1,
1888 );
1889
1890 __PACKAGE__->register_method(
1891         api_name        => "open-ils.storage.metabib.multiclass.search_fts",
1892         method          => 'postfilter_search_multi_class_fts',
1893         api_level       => 1,
1894         stream          => 1,
1895         cachable        => 1,
1896 );
1897 __PACKAGE__->register_method(
1898         api_name        => "open-ils.storage.metabib.multiclass.search_fts.staff",
1899         method          => 'postfilter_search_multi_class_fts',
1900         api_level       => 1,
1901         stream          => 1,
1902         cachable        => 1,
1903 );
1904
1905 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
1906 sub biblio_search_multi_class_fts {
1907         my $self = shift;
1908         my $client = shift;
1909         my %args = @_;
1910
1911         my $sort = $args{'sort'};
1912         my $sort_dir = $args{sort_dir} || 'DESC';
1913         my $ou = $args{org_unit};
1914         my $ou_type = $args{depth};
1915         my $limit = $args{limit} || 10;
1916         my $pref_lang = $args{prefered_language} || 'eng';
1917         my $visibility_limit = $args{visibility_limit} || 5000;
1918         my $offset = $args{offset} || 0;
1919
1920         if (!$ou) {
1921                 $ou = actor::org_unit->search( { parent_ou => undef } )->next->id;
1922         }
1923
1924         if (! scalar( keys %{$args{searches}} )) {
1925                 die "No search arguments were passed to ".$self->api_name;
1926         }
1927
1928         my $outer_limit = 1000;
1929
1930         my $limit_clause = '';
1931         my $offset_clause = '';
1932
1933         $limit_clause = "LIMIT $outer_limit";
1934         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
1935
1936         my ($avail_filter,@types,@forms,@lang,@aud,@lit_form,@vformats) = ('');
1937         my ($t_filter, $f_filter, $v_filter) = ('','','');
1938         my ($a_filter, $l_filter, $lf_filter) = ('','','');
1939         my ($ot_filter, $of_filter, $ov_filter) = ('','','');
1940         my ($oa_filter, $ol_filter, $olf_filter) = ('','','');
1941
1942         if ($args{available}) {
1943                 $avail_filter = ' AND cp.status IN (0,7)';
1944         }
1945
1946         if (my $a = $args{audience}) {
1947                 $a = [$a] if (!ref($a));
1948                 @aud = @$a;
1949
1950                 $a_filter = ' AND rd.audience IN ('.join(',',map{'?'}@aud).')';
1951                 $oa_filter = ' AND ord.audience IN ('.join(',',map{'?'}@aud).')';
1952         }
1953
1954         if (my $l = $args{language}) {
1955                 $l = [$l] if (!ref($l));
1956                 @lang = @$l;
1957
1958                 $l_filter = ' AND rd.item_lang IN ('.join(',',map{'?'}@lang).')';
1959                 $ol_filter = ' AND ord.item_lang IN ('.join(',',map{'?'}@lang).')';
1960         }
1961
1962         if (my $f = $args{lit_form}) {
1963                 $f = [$f] if (!ref($f));
1964                 @lit_form = @$f;
1965
1966                 $lf_filter = ' AND rd.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1967                 $olf_filter = ' AND ord.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1968         }
1969
1970         if (my $f = $args{item_form}) {
1971                 $f = [$f] if (!ref($f));
1972                 @forms = @$f;
1973
1974                 $f_filter = ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1975                 $of_filter = ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1976         }
1977
1978         if (my $t = $args{item_type}) {
1979                 $t = [$t] if (!ref($t));
1980                 @types = @$t;
1981
1982                 $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1983                 $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1984         }
1985
1986         if (my $v = $args{vr_format}) {
1987                 $v = [$v] if (!ref($v));
1988                 @vformats = @$v;
1989
1990                 $v_filter = ' AND rd.vr_format IN ('.join(',',map{'?'}@vformats).')';
1991                 $ov_filter = ' AND ord.vr_format IN ('.join(',',map{'?'}@vformats).')';
1992         }
1993
1994         # XXX legacy format and item type support
1995         if ($args{format}) {
1996                 my ($t, $f) = split '-', $args{format};
1997                 @types = split '', $t;
1998                 @forms = split '', $f;
1999                 if (@types) {
2000                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
2001                         $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
2002                 }
2003
2004                 if (@forms) {
2005                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
2006                         $of_filter .= ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
2007                 }
2008         }
2009
2010
2011         my $descendants = defined($ou_type) ?
2012                                 "actor.org_unit_descendants($ou, $ou_type)" :
2013                                 "actor.org_unit_descendants($ou)";
2014
2015         my $search_table_list = '';
2016         my $fts_list = '';
2017         my $join_table_list = '';
2018         my @rank_list;
2019
2020         my $field_table = config::metabib_field->table;
2021
2022         my @bonus_lists;
2023         my @bonus_values;
2024         my $prev_search_group;
2025         my $curr_search_group;
2026         my $search_class;
2027         my $search_field;
2028         my $metabib_field;
2029         for my $search_group (sort keys %{$args{searches}}) {
2030                 (my $search_group_name = $search_group) =~ s/\|/_/gso;
2031                 ($search_class,$search_field) = split /\|/, $search_group;
2032                 $log->debug("Searching class [$search_class] and field [$search_field]",DEBUG);
2033
2034                 if ($search_field) {
2035                         unless ( $metabib_field = config::metabib_field->search( field_class => $search_class, name => $search_field )->next ) {
2036                                 $log->warn("Requested class [$search_class] or field [$search_field] does not exist!");
2037                                 return undef;
2038                         }
2039                 }
2040
2041                 $prev_search_group = $curr_search_group if ($curr_search_group);
2042
2043                 $curr_search_group = $search_group_name;
2044
2045                 my $class = $_cdbi->{$search_class};
2046                 my $search_table = $class->table;
2047
2048                 my ($index_col) = $class->columns('FTS');
2049                 $index_col ||= 'value';
2050
2051
2052                 my $fts = OpenILS::Application::Storage::FTS->compile($search_class => $args{searches}{$search_group}{term}, $search_group_name.'.value', "$search_group_name.$index_col");
2053
2054                 my $fts_where = $fts->sql_where_clause;
2055                 my @fts_ranks = $fts->fts_rank;
2056
2057                 my $SQLstring = join('%',map { lc($_) } $fts->words) .'%';
2058                 my $REstring = '^' . join('\s+',map { lc($_) } $fts->words) . '\W*$';
2059                 my $first_word = lc(($fts->words)[0]).'%';
2060
2061                 $_.=" * (SELECT weight FROM $field_table WHERE $search_group_name.field = id)" for (@fts_ranks);
2062                 my $rank = join('  + ', @fts_ranks);
2063
2064                 my %bonus = ();
2065                 $bonus{'subject'} = [];
2066                 $bonus{'author'} = [ { "CASE WHEN $search_group_name.value ILIKE ? THEN 1.5 ELSE 1 END" => $first_word } ];
2067
2068                 $bonus{'keyword'} = [ { "CASE WHEN $search_group_name.value ILIKE ? THEN 10 ELSE 1 END" => $SQLstring } ];
2069
2070                 $bonus{'series'} = [
2071                         { "CASE WHEN $search_group_name.value ILIKE ? THEN 1.5 ELSE 1 END" => $first_word },
2072                         { "CASE WHEN $search_group_name.value ~ ? THEN 20 ELSE 1 END" => $REstring },
2073                 ];
2074
2075                 $bonus{'title'} = [ @{ $bonus{'series'} }, @{ $bonus{'keyword'} } ];
2076
2077                 if ($pref_lang) {
2078                         push @{ $bonus{'title'} }, { "CASE WHEN rd.item_lang = ? THEN 10 ELSE 1 END" => $pref_lang };
2079                         push @{ $bonus{'author'} }, { "CASE WHEN rd.item_lang = ? THEN 10 ELSE 1 END" => $pref_lang };
2080                         push @{ $bonus{'subject'} }, { "CASE WHEN rd.item_lang = ? THEN 10 ELSE 1 END" => $pref_lang };
2081                         push @{ $bonus{'keyword'} }, { "CASE WHEN rd.item_lang = ? THEN 10 ELSE 1 END" => $pref_lang };
2082                         push @{ $bonus{'series'} }, { "CASE WHEN rd.item_lang = ? THEN 10 ELSE 1 END" => $pref_lang };
2083                 }
2084
2085                 my $bonus_list = join ' * ', map { keys %$_ } @{ $bonus{$search_class} };
2086                 $bonus_list ||= '1';
2087
2088                 push @bonus_lists, $bonus_list;
2089                 push @bonus_values, map { values %$_ } @{ $bonus{$search_class} };
2090
2091                 #---------------------
2092
2093                 $search_table_list .= "$search_table $search_group_name, ";
2094                 push @rank_list,$rank;
2095                 $fts_list .= " AND $fts_where AND b.id = $search_group_name.source";
2096
2097                 if ($metabib_field) {
2098                         $fts_list .= " AND $curr_search_group.field = " . $metabib_field->id;
2099                         $metabib_field = undef;
2100                 }
2101
2102                 if ($prev_search_group) {
2103                         $join_table_list .= " AND $prev_search_group.source = $curr_search_group.source";
2104                 }
2105         }
2106
2107         my $metabib_record_descriptor = metabib::record_descriptor->table;
2108         my $metabib_full_rec = metabib::full_rec->table;
2109         my $metabib_metarecord = metabib::metarecord->table;
2110         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
2111         my $asset_call_number_table = asset::call_number->table;
2112         my $asset_copy_table = asset::copy->table;
2113         my $cs_table = config::copy_status->table;
2114         my $cl_table = asset::copy_location->table;
2115         my $br_table = biblio::record_entry->table;
2116         my $source_table = config::bib_source->table;
2117
2118
2119         my $bonuses = join (' * ', @bonus_lists);
2120         my $relevance = join (' + ', @rank_list);
2121         $relevance = "AVG( ($relevance) * ($bonuses) )";
2122
2123         my $string_default_sort = 'zzzz';
2124         $string_default_sort = 'AAAA' if ($sort_dir eq 'DESC');
2125
2126         my $number_default_sort = '9999';
2127         $number_default_sort = '0000' if ($sort_dir eq 'DESC');
2128
2129         my $rank = $relevance;
2130         if (lc($sort) eq 'pubdate') {
2131                 $rank = <<"             RANK";
2132                         ( FIRST ((
2133                                 SELECT  COALESCE(SUBSTRING(frp.value FROM '\\\\d{4}'),'$number_default_sort')::INT
2134                                   FROM  $metabib_full_rec frp
2135                                   WHERE frp.record = b.id
2136                                         AND frp.tag = '260'
2137                                         AND frp.subfield = 'c'
2138                                   LIMIT 1
2139                         )) )
2140                 RANK
2141         } elsif (lc($sort) eq 'create_date') {
2142                 $rank = <<"             RANK";
2143                         ( FIRST (( SELECT create_date FROM $br_table rbr WHERE rbr.id = b.id)) )
2144                 RANK
2145         } elsif (lc($sort) eq 'edit_date') {
2146                 $rank = <<"             RANK";
2147                         ( FIRST (( SELECT edit_date FROM $br_table rbr WHERE rbr.id = b.id)) )
2148                 RANK
2149         } elsif (lc($sort) eq 'title') {
2150                 $rank = <<"             RANK";
2151                         ( FIRST ((
2152                                 SELECT  COALESCE(LTRIM(SUBSTR( frt.value, COALESCE(SUBSTRING(frt.ind2 FROM '\\\\d+'),'0')::INT + 1 )),'$string_default_sort')
2153                                   FROM  $metabib_full_rec frt
2154                                   WHERE frt.record = b.id
2155                                         AND frt.tag = '245'
2156                                         AND frt.subfield = 'a'
2157                                   LIMIT 1
2158                         )) )
2159                 RANK
2160         } elsif (lc($sort) eq 'author') {
2161                 $rank = <<"             RANK";
2162                         ( FIRST((
2163                                 SELECT  COALESCE(LTRIM(fra.value),'$string_default_sort')
2164                                   FROM  $metabib_full_rec fra
2165                                   WHERE fra.record = b.id
2166                                         AND fra.tag LIKE '1%'
2167                                         AND fra.subfield = 'a'
2168                                   ORDER BY fra.tag::text::int
2169                                   LIMIT 1
2170                         )) )
2171                 RANK
2172         } else {
2173                 push @bonus_values, @bonus_values;
2174                 $sort = undef;
2175         }
2176
2177
2178         my $select = <<"        SQL";
2179                 SELECT  b.id,
2180                         $relevance AS rel,
2181                         $rank AS rank,
2182                         b.source
2183                 FROM    $search_table_list
2184                         $metabib_record_descriptor rd,
2185                         $source_table src,
2186                         $br_table b
2187                 WHERE   rd.record = b.id
2188                         AND b.active IS TRUE
2189                         AND b.deleted IS FALSE
2190                         $fts_list
2191                         $join_table_list
2192                         $t_filter
2193                         $f_filter
2194                         $v_filter
2195                         $a_filter
2196                         $l_filter
2197                         $lf_filter
2198                 GROUP BY b.id, b.source
2199                 ORDER BY 3 $sort_dir
2200                 LIMIT $visibility_limit
2201         SQL
2202
2203         if ($self->api_name !~ /staff/o) {
2204                 $select = <<"           SQL";
2205
2206                         SELECT  s.*
2207                           FROM  ($select) s
2208                                 LEFT OUTER JOIN $source_table src ON (s.source = src.id)
2209                           WHERE EXISTS (
2210                                 SELECT  1
2211                                   FROM  $asset_call_number_table cn,
2212                                         $asset_copy_table cp,
2213                                         $cs_table cs,
2214                                         $cl_table cl,
2215                                         $descendants d
2216                                   WHERE cn.record = s.id
2217                                         AND cp.status = cs.id
2218                                         AND cp.location = cl.id
2219                                         AND cp.call_number = cn.id
2220                                         AND cp.opac_visible IS TRUE
2221                                         AND cs.holdable IS TRUE
2222                                         AND cl.opac_visible IS TRUE
2223                                         AND d.opac_visible IS TRUE
2224                                         AND cp.deleted IS FALSE
2225                                         AND cn.deleted IS FALSE
2226                                         AND cp.circ_lib = d.id
2227                                         $avail_filter
2228                                   LIMIT 1
2229                                 )
2230                                 OR src.transcendant IS TRUE
2231                           ORDER BY 3 $sort_dir
2232                 SQL
2233         } else {
2234                 $select = <<"           SQL";
2235
2236                         SELECT  s.*
2237                           FROM  ($select) s
2238                                 LEFT OUTER JOIN $source_table src ON (s.source = src.id)
2239                           WHERE EXISTS (
2240                                 SELECT  1
2241                                   FROM  $asset_call_number_table cn,
2242                                         $asset_copy_table cp,
2243                                         $descendants d
2244                                   WHERE cn.record = s.id
2245                                         AND cp.call_number = cn.id
2246                                         AND cn.deleted IS FALSE
2247                                         AND cp.circ_lib = d.id
2248                                         AND cp.deleted IS FALSE
2249                                         $avail_filter
2250                                   LIMIT 1
2251                                 )
2252                                 OR NOT EXISTS (
2253                                 SELECT  1
2254                                   FROM  $asset_call_number_table cn
2255                                   WHERE cn.record = s.id
2256                                   LIMIT 1
2257                                 )
2258                                 OR src.transcendant IS TRUE
2259                           ORDER BY 3 $sort_dir
2260                 SQL
2261         }
2262
2263
2264         $log->debug("Field Search SQL :: [$select]",DEBUG);
2265
2266         my $recs = $_cdbi->{title}->db_Main->selectall_arrayref(
2267                         $select, {},
2268                         @bonus_values, @types, @forms, @vformats, @aud, @lang, @lit_form
2269         );
2270
2271         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
2272
2273         my $count = scalar(@$recs);
2274         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
2275                 next unless ($$rec[0]);
2276                 my ($mrid,$rank) = @$rec;
2277                 $client->respond( [$mrid, sprintf('%0.3f',$rank), $count] );
2278         }
2279         return undef;
2280 }
2281
2282 __PACKAGE__->register_method(
2283         api_name        => "open-ils.storage.biblio.multiclass.search_fts.record",
2284         method          => 'biblio_search_multi_class_fts',
2285         api_level       => 1,
2286         stream          => 1,
2287         cachable        => 1,
2288 );
2289 __PACKAGE__->register_method(
2290         api_name        => "open-ils.storage.biblio.multiclass.search_fts.record.staff",
2291         method          => 'biblio_search_multi_class_fts',
2292         api_level       => 1,
2293         stream          => 1,
2294         cachable        => 1,
2295 );
2296
2297
2298
2299 __PACKAGE__->register_method(
2300         api_name        => "open-ils.storage.biblio.multiclass.search_fts",
2301         method          => 'biblio_search_multi_class_fts',
2302         api_level       => 1,
2303         stream          => 1,
2304         cachable        => 1,
2305 );
2306 __PACKAGE__->register_method(
2307         api_name        => "open-ils.storage.biblio.multiclass.search_fts.staff",
2308         method          => 'biblio_search_multi_class_fts',
2309         api_level       => 1,
2310         stream          => 1,
2311         cachable        => 1,
2312 );
2313
2314 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
2315 sub staged_fts {
2316         my $self = shift;
2317         my $client = shift;
2318         my %args = @_;
2319
2320         my $ou = $args{org_unit};
2321         my $limit = $args{limit} || 10;
2322         my $offset = $args{offset} || 0;
2323
2324         if (!$ou) {
2325                 $ou = actor::org_unit->search( { parent_ou => undef } )->next->id;
2326         }
2327
2328         if (! scalar( keys %{$args{searches}} )) {
2329                 die "No search arguments were passed to ".$self->api_name;
2330         }
2331
2332         my (@statuses,@types,@forms,@lang,@aud,@lit_form,@vformats,@bib_level);
2333
2334         if ($args{available}) {
2335                 @statuses = (0,7);
2336         }
2337
2338         if (my $s = $args{statuses}) {
2339                 $s = [$s] if (!ref($s));
2340                 @statuses = @$s;
2341         }
2342
2343         if (my $a = $args{audience}) {
2344                 $a = [$a] if (!ref($a));
2345                 @aud = @$a;
2346         }
2347
2348         if (my $l = $args{language}) {
2349                 $l = [$l] if (!ref($l));
2350                 @lang = @$l;
2351         }
2352
2353         if (my $f = $args{lit_form}) {
2354                 $f = [$f] if (!ref($f));
2355                 @lit_form = @$f;
2356         }
2357
2358         if (my $f = $args{item_form}) {
2359                 $f = [$f] if (!ref($f));
2360                 @forms = @$f;
2361         }
2362
2363         if (my $t = $args{item_type}) {
2364                 $t = [$t] if (!ref($t));
2365                 @types = @$t;
2366         }
2367
2368         if (my $b = $args{bib_level}) {
2369                 $b = [$b] if (!ref($b));
2370                 @bib_level = @$b;
2371         }
2372
2373         if (my $v = $args{vr_format}) {
2374                 $v = [$v] if (!ref($v));
2375                 @vformats = @$v;
2376         }
2377
2378         # XXX legacy format and item type support
2379         if ($args{format}) {
2380                 my ($t, $f) = split '-', $args{format};
2381                 @types = split '', $t;
2382                 @forms = split '', $f;
2383         }
2384
2385     my %stored_proc_search_args;
2386         for my $search_group (sort keys %{$args{searches}}) {
2387                 (my $search_group_name = $search_group) =~ s/\|/_/gso;
2388                 my ($search_class,$search_field) = split /\|/, $search_group;
2389                 $log->debug("Searching class [$search_class] and field [$search_field]",DEBUG);
2390
2391                 if ($search_field) {
2392                         unless ( config::metabib_field->search( field_class => $search_class, name => $search_field )->next ) {
2393                                 $log->warn("Requested class [$search_class] or field [$search_field] does not exist!");
2394                                 return undef;
2395                         }
2396                 }
2397
2398                 my $class = $_cdbi->{$search_class};
2399                 my $search_table = $class->table;
2400
2401                 my ($index_col) = $class->columns('FTS');
2402                 $index_col ||= 'value';
2403
2404
2405                 my $fts = OpenILS::Application::Storage::FTS->compile(
2406             $search_class => $args{searches}{$search_group}{term},
2407             $search_group_name.'.value',
2408             "$search_group_name.$index_col"
2409         );
2410                 $fts->sql_where_clause; # this builds the ranks for us
2411
2412                 my @fts_ranks = $fts->fts_rank;
2413                 my @fts_queries = $fts->fts_query;
2414                 my @phrases = map { lc($_) } $fts->phrases;
2415                 my @words = map { lc($_) } $fts->words;
2416
2417         $stored_proc_search_args{$search_group} = {
2418             fts_rank    => \@fts_ranks,
2419             fts_query   => \@fts_queries,
2420             phrase      => \@phrases,
2421             word        => \@words,
2422         };
2423
2424         }
2425
2426         my $param_search_ou = $ou;
2427         my $param_depth = $args{depth}; $param_depth = 'NULL' unless (defined($param_depth) and length($param_depth) > 0 );
2428     my $param_searches = OpenSRF::Utils::JSON->perl2JSON( \%stored_proc_search_args ); $param_searches =~ s/\$//go; $param_searches = '$$'.$param_searches.'$$';
2429     my $param_statuses = '$${' . join(',', map { s/\$//go; $_ } @statuses) . '}$$';
2430     my $param_audience = '$${' . join(',', map { s/\$//go; $_ } @aud) . '}$$';
2431     my $param_language = '$${' . join(',', map { s/\$//go; $_ } @lang) . '}$$';
2432     my $param_lit_form = '$${' . join(',', map { s/\$//go; $_ } @lit_form) . '}$$';
2433     my $param_types = '$${' . join(',', map { s/\$//go; $_ } @types) . '}$$';
2434     my $param_forms = '$${' . join(',', map { s/\$//go; $_ } @forms) . '}$$';
2435     my $param_vformats = '$${' . join(',', map { s/\$//go; $_ } @vformats) . '}$$';
2436     my $param_bib_level = '$${' . join(',', map { s/\$//go; $_ } @bib_level) . '}$$';
2437         my $param_pref_lang = $args{preferred_language}; $param_pref_lang =~ s/\$//go; $param_pref_lang = '$$'.$param_pref_lang.'$$';
2438         my $param_pref_lang_multiplier = $args{preferred_language_weight}; $param_pref_lang_multiplier ||= 'NULL';
2439         my $param_sort = $args{'sort'}; $param_sort =~ s/\$//go; $param_sort = '$$'.$param_sort.'$$';
2440         my $param_sort_desc = defined($args{sort_dir}) && $args{sort_dir} =~ /^d/io ? "'t'" : "'f'";
2441         my $metarecord = $self->api_name =~ /metabib/o ? "'t'" : "'f'";
2442         my $staff = $self->api_name =~ /staff/o ? "'t'" : "'f'";
2443     my $param_rel_limit = $args{core_limit}; $param_rel_limit ||= 'NULL';
2444     my $param_chk_limit = $args{check_limit}; $param_chk_limit ||= 'NULL';
2445     my $param_skip_chk = $args{skip_check}; $param_skip_chk ||= 'NULL';
2446
2447         my $sth = metabib::metarecord_source_map->db_Main->prepare(<<"    SQL");
2448         SELECT  *
2449           FROM  search.staged_fts(
2450                     $param_search_ou,
2451                     $param_depth,
2452                     $param_searches,
2453                     $param_statuses,
2454                     $param_audience,
2455                     $param_language,
2456                     $param_lit_form,
2457                     $param_types,
2458                     $param_forms,
2459                     $param_vformats,
2460                     $param_bib_level,
2461                     $param_pref_lang,
2462                     $param_pref_lang_multiplier,
2463                     $param_sort,
2464                     $param_sort_desc,
2465                     $metarecord,
2466                     $staff,
2467                     $param_rel_limit,
2468                     $param_chk_limit,
2469                     $param_skip_chk
2470                 );
2471     SQL
2472
2473     $sth->execute;
2474
2475     my $recs = $sth->fetchall_arrayref({});
2476     my $summary_row = pop @$recs;
2477
2478     my $total = $$summary_row{total};
2479     my $checked = $$summary_row{checked};
2480     my $visible = $$summary_row{visible};
2481     my $deleted = $$summary_row{deleted};
2482     my $excluded = $$summary_row{excluded};
2483
2484     my $estimate = $visible;
2485     if ( $total > $checked && $checked ) {
2486         my $deleted_ratio = $deleted / $checked;
2487         my $exclution_ratio = $excluded / $checked;
2488         my $delete_adjusted_total = $total - ( $total * $deleted_ratio );
2489
2490         $estimate = $$summary_row{estimated_hit_count} = int($delete_adjusted_total - ( $delete_adjusted_total * $exclution_ratio ));
2491     }
2492
2493     delete $$summary_row{id};
2494     delete $$summary_row{rel};
2495     delete $$summary_row{record};
2496
2497     $client->respond( $summary_row );
2498
2499         $log->debug("Search yielded ".scalar(@$recs)." checked, visible results with an approximate visible total of $estimate.",DEBUG);
2500
2501         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
2502         delete $$rec{checked};
2503         delete $$rec{visible};
2504         delete $$rec{excluded};
2505         delete $$rec{deleted};
2506         delete $$rec{total};
2507         $$rec{rel} = sprintf('%0.3f',$$rec{rel});
2508
2509                 $client->respond( $rec );
2510         }
2511         return undef;
2512 }
2513 __PACKAGE__->register_method(
2514         api_name        => "open-ils.storage.biblio.multiclass.staged.search_fts",
2515         method          => 'staged_fts',
2516         api_level       => 1,
2517         stream          => 1,
2518         cachable        => 1,
2519 );
2520 __PACKAGE__->register_method(
2521         api_name        => "open-ils.storage.biblio.multiclass.staged.search_fts.staff",
2522         method          => 'staged_fts',
2523         api_level       => 1,
2524         stream          => 1,
2525         cachable        => 1,
2526 );
2527 __PACKAGE__->register_method(
2528         api_name        => "open-ils.storage.metabib.multiclass.staged.search_fts",
2529         method          => 'staged_fts',
2530         api_level       => 1,
2531         stream          => 1,
2532         cachable        => 1,
2533 );
2534 __PACKAGE__->register_method(
2535         api_name        => "open-ils.storage.metabib.multiclass.staged.search_fts.staff",
2536         method          => 'staged_fts',
2537         api_level       => 1,
2538         stream          => 1,
2539         cachable        => 1,
2540 );
2541
2542
2543 sub xref_count {
2544         my $self = shift;
2545         my $client = shift;
2546         my $args = shift;
2547
2548         my $term = $$args{term};
2549         my $limit = $$args{max} || 1;
2550         my $min = $$args{min} || 1;
2551         my @classes = @{$$args{class}};
2552
2553         $limit = $min if ($min > $limit);
2554
2555         if (!@classes) {
2556                 @classes = ( qw/ title author subject series keyword / );
2557         }
2558
2559         my %matches;
2560         my $bre_table = biblio::record_entry->table;
2561         my $cn_table = asset::call_number->table;
2562         my $cp_table = asset::copy->table;
2563
2564         for my $search_class ( @classes ) {
2565
2566                 my $class = $_cdbi->{$search_class};
2567                 my $search_table = $class->table;
2568
2569                 my ($index_col) = $class->columns('FTS');
2570                 $index_col ||= 'value';
2571
2572
2573                 my $where = OpenILS::Application::Storage::FTS
2574                         ->compile($search_class => $term, $search_class.'.value', "$search_class.$index_col")
2575                         ->sql_where_clause;
2576
2577                 my $SQL = <<"           SQL";
2578                         SELECT  COUNT(DISTINCT X.source)
2579                           FROM  (SELECT $search_class.source
2580                                   FROM  $search_table $search_class
2581                                         JOIN $bre_table b ON (b.id = $search_class.source)
2582                                   WHERE $where
2583                                         AND NOT b.deleted
2584                                         AND b.active
2585                                   LIMIT $limit) X
2586                           HAVING COUNT(DISTINCT X.source) >= $min;
2587                 SQL
2588
2589                 my $res = $class->db_Main->selectrow_arrayref( $SQL );
2590                 $matches{$search_class} = $res ? $res->[0] : 0;
2591         }
2592
2593         return \%matches;
2594 }
2595 __PACKAGE__->register_method(
2596         api_name        => "open-ils.storage.search.xref",
2597         method          => 'xref_count',
2598         api_level       => 1,
2599 );
2600
2601
2602
2603 1;
2604