Open-ILS/src/perlmods/OpenILS/Application/Storage/Publisher/metabib.pm

   1 package OpenILS::Application::Storage::Publisher::metabib;
   2 use base qw/OpenILS::Application::Storage::Publisher/;
   3 use vars qw/$VERSION/;
   4 use OpenSRF::EX qw/:try/;
   5 use OpenILS::Application::Storage::FTS;
   6 use OpenILS::Utils::Fieldmapper;
   7 use OpenSRF::Utils::Logger qw/:level/;
   8 use OpenSRF::Utils::Cache;
   9 use Data::Dumper;
  10 use Digest::MD5 qw/md5_hex/;
  11
  12
  13 my $log = 'OpenSRF::Utils::Logger';
  14
  15 $VERSION = 1;
  16
  17 sub ordered_records_from_metarecord {
  18         my $self = shift;
  19         my $client = shift;
  20         my $mr = shift;
  21         my $formats = shift;
  22         my $org = shift || 1;
  23         my $depth = shift;
  24
  25         my (@types,@forms);
  26
  27         if ($formats) {
  28                 my ($t, $f) = split '-', $formats;
  29                 @types = split '', $t;
  30                 @forms = split '', $f;
  31         }
  32
  33         my $descendants =
  34                 defined($depth) ?
  35                         "actor.org_unit_descendants($org, $depth)" :
  36                         "actor.org_unit_descendants($org)" ;
  37
  38
  39         my $copies_visible = 'AND d.opac_visible IS TRUE AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
  40         $copies_visible = '' if ($self->api_name =~ /staff/o);
  41
  42         my $sm_table = metabib::metarecord_source_map->table;
  43         my $rd_table = metabib::record_descriptor->table;
  44         my $fr_table = metabib::full_rec->table;
  45         my $cn_table = asset::call_number->table;
  46         my $cl_table = asset::copy_location->table;
  47         my $cp_table = asset::copy->table;
  48         my $cs_table = config::copy_status->table;
  49         my $src_table = config::bib_source->table;
  50         my $out_table = actor::org_unit_type->table;
  51         my $br_table = biblio::record_entry->table;
  52
  53         my $sql = <<"   SQL";
  54                 SELECT  record,
  55                         item_type,
  56                         item_form,
  57                         quality,
  58                         FIRST(COALESCE(LTRIM(SUBSTR( value, COALESCE(SUBSTRING(ind2 FROM '\\\\d+'),'0')::INT + 1 )),'zzzzzzzz')) AS title
  59                 FROM    (
  60                         SELECT  rd.record,
  61                                 rd.item_type,
  62                                 rd.item_form,
  63                                 br.quality,
  64                                 fr.tag,
  65                                 fr.subfield,
  66                                 fr.value,
  67                                 fr.ind2
  68         SQL
  69
  70         if ($copies_visible) {
  71                 $sql .= <<"             SQL";
  72                           FROM  $sm_table sm,
  73                                 $br_table br,
  74                                 $fr_table fr,
  75                                 $rd_table rd
  76                           WHERE rd.record = sm.source
  77                                 AND fr.record = sm.source
  78                                 AND br.id = sm.source
  79                                 AND sm.metarecord = ?
  80                                 AND (EXISTS ((SELECT    1
  81                                                 FROM    $cp_table cp
  82                                                         JOIN $cn_table cn ON (cp.call_number = cn.id)
  83                                                         JOIN $cs_table cs ON (cp.status = cs.id)
  84                                                         JOIN $cl_table cl ON (cp.location = cl.id)
  85                                                         JOIN $descendants d ON (cp.circ_lib = d.id)
  86                                                 WHERE   cn.record = sm.source
  87                                                         $copies_visible
  88                                                 LIMIT 1))
  89                                         OR EXISTS ((
  90                                             SELECT      1
  91                                               FROM      $src_table src
  92                                               WHERE     src.id = br.source
  93                                                         AND src.transcendant IS TRUE))
  94                                 )
  95
  96                 SQL
  97         } else {
  98                 $sql .= <<"             SQL";
  99                           FROM  $sm_table sm
 100                                 JOIN $br_table br ON (sm.source = br.id)
 101                                 JOIN $fr_table fr ON (fr.record = br.id)
 102                                 JOIN $rd_table rd ON (rd.record = br.id)
 103                           WHERE sm.metarecord = ?
 104                                 AND ((  EXISTS (
 105                                                 SELECT  1
 106                                                   FROM  $cp_table cp,
 107                                                         $cn_table cn,
 108                                                         $descendants d
 109                                                   WHERE cn.record = br.id
 110                                                         AND cn.deleted = FALSE
 111                                                         AND cp.deleted = FALSE
 112                                                         AND cp.circ_lib = d.id
 113                                                         AND cn.id = cp.call_number
 114                                                   LIMIT 1
 115                                         ) OR NOT EXISTS (
 116                                                 SELECT  1
 117                                                   FROM  $cp_table cp,
 118                                                         $cn_table cn
 119                                                   WHERE cn.record = br.id
 120                                                         AND cn.deleted = FALSE
 121                                                         AND cp.deleted = FALSE
 122                                                         AND cn.id = cp.call_number
 123                                                   LIMIT 1
 124                                         ))
 125                                         OR EXISTS ((
 126                                             SELECT      1
 127                                               FROM      $src_table src
 128                                               WHERE     src.id = br.source
 129                                                         AND src.transcendant IS TRUE))
 130                                 )
 131                 SQL
 132         }
 133
 134         if (@types) {
 135                 $sql .= '                               AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 136         }
 137
 138         if (@forms) {
 139                 $sql .= '                               AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 140         }
 141
 142
 143
 144         $sql .= <<"     SQL";
 145                           OFFSET 0
 146                         ) AS x
 147           WHERE tag = '245'
 148                 AND subfield = 'a'
 149           GROUP BY record, item_type, item_form, quality
 150           ORDER BY
 151                 CASE
 152                         WHEN item_type IS NULL -- default
 153                                 THEN 0
 154                         WHEN item_type = '' -- default
 155                                 THEN 0
 156                         WHEN item_type IN ('a','t') -- books
 157                                 THEN 1
 158                         WHEN item_type = 'g' -- movies
 159                                 THEN 2
 160                         WHEN item_type IN ('i','j') -- sound recordings
 161                                 THEN 3
 162                         WHEN item_type = 'm' -- software
 163                                 THEN 4
 164                         WHEN item_type = 'k' -- images
 165                                 THEN 5
 166                         WHEN item_type IN ('e','f') -- maps
 167                                 THEN 6
 168                         WHEN item_type IN ('o','p') -- mixed
 169                                 THEN 7
 170                         WHEN item_type IN ('c','d') -- music
 171                                 THEN 8
 172                         WHEN item_type = 'r' -- 3d
 173                                 THEN 9
 174                 END,
 175                 title ASC,
 176                 quality DESC
 177         SQL
 178
 179         my $ids = metabib::metarecord_source_map->db_Main->selectcol_arrayref($sql, {}, "$mr", @types, @forms);
 180         return $ids if ($self->api_name =~ /atomic$/o);
 181
 182         $client->respond( $_ ) for ( @$ids );
 183         return undef;
 184
 185 }
 186 __PACKAGE__->register_method(
 187         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records',
 188         method          => 'ordered_records_from_metarecord',
 189         api_level       => 1,
 190         cachable        => 1,
 191 );
 192 __PACKAGE__->register_method(
 193         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records.staff',
 194         method          => 'ordered_records_from_metarecord',
 195         api_level       => 1,
 196         cachable        => 1,
 197 );
 198
 199 __PACKAGE__->register_method(
 200         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records.atomic',
 201         method          => 'ordered_records_from_metarecord',
 202         api_level       => 1,
 203         cachable        => 1,
 204 );
 205 __PACKAGE__->register_method(
 206         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records.staff.atomic',
 207         method          => 'ordered_records_from_metarecord',
 208         api_level       => 1,
 209         cachable        => 1,
 210 );
 211
 212 sub isxn_search {
 213         my $self = shift;
 214         my $client = shift;
 215         my $isxn = lc(shift());
 216
 217         $isxn =~ s/^\s*//o;
 218         $isxn =~ s/\s*$//o;
 219         $isxn =~ s/-//o if ($self->api_name =~ /isbn/o);
 220
 221         my $tag = ($self->api_name =~ /isbn/o) ? "'020' OR f.tag = '024'" : "'022'";
 222
 223         my $fr_table = metabib::full_rec->table;
 224         my $bib_table = biblio::record_entry->table;
 225
 226         my $sql = <<"   SQL";
 227                 SELECT  DISTINCT f.record
 228                   FROM  $fr_table f
 229                         JOIN $bib_table b ON (b.id = f.record)
 230                   WHERE (f.tag = $tag)
 231                         AND f.value LIKE ?
 232                         AND b.deleted IS FALSE
 233         SQL
 234
 235         my $list = metabib::full_rec->db_Main->selectcol_arrayref($sql, {}, "$isxn%");
 236         $client->respond($_) for (@$list);
 237         return undef;
 238 }
 239 __PACKAGE__->register_method(
 240         api_name        => 'open-ils.storage.id_list.biblio.record_entry.search.isbn',
 241         method          => 'isxn_search',
 242         api_level       => 1,
 243         stream          => 1,
 244 );
 245 __PACKAGE__->register_method(
 246         api_name        => 'open-ils.storage.id_list.biblio.record_entry.search.issn',
 247         method          => 'isxn_search',
 248         api_level       => 1,
 249         stream          => 1,
 250 );
 251
 252 sub metarecord_copy_count {
 253         my $self = shift;
 254         my $client = shift;
 255
 256         my %args = @_;
 257
 258         my $sm_table = metabib::metarecord_source_map->table;
 259         my $rd_table = metabib::record_descriptor->table;
 260         my $cn_table = asset::call_number->table;
 261         my $cp_table = asset::copy->table;
 262         my $br_table = biblio::record_entry->table;
 263         my $src_table = config::bib_source->table;
 264         my $cl_table = asset::copy_location->table;
 265         my $cs_table = config::copy_status->table;
 266         my $out_table = actor::org_unit_type->table;
 267         my $descendants = "actor.org_unit_descendants(u.id)";
 268         my $ancestors = "actor.org_unit_ancestors(?)";
 269
 270         my $copies_visible = 'AND a.opac_visible IS TRUE AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 271         $copies_visible = '' if ($self->api_name =~ /staff/o);
 272
 273         my (@types,@forms);
 274         my ($t_filter, $f_filter) = ('','');
 275
 276         if ($args{format}) {
 277                 my ($t, $f) = split '-', $args{format};
 278                 @types = split '', $t;
 279                 @forms = split '', $f;
 280                 if (@types) {
 281                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 282                 }
 283
 284                 if (@forms) {
 285                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 286                 }
 287         }
 288
 289         my $sql = <<"   SQL";
 290                 SELECT  t.depth,
 291                         u.id AS org_unit,
 292                         sum(
 293                                 (SELECT count(cp.id)
 294                                   FROM  $sm_table r
 295                                         JOIN $cn_table cn ON (cn.record = r.source)
 296                                         JOIN $rd_table rd ON (cn.record = rd.record)
 297                                         JOIN $cp_table cp ON (cn.id = cp.call_number)
 298                                         JOIN $cs_table cs ON (cp.status = cs.id)
 299                                         JOIN $cl_table cl ON (cp.location = cl.id)
 300                                         JOIN $descendants a ON (cp.circ_lib = a.id)
 301                                   WHERE r.metarecord = ?
 302                                         AND cn.deleted IS FALSE
 303                                         AND cp.deleted IS FALSE
 304                                         $copies_visible
 305                                         $t_filter
 306                                         $f_filter
 307                                 )
 308                         ) AS count,
 309                         sum(
 310                                 (SELECT count(cp.id)
 311                                   FROM  $sm_table r
 312                                         JOIN $cn_table cn ON (cn.record = r.source)
 313                                         JOIN $rd_table rd ON (cn.record = rd.record)
 314                                         JOIN $cp_table cp ON (cn.id = cp.call_number)
 315                                         JOIN $cs_table cs ON (cp.status = cs.id)
 316                                         JOIN $cl_table cl ON (cp.location = cl.id)
 317                                         JOIN $descendants a ON (cp.circ_lib = a.id)
 318                                   WHERE r.metarecord = ?
 319                                         AND cp.status IN (0,7)
 320                                         AND cn.deleted IS FALSE
 321                                         AND cp.deleted IS FALSE
 322                                         $copies_visible
 323                                         $t_filter
 324                                         $f_filter
 325                                 )
 326                         ) AS available,
 327                         sum(
 328                                 (SELECT count(cp.id)
 329                                   FROM  $sm_table r
 330                                         JOIN $cn_table cn ON (cn.record = r.source)
 331                                         JOIN $rd_table rd ON (cn.record = rd.record)
 332                                         JOIN $cp_table cp ON (cn.id = cp.call_number)
 333                                         JOIN $cs_table cs ON (cp.status = cs.id)
 334                                         JOIN $cl_table cl ON (cp.location = cl.id)
 335                                   WHERE r.metarecord = ?
 336                                         AND cn.deleted IS FALSE
 337                                         AND cp.deleted IS FALSE
 338                                         AND cp.opac_visible IS TRUE
 339                                         AND cs.holdable IS TRUE
 340                                         AND cl.opac_visible IS TRUE
 341                                         $t_filter
 342                                         $f_filter
 343                                 )
 344                         ) AS unshadow,
 345                         sum(
 346                                 (SELECT sum(1)
 347                                   FROM  $sm_table r
 348                                         JOIN $br_table br ON (br.id = r.source)
 349                                         JOIN $src_table src ON (src.id = br.source)
 350                                   WHERE r.metarecord = ?
 351                                         AND src.transcendant IS TRUE
 352                                 )
 353                         ) AS transcendant
 354
 355                   FROM  $ancestors u
 356                         JOIN $out_table t ON (u.ou_type = t.id)
 357                   GROUP BY 1,2
 358         SQL
 359
 360         my $sth = metabib::metarecord_source_map->db_Main->prepare_cached($sql);
 361         $sth->execute(  ''.$args{metarecord},
 362                         @types,
 363                         @forms,
 364                         ''.$args{metarecord},
 365                         @types,
 366                         @forms,
 367                         ''.$args{metarecord},
 368                         @types,
 369                         @forms,
 370                         ''.$args{metarecord},
 371                         ''.$args{org_unit},
 372         );
 373
 374         while ( my $row = $sth->fetchrow_hashref ) {
 375                 $client->respond( $row );
 376         }
 377         return undef;
 378 }
 379 __PACKAGE__->register_method(
 380         api_name        => 'open-ils.storage.metabib.metarecord.copy_count',
 381         method          => 'metarecord_copy_count',
 382         api_level       => 1,
 383         stream          => 1,
 384         cachable        => 1,
 385 );
 386 __PACKAGE__->register_method(
 387         api_name        => 'open-ils.storage.metabib.metarecord.copy_count.staff',
 388         method          => 'metarecord_copy_count',
 389         api_level       => 1,
 390         stream          => 1,
 391         cachable        => 1,
 392 );
 393
 394 sub biblio_multi_search_full_rec {
 395         my $self = shift;
 396         my $client = shift;
 397
 398         my %args = @_;
 399         my $class_join = $args{class_join} || 'AND';
 400         my $limit = $args{limit} || 100;
 401         my $offset = $args{offset} || 0;
 402         my $sort = $args{'sort'};
 403         my $sort_dir = $args{sort_dir} || 'DESC';
 404
 405         my @binds;
 406         my @selects;
 407
 408         for my $arg (@{ $args{searches} }) {
 409                 my $term = $$arg{term};
 410                 my $limiters = $$arg{restrict};
 411
 412                 my ($index_col) = metabib::full_rec->columns('FTS');
 413                 $index_col ||= 'value';
 414                 my $search_table = metabib::full_rec->table;
 415
 416                 my $fts = OpenILS::Application::Storage::FTS->compile('default' => $term, 'value',"$index_col");
 417
 418                 my $fts_where = $fts->sql_where_clause();
 419                 my @fts_ranks = $fts->fts_rank;
 420
 421                 my $rank = join(' + ', @fts_ranks);
 422
 423                 my @wheres;
 424                 for my $limit (@$limiters) {
 425                         push @wheres, "( tag = ? AND subfield LIKE ? AND $fts_where )";
 426                         push @binds, $$limit{tag}, $$limit{subfield};
 427                         $log->debug("Limiting query using { tag => $$limit{tag}, subfield => $$limit{subfield} }", DEBUG);
 428                 }
 429                 my $where = join(' OR ', @wheres);
 430
 431                 push @selects, "SELECT id, record, $rank as sum FROM $search_table WHERE $where";
 432
 433         }
 434
 435         my $descendants = defined($args{depth}) ?
 436                                 "actor.org_unit_descendants($args{org_unit}, $args{depth})" :
 437                                 "actor.org_unit_descendants($args{org_unit})" ;
 438
 439
 440         my $metabib_record_descriptor = metabib::record_descriptor->table;
 441         my $metabib_full_rec = metabib::full_rec->table;
 442         my $asset_call_number_table = asset::call_number->table;
 443         my $asset_copy_table = asset::copy->table;
 444         my $cs_table = config::copy_status->table;
 445         my $cl_table = asset::copy_location->table;
 446         my $br_table = biblio::record_entry->table;
 447
 448         my $cj = 'HAVING COUNT(x.id) = ' . scalar(@selects) if ($class_join eq 'AND');
 449         my $search_table =
 450                 '(SELECT x.record, sum(x.sum) FROM (('.
 451                         join(') UNION ALL (', @selects).
 452                         ")) x GROUP BY 1 $cj ORDER BY 2 DESC )";
 453
 454         my $has_vols = 'AND cn.owning_lib = d.id';
 455         my $has_copies = 'AND cp.call_number = cn.id';
 456         my $copies_visible = 'AND d.opac_visible IS TRUE AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 457
 458         if ($self->api_name =~ /staff/o) {
 459                 $copies_visible = '';
 460                 $has_copies = '' if ($ou_type == 0);
 461                 $has_vols = '' if ($ou_type == 0);
 462         }
 463
 464         my ($t_filter, $f_filter) = ('','');
 465         my ($a_filter, $l_filter, $lf_filter) = ('','','');
 466
 467         if (my $a = $args{audience}) {
 468                 $a = [$a] if (!ref($a));
 469                 my @aud = @$a;
 470
 471                 $a_filter = ' AND rd.audience IN ('.join(',',map{'?'}@aud).')';
 472                 push @binds, @aud;
 473         }
 474
 475         if (my $l = $args{language}) {
 476                 $l = [$l] if (!ref($l));
 477                 my @lang = @$l;
 478
 479                 $l_filter = ' AND rd.item_lang IN ('.join(',',map{'?'}@lang).')';
 480                 push @binds, @lang;
 481         }
 482
 483         if (my $f = $args{lit_form}) {
 484                 $f = [$f] if (!ref($f));
 485                 my @lit_form = @$f;
 486
 487                 $lf_filter = ' AND rd.lit_form IN ('.join(',',map{'?'}@lit_form).')';
 488                 push @binds, @lit_form;
 489         }
 490
 491         if (my $f = $args{item_form}) {
 492                 $f = [$f] if (!ref($f));
 493                 my @forms = @$f;
 494
 495                 $f_filter = ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 496                 push @binds, @forms;
 497         }
 498
 499         if (my $t = $args{item_type}) {
 500                 $t = [$t] if (!ref($t));
 501                 my @types = @$t;
 502
 503                 $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 504                 push @binds, @types;
 505         }
 506
 507
 508         if ($args{format}) {
 509                 my ($t, $f) = split '-', $args{format};
 510                 my @types = split '', $t;
 511                 my @forms = split '', $f;
 512                 if (@types) {
 513                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 514                 }
 515
 516                 if (@forms) {
 517                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 518                 }
 519                 push @binds, @types, @forms;
 520         }
 521
 522         my $relevance = 'sum(f.sum)';
 523         $relevance = 1 if (!$copies_visible);
 524
 525         my $rank = $relevance;
 526         if (lc($sort) eq 'pubdate') {
 527                 $rank = <<"             RANK";
 528                         ( FIRST ((
 529                                 SELECT  COALESCE(SUBSTRING(frp.value FROM '\\\\d+'),'9999')::INT
 530                                   FROM  $metabib_full_rec frp
 531                                   WHERE frp.record = f.record
 532                                         AND frp.tag = '260'
 533                                         AND frp.subfield = 'c'
 534                                   LIMIT 1
 535                         )) )
 536                 RANK
 537         } elsif (lc($sort) eq 'create_date') {
 538                 $rank = <<"             RANK";
 539                         ( FIRST (( SELECT create_date FROM $br_table rbr WHERE rbr.id = f.record)) )
 540                 RANK
 541         } elsif (lc($sort) eq 'edit_date') {
 542                 $rank = <<"             RANK";
 543                         ( FIRST (( SELECT edit_date FROM $br_table rbr WHERE rbr.id = f.record)) )
 544                 RANK
 545         } elsif (lc($sort) eq 'title') {
 546                 $rank = <<"             RANK";
 547                         ( FIRST ((
 548                                 SELECT  COALESCE(LTRIM(SUBSTR( frt.value, COALESCE(SUBSTRING(frt.ind2 FROM '\\\\d+'),'0')::INT + 1 )),'zzzzzzzz')
 549                                   FROM  $metabib_full_rec frt
 550                                   WHERE frt.record = f.record
 551                                         AND frt.tag = '245'
 552                                         AND frt.subfield = 'a'
 553                                   LIMIT 1
 554                         )) )
 555                 RANK
 556         } elsif (lc($sort) eq 'author') {
 557                 $rank = <<"             RANK";
 558                         ( FIRST((
 559                                 SELECT  COALESCE(LTRIM(fra.value),'zzzzzzzz')
 560                                   FROM  $metabib_full_rec fra
 561                                   WHERE fra.record = f.record
 562                                         AND fra.tag LIKE '1%'
 563                                         AND fra.subfield = 'a'
 564                                   ORDER BY fra.tag::text::int
 565                                   LIMIT 1
 566                         )) )
 567                 RANK
 568         } else {
 569                 $sort = undef;
 570         }
 571
 572
 573         if ($copies_visible) {
 574                 $select = <<"           SQL";
 575                         SELECT  f.record, $relevance, count(DISTINCT cp.id), $rank
 576                         FROM    $search_table f,
 577                                 $asset_call_number_table cn,
 578                                 $asset_copy_table cp,
 579                                 $cs_table cs,
 580                                 $cl_table cl,
 581                                 $br_table br,
 582                                 $metabib_record_descriptor rd,
 583                                 $descendants d
 584                         WHERE   br.id = f.record
 585                                 AND cn.record = f.record
 586                                 AND rd.record = f.record
 587                                 AND cp.status = cs.id
 588                                 AND cp.location = cl.id
 589                                 AND br.deleted IS FALSE
 590                                 AND cn.deleted IS FALSE
 591                                 AND cp.deleted IS FALSE
 592                                 $has_vols
 593                                 $has_copies
 594                                 $copies_visible
 595                                 $t_filter
 596                                 $f_filter
 597                                 $a_filter
 598                                 $l_filter
 599                                 $lf_filter
 600                         GROUP BY f.record HAVING count(DISTINCT cp.id) > 0
 601                         ORDER BY 4 $sort_dir,3 DESC
 602                 SQL
 603         } else {
 604                 $select = <<"           SQL";
 605                         SELECT  f.record, 1, 1, $rank
 606                         FROM    $search_table f,
 607                                 $br_table br,
 608                                 $metabib_record_descriptor rd
 609                         WHERE   br.id = f.record
 610                                 AND rd.record = f.record
 611                                 AND br.deleted IS FALSE
 612                                 $t_filter
 613                                 $f_filter
 614                                 $a_filter
 615                                 $l_filter
 616                                 $lf_filter
 617                         GROUP BY 1,2,3
 618                         ORDER BY 4 $sort_dir
 619                 SQL
 620         }
 621
 622
 623         $log->debug("Search SQL :: [$select]",DEBUG);
 624
 625         my $recs = metabib::full_rec->db_Main->selectall_arrayref("$select;", {}, @binds);
 626         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
 627
 628         my $max = 0;
 629         $max = 1 if (!@$recs);
 630         for (@$recs) {
 631                 $max = $$_[1] if ($$_[1] > $max);
 632         }
 633
 634         my $count = @$recs;
 635         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
 636                 next unless ($$rec[0]);
 637                 my ($rid,$rank,$junk,$skip) = @$rec;
 638                 $client->respond( [$rid, sprintf('%0.3f',$rank/$max), $count] );
 639         }
 640         return undef;
 641 }
 642 __PACKAGE__->register_method(
 643         api_name        => 'open-ils.storage.biblio.full_rec.multi_search',
 644         method          => 'biblio_multi_search_full_rec',
 645         api_level       => 1,
 646         stream          => 1,
 647         cachable        => 1,
 648 );
 649 __PACKAGE__->register_method(
 650         api_name        => 'open-ils.storage.biblio.full_rec.multi_search.staff',
 651         method          => 'biblio_multi_search_full_rec',
 652         api_level       => 1,
 653         stream          => 1,
 654         cachable        => 1,
 655 );
 656
 657 sub search_full_rec {
 658         my $self = shift;
 659         my $client = shift;
 660
 661         my %args = @_;
 662
 663         my $term = $args{term};
 664         my $limiters = $args{restrict};
 665
 666         my ($index_col) = metabib::full_rec->columns('FTS');
 667         $index_col ||= 'value';
 668         my $search_table = metabib::full_rec->table;
 669
 670         my $fts = OpenILS::Application::Storage::FTS->compile('default' => $term, 'value',"$index_col");
 671
 672         my $fts_where = $fts->sql_where_clause();
 673         my @fts_ranks = $fts->fts_rank;
 674
 675         my $rank = join(' + ', @fts_ranks);
 676
 677         my @binds;
 678         my @wheres;
 679         for my $limit (@$limiters) {
 680                 push @wheres, "( tag = ? AND subfield LIKE ? AND $fts_where )";
 681                 push @binds, $$limit{tag}, $$limit{subfield};
 682                 $log->debug("Limiting query using { tag => $$limit{tag}, subfield => $$limit{subfield} }", DEBUG);
 683         }
 684         my $where = join(' OR ', @wheres);
 685
 686         my $select = "SELECT record, sum($rank) FROM $search_table WHERE $where GROUP BY 1 ORDER BY 2 DESC;";
 687
 688         $log->debug("Search SQL :: [$select]",DEBUG);
 689
 690         my $recs = metabib::full_rec->db_Main->selectall_arrayref($select, {}, @binds);
 691         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
 692
 693         $client->respond($_) for (@$recs);
 694         return undef;
 695 }
 696 __PACKAGE__->register_method(
 697         api_name        => 'open-ils.storage.direct.metabib.full_rec.search_fts.value',
 698         method          => 'search_full_rec',
 699         api_level       => 1,
 700         stream          => 1,
 701         cachable        => 1,
 702 );
 703 __PACKAGE__->register_method(
 704         api_name        => 'open-ils.storage.direct.metabib.full_rec.search_fts.index_vector',
 705         method          => 'search_full_rec',
 706         api_level       => 1,
 707         stream          => 1,
 708         cachable        => 1,
 709 );
 710
 711
 712 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
 713 sub search_class_fts {
 714         my $self = shift;
 715         my $client = shift;
 716         my %args = @_;
 717
 718         my $term = $args{term};
 719         my $ou = $args{org_unit};
 720         my $ou_type = $args{depth};
 721         my $limit = $args{limit};
 722         my $offset = $args{offset};
 723
 724         my $limit_clause = '';
 725         my $offset_clause = '';
 726
 727         $limit_clause = "LIMIT $limit" if (defined $limit and int($limit) > 0);
 728         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
 729
 730         my (@types,@forms);
 731         my ($t_filter, $f_filter) = ('','');
 732
 733         if ($args{format}) {
 734                 my ($t, $f) = split '-', $args{format};
 735                 @types = split '', $t;
 736                 @forms = split '', $f;
 737                 if (@types) {
 738                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 739                 }
 740
 741                 if (@forms) {
 742                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 743                 }
 744         }
 745
 746
 747
 748         my $descendants = defined($ou_type) ?
 749                                 "actor.org_unit_descendants($ou, $ou_type)" :
 750                                 "actor.org_unit_descendants($ou)";
 751
 752         my $class = $self->{cdbi};
 753         my $search_table = $class->table;
 754
 755         my $metabib_record_descriptor = metabib::record_descriptor->table;
 756         my $metabib_metarecord = metabib::metarecord->table;
 757         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
 758         my $asset_call_number_table = asset::call_number->table;
 759         my $asset_copy_table = asset::copy->table;
 760         my $cs_table = config::copy_status->table;
 761         my $cl_table = asset::copy_location->table;
 762
 763         my ($index_col) = $class->columns('FTS');
 764         $index_col ||= 'value';
 765
 766         (my $search_class = $self->api_name) =~ s/.*metabib.(\w+).search_fts.*/$1/o;
 767         my $fts = OpenILS::Application::Storage::FTS->compile($search_class => $term, 'f.value', "f.$index_col");
 768
 769         my $fts_where = $fts->sql_where_clause;
 770         my @fts_ranks = $fts->fts_rank;
 771
 772         my $rank = join(' + ', @fts_ranks);
 773
 774         my $has_vols = 'AND cn.owning_lib = d.id';
 775         my $has_copies = 'AND cp.call_number = cn.id';
 776         my $copies_visible = 'AND d.opac_visible IS TRUE AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 777
 778         my $visible_count = ', count(DISTINCT cp.id)';
 779         my $visible_count_test = 'HAVING count(DISTINCT cp.id) > 0';
 780
 781         if ($self->api_name =~ /staff/o) {
 782                 $copies_visible = '';
 783                 $visible_count_test = '';
 784                 $has_copies = '' if ($ou_type == 0);
 785                 $has_vols = '' if ($ou_type == 0);
 786         }
 787
 788         my $rank_calc = <<"     RANK";
 789                 , (SUM( $rank
 790                         * CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END -- phrase order
 791                         * CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END -- first word match
 792                         * CASE WHEN f.value ~* ? THEN 2 ELSE 1 END -- only word match
 793                 )/COUNT(m.source)), MIN(COALESCE(CHAR_LENGTH(f.value),1))
 794         RANK
 795
 796         $rank_calc = ',1 , 1' if ($self->api_name =~ /unordered/o);
 797
 798         if ($copies_visible) {
 799                 $select = <<"           SQL";
 800                         SELECT  m.metarecord $rank_calc $visible_count, CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
 801                         FROM    $search_table f,
 802                                 $metabib_metarecord_source_map_table m,
 803                                 $asset_call_number_table cn,
 804                                 $asset_copy_table cp,
 805                                 $cs_table cs,
 806                                 $cl_table cl,
 807                                 $metabib_record_descriptor rd,
 808                                 $descendants d
 809                         WHERE   $fts_where
 810                                 AND m.source = f.source
 811                                 AND cn.record = m.source
 812                                 AND rd.record = m.source
 813                                 AND cp.status = cs.id
 814                                 AND cp.location = cl.id
 815                                 $has_vols
 816                                 $has_copies
 817                                 $copies_visible
 818                                 $t_filter
 819                                 $f_filter
 820                         GROUP BY 1 $visible_count_test
 821                         ORDER BY 2 DESC,3
 822                         $limit_clause $offset_clause
 823                 SQL
 824         } else {
 825                 $select = <<"           SQL";
 826                         SELECT  m.metarecord $rank_calc, 0, CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
 827                         FROM    $search_table f,
 828                                 $metabib_metarecord_source_map_table m,
 829                                 $metabib_record_descriptor rd
 830                         WHERE   $fts_where
 831                                 AND m.source = f.source
 832                                 AND rd.record = m.source
 833                                 $t_filter
 834                                 $f_filter
 835                         GROUP BY 1, 4
 836                         ORDER BY 2 DESC,3
 837                         $limit_clause $offset_clause
 838                 SQL
 839         }
 840
 841         $log->debug("Field Search SQL :: [$select]",DEBUG);
 842
 843         my $SQLstring = join('%',$fts->words);
 844         my $REstring = join('\\s+',$fts->words);
 845         my $first_word = ($fts->words)[0].'%';
 846         my $recs = ($self->api_name =~ /unordered/o) ?
 847                         $class->db_Main->selectall_arrayref($select, {}, @types, @forms) :
 848                         $class->db_Main->selectall_arrayref($select, {},
 849                                 '%'.lc($SQLstring).'%',                 # phrase order match
 850                                 lc($first_word),                        # first word match
 851                                 '^\\s*'.lc($REstring).'\\s*/?\s*$',     # full exact match
 852                                 @types, @forms
 853                         );
 854
 855         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
 856
 857         $client->respond($_) for (map { [@$_[0,1,3,4]] } @$recs);
 858         return undef;
 859 }
 860
 861 for my $class ( qw/title author subject keyword series/ ) {
 862         __PACKAGE__->register_method(
 863                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord",
 864                 method          => 'search_class_fts',
 865                 api_level       => 1,
 866                 stream          => 1,
 867                 cdbi            => "metabib::${class}_field_entry",
 868                 cachable        => 1,
 869         );
 870         __PACKAGE__->register_method(
 871                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.unordered",
 872                 method          => 'search_class_fts',
 873                 api_level       => 1,
 874                 stream          => 1,
 875                 cdbi            => "metabib::${class}_field_entry",
 876                 cachable        => 1,
 877         );
 878         __PACKAGE__->register_method(
 879                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.staff",
 880                 method          => 'search_class_fts',
 881                 api_level       => 1,
 882                 stream          => 1,
 883                 cdbi            => "metabib::${class}_field_entry",
 884                 cachable        => 1,
 885         );
 886         __PACKAGE__->register_method(
 887                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.staff.unordered",
 888                 method          => 'search_class_fts',
 889                 api_level       => 1,
 890                 stream          => 1,
 891                 cdbi            => "metabib::${class}_field_entry",
 892                 cachable        => 1,
 893         );
 894 }
 895
 896 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
 897 sub search_class_fts_count {
 898         my $self = shift;
 899         my $client = shift;
 900         my %args = @_;
 901
 902         my $term = $args{term};
 903         my $ou = $args{org_unit};
 904         my $ou_type = $args{depth};
 905         my $limit = $args{limit} || 100;
 906         my $offset = $args{offset} || 0;
 907
 908         my $descendants = defined($ou_type) ?
 909                                 "actor.org_unit_descendants($ou, $ou_type)" :
 910                                 "actor.org_unit_descendants($ou)";
 911
 912         my (@types,@forms);
 913         my ($t_filter, $f_filter) = ('','');
 914
 915         if ($args{format}) {
 916                 my ($t, $f) = split '-', $args{format};
 917                 @types = split '', $t;
 918                 @forms = split '', $f;
 919                 if (@types) {
 920                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 921                 }
 922
 923                 if (@forms) {
 924                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 925                 }
 926         }
 927
 928
 929         (my $search_class = $self->api_name) =~ s/.*metabib.(\w+).search_fts.*/$1/o;
 930
 931         my $class = $self->{cdbi};
 932         my $search_table = $class->table;
 933
 934         my $metabib_record_descriptor = metabib::record_descriptor->table;
 935         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
 936         my $asset_call_number_table = asset::call_number->table;
 937         my $asset_copy_table = asset::copy->table;
 938         my $cs_table = config::copy_status->table;
 939         my $cl_table = asset::copy_location->table;
 940
 941         my ($index_col) = $class->columns('FTS');
 942         $index_col ||= 'value';
 943
 944         my $fts = OpenILS::Application::Storage::FTS->compile($search_class => $term, 'value',"$index_col");
 945
 946         my $fts_where = $fts->sql_where_clause;
 947
 948         my $has_vols = 'AND cn.owning_lib = d.id';
 949         my $has_copies = 'AND cp.call_number = cn.id';
 950         my $copies_visible = 'AND d.opac_visible IS TRUE AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 951         if ($self->api_name =~ /staff/o) {
 952                 $copies_visible = '';
 953                 $has_vols = '' if ($ou_type == 0);
 954                 $has_copies = '' if ($ou_type == 0);
 955         }
 956
 957         # XXX test an "EXISTS version of descendant checking...
 958         my $select;
 959         if ($copies_visible) {
 960                 $select = <<"           SQL";
 961                 SELECT  count(distinct  m.metarecord)
 962                   FROM  $search_table f,
 963                         $metabib_metarecord_source_map_table m,
 964                         $metabib_metarecord_source_map_table mr,
 965                         $asset_call_number_table cn,
 966                         $asset_copy_table cp,
 967                         $cs_table cs,
 968                         $cl_table cl,
 969                         $metabib_record_descriptor rd,
 970                         $descendants d
 971                   WHERE $fts_where
 972                         AND mr.source = f.source
 973                         AND mr.metarecord = m.metarecord
 974                         AND cn.record = m.source
 975                         AND rd.record = m.source
 976                         AND cp.status = cs.id
 977                         AND cp.location = cl.id
 978                         $has_vols
 979                         $has_copies
 980                         $copies_visible
 981                         $t_filter
 982                         $f_filter
 983                 SQL
 984         } else {
 985                 $select = <<"           SQL";
 986                 SELECT  count(distinct  m.metarecord)
 987                   FROM  $search_table f,
 988                         $metabib_metarecord_source_map_table m,
 989                         $metabib_metarecord_source_map_table mr,
 990                         $metabib_record_descriptor rd
 991                   WHERE $fts_where
 992                         AND mr.source = f.source
 993                         AND mr.metarecord = m.metarecord
 994                         AND rd.record = m.source
 995                         $t_filter
 996                         $f_filter
 997                 SQL
 998         }
 999
1000         $log->debug("Field Search Count SQL :: [$select]",DEBUG);
1001
1002         my $recs = $class->db_Main->selectrow_arrayref($select, {}, @types, @forms)->[0];
1003
1004         $log->debug("Count Search yielded $recs results.",DEBUG);
1005
1006         return $recs;
1007
1008 }
1009 for my $class ( qw/title author subject keyword series/ ) {
1010         __PACKAGE__->register_method(
1011                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord_count",
1012                 method          => 'search_class_fts_count',
1013                 api_level       => 1,
1014                 stream          => 1,
1015                 cdbi            => "metabib::${class}_field_entry",
1016                 cachable        => 1,
1017         );
1018         __PACKAGE__->register_method(
1019                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord_count.staff",
1020                 method          => 'search_class_fts_count',
1021                 api_level       => 1,
1022                 stream          => 1,
1023                 cdbi            => "metabib::${class}_field_entry",
1024                 cachable        => 1,
1025         );
1026 }
1027
1028
1029 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
1030 sub postfilter_search_class_fts {
1031         my $self = shift;
1032         my $client = shift;
1033         my %args = @_;
1034
1035         my $term = $args{term};
1036         my $sort = $args{'sort'};
1037         my $sort_dir = $args{sort_dir} || 'DESC';
1038         my $ou = $args{org_unit};
1039         my $ou_type = $args{depth};
1040         my $limit = $args{limit} || 10;
1041         my $visibility_limit = $args{visibility_limit} || 5000;
1042         my $offset = $args{offset} || 0;
1043
1044         my $outer_limit = 1000;
1045
1046         my $limit_clause = '';
1047         my $offset_clause = '';
1048
1049         $limit_clause = "LIMIT $outer_limit";
1050         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
1051
1052         my (@types,@forms,@lang,@aud,@lit_form);
1053         my ($t_filter, $f_filter) = ('','');
1054         my ($a_filter, $l_filter, $lf_filter) = ('','','');
1055         my ($ot_filter, $of_filter) = ('','');
1056         my ($oa_filter, $ol_filter, $olf_filter) = ('','','');
1057
1058         if (my $a = $args{audience}) {
1059                 $a = [$a] if (!ref($a));
1060                 @aud = @$a;
1061
1062                 $a_filter = ' AND rd.audience IN ('.join(',',map{'?'}@aud).')';
1063                 $oa_filter = ' AND ord.audience IN ('.join(',',map{'?'}@aud).')';
1064         }
1065
1066         if (my $l = $args{language}) {
1067                 $l = [$l] if (!ref($l));
1068                 @lang = @$l;
1069
1070                 $l_filter = ' AND rd.item_lang IN ('.join(',',map{'?'}@lang).')';
1071                 $ol_filter = ' AND ord.item_lang IN ('.join(',',map{'?'}@lang).')';
1072         }
1073
1074         if (my $f = $args{lit_form}) {
1075                 $f = [$f] if (!ref($f));
1076                 @lit_form = @$f;
1077
1078                 $lf_filter = ' AND rd.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1079                 $olf_filter = ' AND ord.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1080         }
1081
1082         if ($args{format}) {
1083                 my ($t, $f) = split '-', $args{format};
1084                 @types = split '', $t;
1085                 @forms = split '', $f;
1086                 if (@types) {
1087                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1088                         $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1089                 }
1090
1091                 if (@forms) {
1092                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1093                         $of_filter .= ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1094                 }
1095         }
1096
1097
1098         my $descendants = defined($ou_type) ?
1099                                 "actor.org_unit_descendants($ou, $ou_type)" :
1100                                 "actor.org_unit_descendants($ou)";
1101
1102         my $class = $self->{cdbi};
1103         my $search_table = $class->table;
1104
1105         my $metabib_full_rec = metabib::full_rec->table;
1106         my $metabib_record_descriptor = metabib::record_descriptor->table;
1107         my $metabib_metarecord = metabib::metarecord->table;
1108         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
1109         my $asset_call_number_table = asset::call_number->table;
1110         my $asset_copy_table = asset::copy->table;
1111         my $cs_table = config::copy_status->table;
1112         my $cl_table = asset::copy_location->table;
1113         my $br_table = biblio::record_entry->table;
1114
1115         my ($index_col) = $class->columns('FTS');
1116         $index_col ||= 'value';
1117
1118         (my $search_class = $self->api_name) =~ s/.*metabib.(\w+).post_filter.*/$1/o;
1119
1120         my $fts = OpenILS::Application::Storage::FTS->compile($search_class => $term, 'f.value', "f.$index_col");
1121
1122         my $SQLstring = join('%',map { lc($_) } $fts->words);
1123         my $REstring = '^' . join('\s+',map { lc($_) } $fts->words) . '\W*$';
1124         my $first_word = lc(($fts->words)[0]).'%';
1125
1126         my $fts_where = $fts->sql_where_clause;
1127         my @fts_ranks = $fts->fts_rank;
1128
1129         my %bonus = ();
1130         $bonus{'metabib::keyword_field_entry'} = [ { 'CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END' => $SQLstring } ];
1131         $bonus{'metabib::title_field_entry'} =
1132                 $bonus{'metabib::series_field_entry'} = [
1133                         { 'CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END' => $first_word },
1134                         { 'CASE WHEN f.value ~* ? THEN 2 ELSE 1 END' => $REstring },
1135                         @{ $bonus{'metabib::keyword_field_entry'} }
1136                 ];
1137
1138         my $bonus_list = join ' * ', map { keys %$_ } @{ $bonus{$class} };
1139         $bonus_list ||= '1';
1140
1141         my @bonus_values = map { values %$_ } @{ $bonus{$class} };
1142
1143         my $relevance = join(' + ', @fts_ranks);
1144         $relevance = <<"        RANK";
1145                         (SUM( ( $relevance )  * ( $bonus_list ) )/COUNT(m.source))
1146         RANK
1147
1148         my $string_default_sort = 'zzzz';
1149         $string_default_sort = 'AAAA' if ($sort_dir eq 'DESC');
1150
1151         my $number_default_sort = '9999';
1152         $number_default_sort = '0000' if ($sort_dir eq 'DESC');
1153
1154         my $rank = $relevance;
1155         if (lc($sort) eq 'pubdate') {
1156                 $rank = <<"             RANK";
1157                         ( FIRST ((
1158                                 SELECT  COALESCE(SUBSTRING(frp.value FROM '\\\\d+'),'$number_default_sort')::INT
1159                                   FROM  $metabib_full_rec frp
1160                                   WHERE frp.record = mr.master_record
1161                                         AND frp.tag = '260'
1162                                         AND frp.subfield = 'c'
1163                                   LIMIT 1
1164                         )) )
1165                 RANK
1166         } elsif (lc($sort) eq 'create_date') {
1167                 $rank = <<"             RANK";
1168                         ( FIRST (( SELECT create_date FROM $br_table rbr WHERE rbr.id = mr.master_record)) )
1169                 RANK
1170         } elsif (lc($sort) eq 'edit_date') {
1171                 $rank = <<"             RANK";
1172                         ( FIRST (( SELECT edit_date FROM $br_table rbr WHERE rbr.id = mr.master_record)) )
1173                 RANK
1174         } elsif (lc($sort) eq 'title') {
1175                 $rank = <<"             RANK";
1176                         ( FIRST ((
1177                                 SELECT  COALESCE(LTRIM(SUBSTR( frt.value, COALESCE(SUBSTRING(frt.ind2 FROM '\\\\d+'),'0')::INT + 1 )),'$string_default_sort')
1178                                   FROM  $metabib_full_rec frt
1179                                   WHERE frt.record = mr.master_record
1180                                         AND frt.tag = '245'
1181                                         AND frt.subfield = 'a'
1182                                   LIMIT 1
1183                         )) )
1184                 RANK
1185         } elsif (lc($sort) eq 'author') {
1186                 $rank = <<"             RANK";
1187                         ( FIRST((
1188                                 SELECT  COALESCE(LTRIM(fra.value),'$string_default_sort')
1189                                   FROM  $metabib_full_rec fra
1190                                   WHERE fra.record = mr.master_record
1191                                         AND fra.tag LIKE '1%'
1192                                         AND fra.subfield = 'a'
1193                                   ORDER BY fra.tag::text::int
1194                                   LIMIT 1
1195                         )) )
1196                 RANK
1197         } else {
1198                 $sort = undef;
1199         }
1200
1201         my $select = <<"        SQL";
1202                 SELECT  m.metarecord,
1203                         $relevance,
1204                         CASE WHEN COUNT(DISTINCT smrs.source) = 1 THEN MIN(m.source) ELSE 0 END,
1205                         $rank
1206                 FROM    $search_table f,
1207                         $metabib_metarecord_source_map_table m,
1208                         $metabib_metarecord_source_map_table smrs,
1209                         $metabib_metarecord mr,
1210                         $metabib_record_descriptor rd
1211                 WHERE   $fts_where
1212                         AND smrs.metarecord = mr.id
1213                         AND m.source = f.source
1214                         AND m.metarecord = mr.id
1215                         AND rd.record = smrs.source
1216                         $t_filter
1217                         $f_filter
1218                         $a_filter
1219                         $l_filter
1220                         $lf_filter
1221                 GROUP BY m.metarecord
1222                 ORDER BY 4 $sort_dir, MIN(COALESCE(CHAR_LENGTH(f.value),1))
1223                 LIMIT $visibility_limit
1224         SQL
1225
1226         if (0) {
1227                 $select = <<"           SQL";
1228
1229                         SELECT  DISTINCT s.*
1230                           FROM  $asset_call_number_table cn,
1231                                 $metabib_metarecord_source_map_table mrs,
1232                                 $asset_copy_table cp,
1233                                 $cs_table cs,
1234                                 $cl_table cl,
1235                                 $br_table br,
1236                                 $descendants d,
1237                                 $metabib_record_descriptor ord,
1238                                 ($select) s
1239                           WHERE mrs.metarecord = s.metarecord
1240                                 AND br.id = mrs.source
1241                                 AND cn.record = mrs.source
1242                                 AND cp.status = cs.id
1243                                 AND cp.location = cl.id
1244                                 AND cn.owning_lib = d.id
1245                                 AND cp.call_number = cn.id
1246                                 AND cp.opac_visible IS TRUE
1247                                 AND cs.holdable IS TRUE
1248                                 AND cl.opac_visible IS TRUE
1249                                 AND d.opac_visible IS TRUE
1250                                 AND br.active IS TRUE
1251                                 AND br.deleted IS FALSE
1252                                 AND ord.record = mrs.source
1253                                 $ot_filter
1254                                 $of_filter
1255                                 $oa_filter
1256                                 $ol_filter
1257                                 $olf_filter
1258                           ORDER BY 4 $sort_dir
1259                 SQL
1260         } elsif ($self->api_name !~ /staff/o) {
1261                 $select = <<"           SQL";
1262
1263                         SELECT  DISTINCT s.*
1264                           FROM  ($select) s
1265                           WHERE EXISTS (
1266                                 SELECT  1
1267                                   FROM  $asset_call_number_table cn,
1268                                         $metabib_metarecord_source_map_table mrs,
1269                                         $asset_copy_table cp,
1270                                         $cs_table cs,
1271                                         $cl_table cl,
1272                                         $br_table br,
1273                                         $descendants d,
1274                                         $metabib_record_descriptor ord
1275
1276                                   WHERE mrs.metarecord = s.metarecord
1277                                         AND br.id = mrs.source
1278                                         AND cn.record = mrs.source
1279                                         AND cp.status = cs.id
1280                                         AND cp.location = cl.id
1281                                         AND cp.circ_lib = d.id
1282                                         AND cp.call_number = cn.id
1283                                         AND cp.opac_visible IS TRUE
1284                                         AND cs.holdable IS TRUE
1285                                         AND cl.opac_visible IS TRUE
1286                                         AND d.opac_visible IS TRUE
1287                                         AND br.active IS TRUE
1288                                         AND br.deleted IS FALSE
1289                                         AND ord.record = mrs.source
1290                                         $ot_filter
1291                                         $of_filter
1292                                         $oa_filter
1293                                         $ol_filter
1294                                         $olf_filter
1295                                   LIMIT 1
1296                                 )
1297                           ORDER BY 4 $sort_dir
1298                 SQL
1299         } else {
1300                 $select = <<"           SQL";
1301
1302                         SELECT  DISTINCT s.*
1303                           FROM  ($select) s
1304                           WHERE EXISTS (
1305                                 SELECT  1
1306                                   FROM  $asset_call_number_table cn,
1307                                         $asset_copy_table cp,
1308                                         $metabib_metarecord_source_map_table mrs,
1309                                         $br_table br,
1310                                         $descendants d,
1311                                         $metabib_record_descriptor ord
1312
1313                                   WHERE mrs.metarecord = s.metarecord
1314                                         AND br.id = mrs.source
1315                                         AND cn.record = mrs.source
1316                                         AND cn.id = cp.call_number
1317                                         AND br.deleted IS FALSE
1318                                         AND cn.deleted IS FALSE
1319                                         AND ord.record = mrs.source
1320                                         AND (   cn.owning_lib = d.id
1321                                                 OR (    cp.circ_lib = d.id
1322                                                         AND cp.deleted IS FALSE
1323                                                 )
1324                                         )
1325                                         $ot_filter
1326                                         $of_filter
1327                                         $oa_filter
1328                                         $ol_filter
1329                                         $olf_filter
1330                                   LIMIT 1
1331                                 )
1332                                 OR NOT EXISTS (
1333                                 SELECT  1
1334                                   FROM  $asset_call_number_table cn,
1335                                         $metabib_metarecord_source_map_table mrs,
1336                                         $metabib_record_descriptor ord
1337                                   WHERE mrs.metarecord = s.metarecord
1338                                         AND cn.record = mrs.source
1339                                         AND ord.record = mrs.source
1340                                         $ot_filter
1341                                         $of_filter
1342                                         $oa_filter
1343                                         $ol_filter
1344                                         $olf_filter
1345                                   LIMIT 1
1346                                 )
1347                           ORDER BY 4 $sort_dir
1348                 SQL
1349         }
1350
1351
1352         $log->debug("Field Search SQL :: [$select]",DEBUG);
1353
1354         my $recs = $class->db_Main->selectall_arrayref(
1355                         $select, {},
1356                         (@bonus_values > 0 ? @bonus_values : () ),
1357                         ( (!$sort && @bonus_values > 0) ? @bonus_values : () ),
1358                         @types, @forms, @aud, @lang, @lit_form,
1359                         @types, @forms, @aud, @lang, @lit_form,
1360                         ($self->api_name =~ /staff/o ? (@types, @forms, @aud, @lang, @lit_form) : () ) );
1361
1362         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
1363
1364         my $max = 0;
1365         $max = 1 if (!@$recs);
1366         for (@$recs) {
1367                 $max = $$_[1] if ($$_[1] > $max);
1368         }
1369
1370         my $count = scalar(@$recs);
1371         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
1372                 my ($mrid,$rank,$skip) = @$rec;
1373                 $client->respond( [$mrid, sprintf('%0.3f',$rank/$max), $skip, $count] );
1374         }
1375         return undef;
1376 }
1377
1378 for my $class ( qw/title author subject keyword series/ ) {
1379         __PACKAGE__->register_method(
1380                 api_name        => "open-ils.storage.metabib.$class.post_filter.search_fts.metarecord",
1381                 method          => 'postfilter_search_class_fts',
1382                 api_level       => 1,
1383                 stream          => 1,
1384                 cdbi            => "metabib::${class}_field_entry",
1385                 cachable        => 1,
1386         );
1387         __PACKAGE__->register_method(
1388                 api_name        => "open-ils.storage.metabib.$class.post_filter.search_fts.metarecord.staff",
1389                 method          => 'postfilter_search_class_fts',
1390                 api_level       => 1,
1391                 stream          => 1,
1392                 cdbi            => "metabib::${class}_field_entry",
1393                 cachable        => 1,
1394         );
1395 }
1396
1397
1398
1399 my $_cdbi = {   title   => "metabib::title_field_entry",
1400                 author  => "metabib::author_field_entry",
1401                 subject => "metabib::subject_field_entry",
1402                 keyword => "metabib::keyword_field_entry",
1403                 series  => "metabib::series_field_entry",
1404 };
1405
1406 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
1407 sub postfilter_search_multi_class_fts {
1408         my $self = shift;
1409         my $client = shift;
1410         my %args = @_;
1411
1412         my $sort = $args{'sort'};
1413         my $sort_dir = $args{sort_dir} || 'DESC';
1414         my $ou = $args{org_unit};
1415         my $ou_type = $args{depth};
1416         my $limit = $args{limit} || 10;;
1417         my $visibility_limit = $args{visibility_limit} || 5000;;
1418         my $offset = $args{offset} || 0;
1419
1420         if (!$ou) {
1421                 $ou = actor::org_unit->search( { parent_ou => undef } )->next->id;
1422         }
1423
1424         if (!defined($args{org_unit})) {
1425                 die "No target organizational unit passed to ".$self->api_name;
1426         }
1427
1428         if (! scalar( keys %{$args{searches}} )) {
1429                 die "No search arguments were passed to ".$self->api_name;
1430         }
1431
1432         my $outer_limit = 1000;
1433
1434         my $limit_clause = '';
1435         my $offset_clause = '';
1436
1437         $limit_clause = "LIMIT $outer_limit";
1438         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
1439
1440         my ($avail_filter,@types,@forms,@lang,@aud,@lit_form,@vformats) = ('');
1441         my ($t_filter, $f_filter, $v_filter) = ('','','');
1442         my ($a_filter, $l_filter, $lf_filter) = ('','','');
1443         my ($ot_filter, $of_filter, $ov_filter) = ('','','');
1444         my ($oa_filter, $ol_filter, $olf_filter) = ('','','');
1445
1446         if ($args{available}) {
1447                 $avail_filter = ' AND cp.status IN (0,7)';
1448         }
1449
1450         if (my $a = $args{audience}) {
1451                 $a = [$a] if (!ref($a));
1452                 @aud = @$a;
1453
1454                 $a_filter = ' AND rd.audience IN ('.join(',',map{'?'}@aud).')';
1455                 $oa_filter = ' AND ord.audience IN ('.join(',',map{'?'}@aud).')';
1456         }
1457
1458         if (my $l = $args{language}) {
1459                 $l = [$l] if (!ref($l));
1460                 @lang = @$l;
1461
1462                 $l_filter = ' AND rd.item_lang IN ('.join(',',map{'?'}@lang).')';
1463                 $ol_filter = ' AND ord.item_lang IN ('.join(',',map{'?'}@lang).')';
1464         }
1465
1466         if (my $f = $args{lit_form}) {
1467                 $f = [$f] if (!ref($f));
1468                 @lit_form = @$f;
1469
1470                 $lf_filter = ' AND rd.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1471                 $olf_filter = ' AND ord.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1472         }
1473
1474         if (my $f = $args{item_form}) {
1475                 $f = [$f] if (!ref($f));
1476                 @forms = @$f;
1477
1478                 $f_filter = ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1479                 $of_filter = ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1480         }
1481
1482         if (my $t = $args{item_type}) {
1483                 $t = [$t] if (!ref($t));
1484                 @types = @$t;
1485
1486                 $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1487                 $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1488         }
1489
1490         if (my $v = $args{vr_format}) {
1491                 $v = [$v] if (!ref($v));
1492                 @vformats = @$v;
1493
1494                 $v_filter = ' AND rd.vr_format IN ('.join(',',map{'?'}@vformats).')';
1495                 $ov_filter = ' AND ord.vr_format IN ('.join(',',map{'?'}@vformats).')';
1496         }
1497
1498
1499         # XXX legacy format and item type support
1500         if ($args{format}) {
1501                 my ($t, $f) = split '-', $args{format};
1502                 @types = split '', $t;
1503                 @forms = split '', $f;
1504                 if (@types) {
1505                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1506                         $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1507                 }
1508
1509                 if (@forms) {
1510                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1511                         $of_filter .= ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1512                 }
1513         }
1514
1515
1516
1517         my $descendants = defined($ou_type) ?
1518                                 "actor.org_unit_descendants($ou, $ou_type)" :
1519                                 "actor.org_unit_descendants($ou)";
1520
1521         my $search_table_list = '';
1522         my $fts_list = '';
1523         my $join_table_list = '';
1524         my @rank_list;
1525
1526         my $field_table = config::metabib_field->table;
1527
1528         my @bonus_lists;
1529         my @bonus_values;
1530         my $prev_search_group;
1531         my $curr_search_group;
1532         my $search_class;
1533         my $search_field;
1534         my $metabib_field;
1535         for my $search_group (sort keys %{$args{searches}}) {
1536                 (my $search_group_name = $search_group) =~ s/\|/_/gso;
1537                 ($search_class,$search_field) = split /\|/, $search_group;
1538                 $log->debug("Searching class [$search_class] and field [$search_field]",DEBUG);
1539
1540                 if ($search_field) {
1541                         unless ( $metabib_field = config::metabib_field->search( field_class => $search_class, name => $search_field )->next ) {
1542                                 $log->warn("Requested class [$search_class] or field [$search_field] does not exist!");
1543                                 return undef;
1544                         }
1545                 }
1546
1547                 $prev_search_group = $curr_search_group if ($curr_search_group);
1548
1549                 $curr_search_group = $search_group_name;
1550
1551                 my $class = $_cdbi->{$search_class};
1552                 my $search_table = $class->table;
1553
1554                 my ($index_col) = $class->columns('FTS');
1555                 $index_col ||= 'value';
1556
1557
1558                 my $fts = OpenILS::Application::Storage::FTS->compile($search_class => $args{searches}{$search_group}{term}, $search_group_name.'.value', "$search_group_name.$index_col");
1559
1560                 my $fts_where = $fts->sql_where_clause;
1561                 my @fts_ranks = $fts->fts_rank;
1562
1563                 my $SQLstring = join('%',map { lc($_) } $fts->words);
1564                 my $REstring = '^' . join('\s+',map { lc($_) } $fts->words) . '\W*$';
1565                 my $first_word = lc(($fts->words)[0]).'%';
1566
1567                 $_.=" * (SELECT weight FROM $field_table WHERE $search_group_name.field = id)" for (@fts_ranks);
1568                 my $rank = join(' + ', @fts_ranks);
1569
1570                 my %bonus = ();
1571                 $bonus{'keyword'} = [ { "CASE WHEN $search_group_name.value LIKE ? THEN 10 ELSE 1 END" => $SQLstring } ];
1572                 $bonus{'author'} = [ { "CASE WHEN $search_group_name.value ILIKE ? THEN 10 ELSE 1 END" => $first_word } ];
1573
1574                 $bonus{'series'} = [
1575                         { "CASE WHEN $search_group_name.value LIKE ? THEN 1.5 ELSE 1 END" => $first_word },
1576                         { "CASE WHEN $search_group_name.value ~ ? THEN 20 ELSE 1 END" => $REstring },
1577                 ];
1578
1579                 $bonus{'title'} = [ @{ $bonus{'series'} }, @{ $bonus{'keyword'} } ];
1580
1581                 my $bonus_list = join ' * ', map { keys %$_ } @{ $bonus{$search_class} };
1582                 $bonus_list ||= '1';
1583
1584                 push @bonus_lists, $bonus_list;
1585                 push @bonus_values, map { values %$_ } @{ $bonus{$search_class} };
1586
1587
1588                 #---------------------
1589
1590                 $search_table_list .= "$search_table $search_group_name, ";
1591                 push @rank_list,$rank;
1592                 $fts_list .= " AND $fts_where AND m.source = $search_group_name.source";
1593
1594                 if ($metabib_field) {
1595                         $join_table_list .= " AND $search_group_name.field = " . $metabib_field->id;
1596                         $metabib_field = undef;
1597                 }
1598
1599                 if ($prev_search_group) {
1600                         $join_table_list .= " AND $prev_search_group.source = $curr_search_group.source";
1601                 }
1602         }
1603
1604         my $metabib_record_descriptor = metabib::record_descriptor->table;
1605         my $metabib_full_rec = metabib::full_rec->table;
1606         my $metabib_metarecord = metabib::metarecord->table;
1607         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
1608         my $asset_call_number_table = asset::call_number->table;
1609         my $asset_copy_table = asset::copy->table;
1610         my $cs_table = config::copy_status->table;
1611         my $cl_table = asset::copy_location->table;
1612         my $br_table = biblio::record_entry->table;
1613         my $source_table = config::bib_source->table;
1614
1615         my $bonuses = join (' * ', @bonus_lists);
1616         my $relevance = join (' + ', @rank_list);
1617         $relevance = "SUM( ($relevance) * ($bonuses) )/COUNT(DISTINCT smrs.source)";
1618
1619         my $string_default_sort = 'zzzz';
1620         $string_default_sort = 'AAAA' if ($sort_dir eq 'DESC');
1621
1622         my $number_default_sort = '9999';
1623         $number_default_sort = '0000' if ($sort_dir eq 'DESC');
1624
1625
1626
1627         my $secondary_sort = <<"        SORT";
1628                 ( FIRST ((
1629                         SELECT  COALESCE(LTRIM(SUBSTR( sfrt.value, COALESCE(SUBSTRING(sfrt.ind2 FROM '\\\\d+'),'0')::INT + 1 )),'$string_default_sort')
1630                           FROM  $metabib_full_rec sfrt,
1631                                 $metabib_metarecord mr
1632                           WHERE sfrt.record = mr.master_record
1633                                 AND sfrt.tag = '245'
1634                                 AND sfrt.subfield = 'a'
1635                           LIMIT 1
1636                 )) )
1637         SORT
1638
1639         my $rank = $relevance;
1640         if (lc($sort) eq 'pubdate') {
1641                 $rank = <<"             RANK";
1642                         ( FIRST ((
1643                                 SELECT  COALESCE(SUBSTRING(frp.value FROM '\\\\d+'),'$number_default_sort')::INT
1644                                   FROM  $metabib_full_rec frp
1645                                   WHERE frp.record = mr.master_record
1646                                         AND frp.tag = '260'
1647                                         AND frp.subfield = 'c'
1648                                   LIMIT 1
1649                         )) )
1650                 RANK
1651         } elsif (lc($sort) eq 'create_date') {
1652                 $rank = <<"             RANK";
1653                         ( FIRST (( SELECT create_date FROM $br_table rbr WHERE rbr.id = mr.master_record)) )
1654                 RANK
1655         } elsif (lc($sort) eq 'edit_date') {
1656                 $rank = <<"             RANK";
1657                         ( FIRST (( SELECT edit_date FROM $br_table rbr WHERE rbr.id = mr.master_record)) )
1658                 RANK
1659         } elsif (lc($sort) eq 'title') {
1660                 $rank = <<"             RANK";
1661                         ( FIRST ((
1662                                 SELECT  COALESCE(LTRIM(SUBSTR( frt.value, COALESCE(SUBSTRING(frt.ind2 FROM '\\\\d+'),'0')::INT + 1 )),'$string_default_sort')
1663                                   FROM  $metabib_full_rec frt
1664                                   WHERE frt.record = mr.master_record
1665                                         AND frt.tag = '245'
1666                                         AND frt.subfield = 'a'
1667                                   LIMIT 1
1668                         )) )
1669                 RANK
1670                 $secondary_sort = <<"           SORT";
1671                         ( FIRST ((
1672                                 SELECT  COALESCE(SUBSTRING(sfrp.value FROM '\\\\d+'),'$number_default_sort')::INT
1673                                   FROM  $metabib_full_rec sfrp
1674                                   WHERE sfrp.record = mr.master_record
1675                                         AND sfrp.tag = '260'
1676                                         AND sfrp.subfield = 'c'
1677                                   LIMIT 1
1678                         )) )
1679                 SORT
1680         } elsif (lc($sort) eq 'author') {
1681                 $rank = <<"             RANK";
1682                         ( FIRST((
1683                                 SELECT  COALESCE(LTRIM(fra.value),'$string_default_sort')
1684                                   FROM  $metabib_full_rec fra
1685                                   WHERE fra.record = mr.master_record
1686                                         AND fra.tag LIKE '1%'
1687                                         AND fra.subfield = 'a'
1688                                   ORDER BY fra.tag::text::int
1689                                   LIMIT 1
1690                         )) )
1691                 RANK
1692         } else {
1693                 push @bonus_values, @bonus_values;
1694                 $sort = undef;
1695         }
1696
1697
1698         my $select = <<"        SQL";
1699                 SELECT  m.metarecord,
1700                         $relevance,
1701                         CASE WHEN COUNT(DISTINCT smrs.source) = 1 THEN FIRST(m.source) ELSE 0 END,
1702                         $rank,
1703                         $secondary_sort
1704                 FROM    $search_table_list
1705                         $metabib_metarecord mr,
1706                         $metabib_metarecord_source_map_table m,
1707                         $metabib_metarecord_source_map_table smrs
1708                 WHERE   m.metarecord = smrs.metarecord
1709                         AND mr.id = m.metarecord
1710                         $fts_list
1711                         $join_table_list
1712                 GROUP BY m.metarecord
1713                 -- ORDER BY 4 $sort_dir
1714                 LIMIT $visibility_limit
1715         SQL
1716
1717         if ($self->api_name !~ /staff/o) {
1718                 $select = <<"           SQL";
1719
1720                         SELECT  s.*
1721                           FROM  ($select) s
1722                           WHERE EXISTS (
1723                                 SELECT  1
1724                                   FROM  $asset_call_number_table cn,
1725                                         $metabib_metarecord_source_map_table mrs,
1726                                         $asset_copy_table cp,
1727                                         $cs_table cs,
1728                                         $cl_table cl,
1729                                         $br_table br,
1730                                         $descendants d,
1731                                         $metabib_record_descriptor ord
1732                                   WHERE mrs.metarecord = s.metarecord
1733                                         AND br.id = mrs.source
1734                                         AND cn.record = mrs.source
1735                                         AND cp.status = cs.id
1736                                         AND cp.location = cl.id
1737                                         AND cp.circ_lib = d.id
1738                                         AND cp.call_number = cn.id
1739                                         AND cp.opac_visible IS TRUE
1740                                         AND cs.holdable IS TRUE
1741                                         AND cl.opac_visible IS TRUE
1742                                         AND d.opac_visible IS TRUE
1743                                         AND br.active IS TRUE
1744                                         AND br.deleted IS FALSE
1745                                         AND cp.deleted IS FALSE
1746                                         AND cn.deleted IS FALSE
1747                                         AND ord.record = mrs.source
1748                                         $ot_filter
1749                                         $of_filter
1750                                         $ov_filter
1751                                         $oa_filter
1752                                         $ol_filter
1753                                         $olf_filter
1754                                         $avail_filter
1755                                   LIMIT 1
1756                                 )
1757                                 OR EXISTS (
1758                                 SELECT  1
1759                                   FROM  $br_table br,
1760                                         $metabib_metarecord_source_map_table mrs,
1761                                         $metabib_record_descriptor ord,
1762                                         $source_table src
1763                                   WHERE mrs.metarecord = s.metarecord
1764                                         AND ord.record = mrs.source
1765                                         AND br.id = mrs.source
1766                                         AND br.source = src.id
1767                                         AND src.transcendant IS TRUE
1768                                         $ot_filter
1769                                         $of_filter
1770                                         $ov_filter
1771                                         $oa_filter
1772                                         $ol_filter
1773                                         $olf_filter
1774                                 )
1775                           ORDER BY 4 $sort_dir, 5
1776                 SQL
1777         } else {
1778                 $select = <<"           SQL";
1779
1780                         SELECT  DISTINCT s.*
1781                           FROM  ($select) s,
1782                                 $metabib_metarecord_source_map_table omrs,
1783                                 $metabib_record_descriptor ord
1784                           WHERE omrs.metarecord = s.metarecord
1785                                 AND ord.record = omrs.source
1786                                 AND (   EXISTS (
1787                                                 SELECT  1
1788                                                   FROM  $asset_call_number_table cn,
1789                                                         $asset_copy_table cp,
1790                                                         $descendants d,
1791                                                         $br_table br
1792                                                   WHERE br.id = omrs.source
1793                                                         AND cn.record = omrs.source
1794                                                         AND br.deleted IS FALSE
1795                                                         AND cn.deleted IS FALSE
1796                                                         AND cp.call_number = cn.id
1797                                                         AND (   cn.owning_lib = d.id
1798                                                                 OR (    cp.circ_lib = d.id
1799                                                                         AND cp.deleted IS FALSE
1800                                                                 )
1801                                                         )
1802                                                         $avail_filter
1803                                                   LIMIT 1
1804                                         )
1805                                         OR NOT EXISTS (
1806                                                 SELECT  1
1807                                                   FROM  $asset_call_number_table cn
1808                                                   WHERE cn.record = omrs.source
1809                                                         AND cn.deleted IS FALSE
1810                                                   LIMIT 1
1811                                         )
1812                                         OR EXISTS (
1813                                         SELECT  1
1814                                           FROM  $br_table br,
1815                                                 $metabib_metarecord_source_map_table mrs,
1816                                                 $metabib_record_descriptor ord,
1817                                                 $source_table src
1818                                           WHERE mrs.metarecord = s.metarecord
1819                                                 AND br.id = mrs.source
1820                                                 AND br.source = src.id
1821                                                 AND src.transcendant IS TRUE
1822                                                 $ot_filter
1823                                                 $of_filter
1824                                                 $ov_filter
1825                                                 $oa_filter
1826                                                 $ol_filter
1827                                                 $olf_filter
1828                                         )
1829                                 )
1830                                 $ot_filter
1831                                 $of_filter
1832                                 $ov_filter
1833                                 $oa_filter
1834                                 $ol_filter
1835                                 $olf_filter
1836
1837                           ORDER BY 4 $sort_dir, 5
1838                 SQL
1839         }
1840
1841
1842         $log->debug("Field Search SQL :: [$select]",DEBUG);
1843
1844         my $recs = $_cdbi->{title}->db_Main->selectall_arrayref(
1845                         $select, {},
1846                         @bonus_values,
1847                         @types, @forms, @vformats, @aud, @lang, @lit_form,
1848                         @types, @forms, @vformats, @aud, @lang, @lit_form,
1849                         # ($self->api_name =~ /staff/o ? (@types, @forms, @aud, @lang, @lit_form) : () )
1850         );
1851
1852         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
1853
1854         my $max = 0;
1855         $max = 1 if (!@$recs);
1856         for (@$recs) {
1857                 $max = $$_[1] if ($$_[1] > $max);
1858         }
1859
1860         my $count = scalar(@$recs);
1861         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
1862                 next unless ($$rec[0]);
1863                 my ($mrid,$rank,$skip) = @$rec;
1864                 $client->respond( [$mrid, sprintf('%0.3f',$rank/$max), $skip, $count] );
1865         }
1866         return undef;
1867 }
1868
1869 __PACKAGE__->register_method(
1870         api_name        => "open-ils.storage.metabib.post_filter.multiclass.search_fts.metarecord",
1871         method          => 'postfilter_search_multi_class_fts',
1872         api_level       => 1,
1873         stream          => 1,
1874         cachable        => 1,
1875 );
1876 __PACKAGE__->register_method(
1877         api_name        => "open-ils.storage.metabib.post_filter.multiclass.search_fts.metarecord.staff",
1878         method          => 'postfilter_search_multi_class_fts',
1879         api_level       => 1,
1880         stream          => 1,
1881         cachable        => 1,
1882 );
1883
1884 __PACKAGE__->register_method(
1885         api_name        => "open-ils.storage.metabib.multiclass.search_fts",
1886         method          => 'postfilter_search_multi_class_fts',
1887         api_level       => 1,
1888         stream          => 1,
1889         cachable        => 1,
1890 );
1891 __PACKAGE__->register_method(
1892         api_name        => "open-ils.storage.metabib.multiclass.search_fts.staff",
1893         method          => 'postfilter_search_multi_class_fts',
1894         api_level       => 1,
1895         stream          => 1,
1896         cachable        => 1,
1897 );
1898
1899 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
1900 sub biblio_search_multi_class_fts {
1901         my $self = shift;
1902         my $client = shift;
1903         my %args = @_;
1904
1905         my $sort = $args{'sort'};
1906         my $sort_dir = $args{sort_dir} || 'DESC';
1907         my $ou = $args{org_unit};
1908         my $ou_type = $args{depth};
1909         my $limit = $args{limit} || 10;
1910         my $pref_lang = $args{prefered_language} || 'eng';
1911         my $visibility_limit = $args{visibility_limit} || 5000;
1912         my $offset = $args{offset} || 0;
1913
1914         if (!$ou) {
1915                 $ou = actor::org_unit->search( { parent_ou => undef } )->next->id;
1916         }
1917
1918         if (! scalar( keys %{$args{searches}} )) {
1919                 die "No search arguments were passed to ".$self->api_name;
1920         }
1921
1922         my $outer_limit = 1000;
1923
1924         my $limit_clause = '';
1925         my $offset_clause = '';
1926
1927         $limit_clause = "LIMIT $outer_limit";
1928         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
1929
1930         my ($avail_filter,@types,@forms,@lang,@aud,@lit_form,@vformats) = ('');
1931         my ($t_filter, $f_filter, $v_filter) = ('','','');
1932         my ($a_filter, $l_filter, $lf_filter) = ('','','');
1933         my ($ot_filter, $of_filter, $ov_filter) = ('','','');
1934         my ($oa_filter, $ol_filter, $olf_filter) = ('','','');
1935
1936         if ($args{available}) {
1937                 $avail_filter = ' AND cp.status IN (0,7)';
1938         }
1939
1940         if (my $a = $args{audience}) {
1941                 $a = [$a] if (!ref($a));
1942                 @aud = @$a;
1943
1944                 $a_filter = ' AND rd.audience IN ('.join(',',map{'?'}@aud).')';
1945                 $oa_filter = ' AND ord.audience IN ('.join(',',map{'?'}@aud).')';
1946         }
1947
1948         if (my $l = $args{language}) {
1949                 $l = [$l] if (!ref($l));
1950                 @lang = @$l;
1951
1952                 $l_filter = ' AND rd.item_lang IN ('.join(',',map{'?'}@lang).')';
1953                 $ol_filter = ' AND ord.item_lang IN ('.join(',',map{'?'}@lang).')';
1954         }
1955
1956         if (my $f = $args{lit_form}) {
1957                 $f = [$f] if (!ref($f));
1958                 @lit_form = @$f;
1959
1960                 $lf_filter = ' AND rd.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1961                 $olf_filter = ' AND ord.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1962         }
1963
1964         if (my $f = $args{item_form}) {
1965                 $f = [$f] if (!ref($f));
1966                 @forms = @$f;
1967
1968                 $f_filter = ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1969                 $of_filter = ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1970         }
1971
1972         if (my $t = $args{item_type}) {
1973                 $t = [$t] if (!ref($t));
1974                 @types = @$t;
1975
1976                 $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1977                 $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1978         }
1979
1980         if (my $v = $args{vr_format}) {
1981                 $v = [$v] if (!ref($v));
1982                 @vformats = @$v;
1983
1984                 $v_filter = ' AND rd.vr_format IN ('.join(',',map{'?'}@vformats).')';
1985                 $ov_filter = ' AND ord.vr_format IN ('.join(',',map{'?'}@vformats).')';
1986         }
1987
1988         # XXX legacy format and item type support
1989         if ($args{format}) {
1990                 my ($t, $f) = split '-', $args{format};
1991                 @types = split '', $t;
1992                 @forms = split '', $f;
1993                 if (@types) {
1994                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1995                         $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1996                 }
1997
1998                 if (@forms) {
1999                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
2000                         $of_filter .= ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
2001                 }
2002         }
2003
2004
2005         my $descendants = defined($ou_type) ?
2006                                 "actor.org_unit_descendants($ou, $ou_type)" :
2007                                 "actor.org_unit_descendants($ou)";
2008
2009         my $search_table_list = '';
2010         my $fts_list = '';
2011         my $join_table_list = '';
2012         my @rank_list;
2013
2014         my $field_table = config::metabib_field->table;
2015
2016         my @bonus_lists;
2017         my @bonus_values;
2018         my $prev_search_group;
2019         my $curr_search_group;
2020         my $search_class;
2021         my $search_field;
2022         my $metabib_field;
2023         for my $search_group (sort keys %{$args{searches}}) {
2024                 (my $search_group_name = $search_group) =~ s/\|/_/gso;
2025                 ($search_class,$search_field) = split /\|/, $search_group;
2026                 $log->debug("Searching class [$search_class] and field [$search_field]",DEBUG);
2027
2028                 if ($search_field) {
2029                         unless ( $metabib_field = config::metabib_field->search( field_class => $search_class, name => $search_field )->next ) {
2030                                 $log->warn("Requested class [$search_class] or field [$search_field] does not exist!");
2031                                 return undef;
2032                         }
2033                 }
2034
2035                 $prev_search_group = $curr_search_group if ($curr_search_group);
2036
2037                 $curr_search_group = $search_group_name;
2038
2039                 my $class = $_cdbi->{$search_class};
2040                 my $search_table = $class->table;
2041
2042                 my ($index_col) = $class->columns('FTS');
2043                 $index_col ||= 'value';
2044
2045
2046                 my $fts = OpenILS::Application::Storage::FTS->compile($search_class => $args{searches}{$search_group}{term}, $search_group_name.'.value', "$search_group_name.$index_col");
2047
2048                 my $fts_where = $fts->sql_where_clause;
2049                 my @fts_ranks = $fts->fts_rank;
2050
2051                 my $SQLstring = join('%',map { lc($_) } $fts->words) .'%';
2052                 my $REstring = '^' . join('\s+',map { lc($_) } $fts->words) . '\W*$';
2053                 my $first_word = lc(($fts->words)[0]).'%';
2054
2055                 $_.=" * (SELECT weight FROM $field_table WHERE $search_group_name.field = id)" for (@fts_ranks);
2056                 my $rank = join('  + ', @fts_ranks);
2057
2058                 my %bonus = ();
2059                 $bonus{'subject'} = [];
2060                 $bonus{'author'} = [ { "CASE WHEN $search_group_name.value ILIKE ? THEN 1.5 ELSE 1 END" => $first_word } ];
2061
2062                 $bonus{'keyword'} = [ { "CASE WHEN $search_group_name.value ILIKE ? THEN 10 ELSE 1 END" => $SQLstring } ];
2063
2064                 $bonus{'series'} = [
2065                         { "CASE WHEN $search_group_name.value ILIKE ? THEN 1.5 ELSE 1 END" => $first_word },
2066                         { "CASE WHEN $search_group_name.value ~ ? THEN 20 ELSE 1 END" => $REstring },
2067                 ];
2068
2069                 $bonus{'title'} = [ @{ $bonus{'series'} }, @{ $bonus{'keyword'} } ];
2070
2071                 if ($pref_lang) {
2072                         push @{ $bonus{'title'} }, { "CASE WHEN rd.item_lang = ? THEN 10 ELSE 1 END" => $pref_lang };
2073                         push @{ $bonus{'author'} }, { "CASE WHEN rd.item_lang = ? THEN 10 ELSE 1 END" => $pref_lang };
2074                         push @{ $bonus{'subject'} }, { "CASE WHEN rd.item_lang = ? THEN 10 ELSE 1 END" => $pref_lang };
2075                         push @{ $bonus{'keyword'} }, { "CASE WHEN rd.item_lang = ? THEN 10 ELSE 1 END" => $pref_lang };
2076                         push @{ $bonus{'series'} }, { "CASE WHEN rd.item_lang = ? THEN 10 ELSE 1 END" => $pref_lang };
2077                 }
2078
2079                 my $bonus_list = join ' * ', map { keys %$_ } @{ $bonus{$search_class} };
2080                 $bonus_list ||= '1';
2081
2082                 push @bonus_lists, $bonus_list;
2083                 push @bonus_values, map { values %$_ } @{ $bonus{$search_class} };
2084
2085                 #---------------------
2086
2087                 $search_table_list .= "$search_table $search_group_name, ";
2088                 push @rank_list,$rank;
2089                 $fts_list .= " AND $fts_where AND b.id = $search_group_name.source";
2090
2091                 if ($metabib_field) {
2092                         $fts_list .= " AND $curr_search_group.field = " . $metabib_field->id;
2093                         $metabib_field = undef;
2094                 }
2095
2096                 if ($prev_search_group) {
2097                         $join_table_list .= " AND $prev_search_group.source = $curr_search_group.source";
2098                 }
2099         }
2100
2101         my $metabib_record_descriptor = metabib::record_descriptor->table;
2102         my $metabib_full_rec = metabib::full_rec->table;
2103         my $metabib_metarecord = metabib::metarecord->table;
2104         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
2105         my $asset_call_number_table = asset::call_number->table;
2106         my $asset_copy_table = asset::copy->table;
2107         my $cs_table = config::copy_status->table;
2108         my $cl_table = asset::copy_location->table;
2109         my $br_table = biblio::record_entry->table;
2110         my $source_table = config::bib_source->table;
2111
2112
2113         my $bonuses = join (' * ', @bonus_lists);
2114         my $relevance = join (' + ', @rank_list);
2115         $relevance = "AVG( ($relevance) * ($bonuses) )";
2116
2117         my $string_default_sort = 'zzzz';
2118         $string_default_sort = 'AAAA' if ($sort_dir eq 'DESC');
2119
2120         my $number_default_sort = '9999';
2121         $number_default_sort = '0000' if ($sort_dir eq 'DESC');
2122
2123         my $rank = $relevance;
2124         if (lc($sort) eq 'pubdate') {
2125                 $rank = <<"             RANK";
2126                         ( FIRST ((
2127                                 SELECT  COALESCE(SUBSTRING(frp.value FROM '\\\\d{4}'),'$number_default_sort')::INT
2128                                   FROM  $metabib_full_rec frp
2129                                   WHERE frp.record = b.id
2130                                         AND frp.tag = '260'
2131                                         AND frp.subfield = 'c'
2132                                   LIMIT 1
2133                         )) )
2134                 RANK
2135         } elsif (lc($sort) eq 'create_date') {
2136                 $rank = <<"             RANK";
2137                         ( FIRST (( SELECT create_date FROM $br_table rbr WHERE rbr.id = b.id)) )
2138                 RANK
2139         } elsif (lc($sort) eq 'edit_date') {
2140                 $rank = <<"             RANK";
2141                         ( FIRST (( SELECT edit_date FROM $br_table rbr WHERE rbr.id = b.id)) )
2142                 RANK
2143         } elsif (lc($sort) eq 'title') {
2144                 $rank = <<"             RANK";
2145                         ( FIRST ((
2146                                 SELECT  COALESCE(LTRIM(SUBSTR( frt.value, COALESCE(SUBSTRING(frt.ind2 FROM '\\\\d+'),'0')::INT + 1 )),'$string_default_sort')
2147                                   FROM  $metabib_full_rec frt
2148                                   WHERE frt.record = b.id
2149                                         AND frt.tag = '245'
2150                                         AND frt.subfield = 'a'
2151                                   LIMIT 1
2152                         )) )
2153                 RANK
2154         } elsif (lc($sort) eq 'author') {
2155                 $rank = <<"             RANK";
2156                         ( FIRST((
2157                                 SELECT  COALESCE(LTRIM(fra.value),'$string_default_sort')
2158                                   FROM  $metabib_full_rec fra
2159                                   WHERE fra.record = b.id
2160                                         AND fra.tag LIKE '1%'
2161                                         AND fra.subfield = 'a'
2162                                   ORDER BY fra.tag::text::int
2163                                   LIMIT 1
2164                         )) )
2165                 RANK
2166         } else {
2167                 push @bonus_values, @bonus_values;
2168                 $sort = undef;
2169         }
2170
2171
2172         my $select = <<"        SQL";
2173                 SELECT  b.id,
2174                         $relevance AS rel,
2175                         $rank AS rank,
2176                         b.source
2177                 FROM    $search_table_list
2178                         $metabib_record_descriptor rd,
2179                         $source_table src,
2180                         $br_table b
2181                 WHERE   rd.record = b.id
2182                         AND b.active IS TRUE
2183                         AND b.deleted IS FALSE
2184                         $fts_list
2185                         $join_table_list
2186                         $t_filter
2187                         $f_filter
2188                         $v_filter
2189                         $a_filter
2190                         $l_filter
2191                         $lf_filter
2192                 GROUP BY b.id, b.source
2193                 ORDER BY 3 $sort_dir
2194                 LIMIT $visibility_limit
2195         SQL
2196
2197         if ($self->api_name !~ /staff/o) {
2198                 $select = <<"           SQL";
2199
2200                         SELECT  s.*
2201                           FROM  ($select) s
2202                                 LEFT OUTER JOIN $source_table src ON (s.source = src.id)
2203                           WHERE EXISTS (
2204                                 SELECT  1
2205                                   FROM  $asset_call_number_table cn,
2206                                         $asset_copy_table cp,
2207                                         $cs_table cs,
2208                                         $cl_table cl,
2209                                         $descendants d
2210                                   WHERE cn.record = s.id
2211                                         AND cp.status = cs.id
2212                                         AND cp.location = cl.id
2213                                         AND cp.call_number = cn.id
2214                                         AND cp.opac_visible IS TRUE
2215                                         AND cs.holdable IS TRUE
2216                                         AND cl.opac_visible IS TRUE
2217                                         AND d.opac_visible IS TRUE
2218                                         AND cp.deleted IS FALSE
2219                                         AND cn.deleted IS FALSE
2220                                         AND cp.circ_lib = d.id
2221                                         $avail_filter
2222                                   LIMIT 1
2223                                 )
2224                                 OR src.transcendant IS TRUE
2225                           ORDER BY 3 $sort_dir
2226                 SQL
2227         } else {
2228                 $select = <<"           SQL";
2229
2230                         SELECT  s.*
2231                           FROM  ($select) s
2232                                 LEFT OUTER JOIN $source_table src ON (s.source = src.id)
2233                           WHERE EXISTS (
2234                                 SELECT  1
2235                                   FROM  $asset_call_number_table cn,
2236                                         $asset_copy_table cp,
2237                                         $descendants d
2238                                   WHERE cn.record = s.id
2239                                         AND cp.call_number = cn.id
2240                                         AND cn.deleted IS FALSE
2241                                         AND cp.circ_lib = d.id
2242                                         AND cp.deleted IS FALSE
2243                                         $avail_filter
2244                                   LIMIT 1
2245                                 )
2246                                 OR NOT EXISTS (
2247                                 SELECT  1
2248                                   FROM  $asset_call_number_table cn
2249                                   WHERE cn.record = s.id
2250                                   LIMIT 1
2251                                 )
2252                                 OR src.transcendant IS TRUE
2253                           ORDER BY 3 $sort_dir
2254                 SQL
2255         }
2256
2257
2258         $log->debug("Field Search SQL :: [$select]",DEBUG);
2259
2260         my $recs = $_cdbi->{title}->db_Main->selectall_arrayref(
2261                         $select, {},
2262                         @bonus_values, @types, @forms, @vformats, @aud, @lang, @lit_form
2263         );
2264
2265         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
2266
2267         my $count = scalar(@$recs);
2268         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
2269                 next unless ($$rec[0]);
2270                 my ($mrid,$rank) = @$rec;
2271                 $client->respond( [$mrid, sprintf('%0.3f',$rank), $count] );
2272         }
2273         return undef;
2274 }
2275
2276 __PACKAGE__->register_method(
2277         api_name        => "open-ils.storage.biblio.multiclass.search_fts.record",
2278         method          => 'biblio_search_multi_class_fts',
2279         api_level       => 1,
2280         stream          => 1,
2281         cachable        => 1,
2282 );
2283 __PACKAGE__->register_method(
2284         api_name        => "open-ils.storage.biblio.multiclass.search_fts.record.staff",
2285         method          => 'biblio_search_multi_class_fts',
2286         api_level       => 1,
2287         stream          => 1,
2288         cachable        => 1,
2289 );
2290
2291
2292
2293 __PACKAGE__->register_method(
2294         api_name        => "open-ils.storage.biblio.multiclass.search_fts",
2295         method          => 'biblio_search_multi_class_fts',
2296         api_level       => 1,
2297         stream          => 1,
2298         cachable        => 1,
2299 );
2300 __PACKAGE__->register_method(
2301         api_name        => "open-ils.storage.biblio.multiclass.search_fts.staff",
2302         method          => 'biblio_search_multi_class_fts',
2303         api_level       => 1,
2304         stream          => 1,
2305         cachable        => 1,
2306 );
2307
2308 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
2309 sub staged_fts {
2310         my $self = shift;
2311         my $client = shift;
2312         my %args = @_;
2313
2314         my $ou = $args{org_unit};
2315         my $pref_lang = $args{prefered_language} || 'eng'; # XXX not used currently
2316         my $limit = $args{limit} || 10;
2317         my $offset = $args{offset} || 0;
2318
2319         if (!$ou) {
2320                 $ou = actor::org_unit->search( { parent_ou => undef } )->next->id;
2321         }
2322
2323         if (! scalar( keys %{$args{searches}} )) {
2324                 die "No search arguments were passed to ".$self->api_name;
2325         }
2326
2327         my (@statuses,@types,@forms,@lang,@aud,@lit_form,@vformats);
2328
2329         if ($args{available}) {
2330                 @statuses = (0,7);
2331         }
2332
2333         if (my $s = $args{statuses}) {
2334                 $s = [$s] if (!ref($s));
2335                 @statuses = @$s;
2336         }
2337
2338         if (my $a = $args{audience}) {
2339                 $a = [$a] if (!ref($a));
2340                 @aud = @$a;
2341         }
2342
2343         if (my $l = $args{language}) {
2344                 $l = [$l] if (!ref($l));
2345                 @lang = @$l;
2346         }
2347
2348         if (my $f = $args{lit_form}) {
2349                 $f = [$f] if (!ref($f));
2350                 @lit_form = @$f;
2351         }
2352
2353         if (my $f = $args{item_form}) {
2354                 $f = [$f] if (!ref($f));
2355                 @forms = @$f;
2356         }
2357
2358         if (my $t = $args{item_type}) {
2359                 $t = [$t] if (!ref($t));
2360                 @types = @$t;
2361         }
2362
2363         if (my $v = $args{vr_format}) {
2364                 $v = [$v] if (!ref($v));
2365                 @vformats = @$v;
2366         }
2367
2368         # XXX legacy format and item type support
2369         if ($args{format}) {
2370                 my ($t, $f) = split '-', $args{format};
2371                 @types = split '', $t;
2372                 @forms = split '', $f;
2373         }
2374
2375     my %stored_proc_search_args;
2376         for my $search_group (sort keys %{$args{searches}}) {
2377                 (my $search_group_name = $search_group) =~ s/\|/_/gso;
2378                 my ($search_class,$search_field) = split /\|/, $search_group;
2379                 $log->debug("Searching class [$search_class] and field [$search_field]",DEBUG);
2380
2381                 if ($search_field) {
2382                         unless ( config::metabib_field->search( field_class => $search_class, name => $search_field )->next ) {
2383                                 $log->warn("Requested class [$search_class] or field [$search_field] does not exist!");
2384                                 return undef;
2385                         }
2386                 }
2387
2388                 my $class = $_cdbi->{$search_class};
2389                 my $search_table = $class->table;
2390
2391                 my ($index_col) = $class->columns('FTS');
2392                 $index_col ||= 'value';
2393
2394
2395                 my $fts = OpenILS::Application::Storage::FTS->compile(
2396             $search_class => $args{searches}{$search_group}{term},
2397             $search_group_name.'.value',
2398             "$search_group_name.$index_col"
2399         );
2400                 $fts->sql_where_clause; # this builds the ranks for us
2401
2402                 my @fts_ranks = $fts->fts_rank;
2403                 my @fts_queries = $fts->fts_query;
2404                 my @phrases = map { lc($_) } $fts->phrases;
2405                 my @words = map { lc($_) } $fts->words;
2406
2407         $stored_proc_search_args{$search_group} = {
2408             fts_rank    => \@fts_ranks,
2409             fts_query   => \@fts_query,
2410             phrase      => \@phrases,
2411             word        => \@words,
2412         };
2413
2414         }
2415
2416         my $param_search_ou = $ou;
2417         my $param_depth = $args{depth}; $param_depth ||= 'NULL'
2418     my $param_searches = OpenSRF::Utils::JSON->perl2JSON( \%stored_proc_search_args ); $param_searches =~ s/\$//go; $param_searches = '$$'.$param_searches.'$$';
2419     my $param_statuses = '$${' . join(',', map { s/\$//go } @statuses) . '}$$';
2420     my $param_audience = '$${' . join(',', map { s/\$//go } @aud) . '}$$';
2421     my $param_language = '$${' . join(',', map { s/\$//go } @lang) . '}$$';
2422     my $param_lit_form = '$${' . join(',', map { s/\$//go } @lit_form) . '}$$';
2423     my $param_types = '$${' . join(',', map { s/\$//go } @types) . '}$$';
2424     my $param_forms = '$${' . join(',', map { s/\$//go } @forms) . '}$$';
2425     my $param_vformats = '$${' . join(',', map { s/\$//go } @vformats) . '}$$';
2426         my $param_sort = $args{'sort'}; $param_sort =~ s/\$//go; $param_sort = '$$'.$param_sort.'$$';
2427         my $param_sort_desc = (defined($args{sort_dir}) && $args{sort_dir} =~ /^d/io ? "'t'" : "'f'");
2428         my $metarecord = ($self->api_name =~ /metabib/o) ? "'t'" : "'f'");
2429         my $staff = ($self->api_name =~ /staff/o) ? "'t'" : "'f'");
2430     my $param_rel_limit = $args{core_limit}; $param_rel_limit ||= 'NULL';
2431     my $param_chk_limit = $args{check_limit}; $param_chk_limit ||= 'NULL';
2432     my $param_skip_chk = $args{skip_check}; $param_skip_chk ||= 'NULL';
2433
2434         my $sth = metabib::metarecord_source_map->db_Main->prepare(<<"    SQL");
2435         SELECT  *
2436           FROM  search.staged_fts(
2437                     $param_search_ou,
2438                     $param_depth,
2439                     $param_searches,
2440                     $param_statuses,
2441                     $param_audience,
2442                     $param_language,
2443                     $param_lit_form,
2444                     $param_types,
2445                     $param_forms,
2446                     $param_vformats,
2447                     $param_sort,
2448                     $param_sort_desc,
2449                     $metarecord,
2450                     $staff,
2451                     $param_rel_limit,
2452                     $param_chk_limit,
2453                     $param_skip_chk
2454                 );
2455     SQL
2456
2457     my $recs = $sth->fetchall_arrayref({});
2458     my $summary_row = pop @$recs;
2459
2460     my $total = $$summary_row{total};
2461     my $checked = $$summary_row{checked};
2462     my $visible = $$summary_row{visible};
2463     my $deleted = $$summary_row{deleted};
2464     my $excluded = $$summary_row{excluded};
2465
2466     my $estimate = $visible;
2467     if ( $total > $checked ) {
2468         my $deleted_ratio = $deleted / $checked;
2469         my $exclution_ratio = $excluded / $checked;
2470         my $delete_adjusted_total = $total - ( $total * $deleted_ratio );
2471
2472         $estimate = $$summary_row{estimated_hit_count} = int($delete_adjusted_total - ( $delete_adjusted_total * $exclution_ratio ));
2473     }
2474
2475     delete $$summary_row{id};
2476     delete $$summary_row{rel};
2477     delete $$summary_row{record};
2478
2479     $client->respond( $summary_row );
2480
2481         $log->debug("Search yielded ".scalar(@$recs)." checked, visible results with an approximate visible total of $estimate.",DEBUG);
2482
2483         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
2484                 $client->respond( $rec );
2485         }
2486         return undef;
2487 }
2488 __PACKAGE__->register_method(
2489         api_name        => "open-ils.storage.biblio.multiclass.staged.search_fts",
2490         method          => 'staged_fts',
2491         api_level       => 1,
2492         stream          => 1,
2493         cachable        => 1,
2494 );
2495 __PACKAGE__->register_method(
2496         api_name        => "open-ils.storage.biblio.multiclass.staged.search_fts.staff",
2497         method          => 'staged_fts',
2498         api_level       => 1,
2499         stream          => 1,
2500         cachable        => 1,
2501 );
2502 __PACKAGE__->register_method(
2503         api_name        => "open-ils.storage.metabib.multiclass.staged.search_fts",
2504         method          => 'staged_fts',
2505         api_level       => 1,
2506         stream          => 1,
2507         cachable        => 1,
2508 );
2509 __PACKAGE__->register_method(
2510         api_name        => "open-ils.storage.metabib.multiclass.staged.search_fts.staff",
2511         method          => 'staged_fts',
2512         api_level       => 1,
2513         stream          => 1,
2514         cachable        => 1,
2515 );
2516
2517
2518 sub xref_count {
2519         my $self = shift;
2520         my $client = shift;
2521         my $args = shift;
2522
2523         my $term = $$args{term};
2524         my $limit = $$args{max} || 1;
2525         my $min = $$args{min} || 1;
2526         my @classes = @{$$args{class}};
2527
2528         $limit = $min if ($min > $limit);
2529
2530         if (!@classes) {
2531                 @classes = ( qw/ title author subject series keyword / );
2532         }
2533
2534         my %matches;
2535         my $bre_table = biblio::record_entry->table;
2536         my $cn_table = asset::call_number->table;
2537         my $cp_table = asset::copy->table;
2538
2539         for my $search_class ( @classes ) {
2540
2541                 my $class = $_cdbi->{$search_class};
2542                 my $search_table = $class->table;
2543
2544                 my ($index_col) = $class->columns('FTS');
2545                 $index_col ||= 'value';
2546
2547
2548                 my $where = OpenILS::Application::Storage::FTS
2549                         ->compile($search_class => $term, $search_class.'.value', "$search_class.$index_col")
2550                         ->sql_where_clause;
2551
2552                 my $SQL = <<"           SQL";
2553                         SELECT  COUNT(DISTINCT X.source)
2554                           FROM  (SELECT $search_class.source
2555                                   FROM  $search_table $search_class
2556                                         JOIN $bre_table b ON (b.id = $search_class.source)
2557                                   WHERE $where
2558                                         AND NOT b.deleted
2559                                         AND b.active
2560                                   LIMIT $limit) X
2561                           HAVING COUNT(DISTINCT X.source) >= $min;
2562                 SQL
2563
2564                 my $res = $class->db_Main->selectrow_arrayref( $SQL );
2565                 $matches{$search_class} = $res ? $res->[0] : 0;
2566         }
2567
2568         return \%matches;
2569 }
2570 __PACKAGE__->register_method(
2571         api_name        => "open-ils.storage.search.xref",
2572         method          => 'xref_count',
2573         api_level       => 1,
2574 );
2575
2576
2577
2578 1;
2579