Open-ILS/src/perlmods/OpenILS/Application/Storage/Publisher/metabib.pm

   1 package OpenILS::Application::Storage::Publisher::metabib;
   2 use base qw/OpenILS::Application::Storage::Publisher/;
   3 use vars qw/$VERSION/;
   4 use OpenSRF::EX qw/:try/;
   5 use OpenILS::Application::Storage::FTS;
   6 use OpenILS::Utils::Fieldmapper;
   7 use OpenSRF::Utils::Logger qw/:level/;
   8 use OpenSRF::Utils::Cache;
   9 use Data::Dumper;
  10 use Digest::MD5 qw/md5_hex/;
  11
  12
  13 my $log = 'OpenSRF::Utils::Logger';
  14
  15 $VERSION = 1;
  16
  17 sub ordered_records_from_metarecord {
  18         my $self = shift;
  19         my $client = shift;
  20         my $mr = shift;
  21         my $formats = shift;
  22         my $org = shift || 1;
  23         my $depth = shift;
  24
  25         my (@types,@forms);
  26
  27         if ($formats) {
  28                 my ($t, $f) = split '-', $formats;
  29                 @types = split '', $t;
  30                 @forms = split '', $f;
  31         }
  32
  33         my $descendants =
  34                 defined($depth) ?
  35                         "actor.org_unit_descendants($org, $depth)" :
  36                         "actor.org_unit_descendants($org)" ;
  37
  38
  39         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
  40         $copies_visible = '' if ($self->api_name =~ /staff/o);
  41
  42         my $sm_table = metabib::metarecord_source_map->table;
  43         my $rd_table = metabib::record_descriptor->table;
  44         my $fr_table = metabib::full_rec->table;
  45         my $cn_table = asset::call_number->table;
  46         my $cl_table = asset::copy_location->table;
  47         my $cp_table = asset::copy->table;
  48         my $cs_table = config::copy_status->table;
  49         my $src_table = config::bib_source->table;
  50         my $out_table = actor::org_unit_type->table;
  51         my $br_table = biblio::record_entry->table;
  52
  53         my $sql = <<"   SQL";
  54                 SELECT  record,
  55                         item_type,
  56                         item_form,
  57                         quality,
  58                         FIRST(COALESCE(LTRIM(SUBSTR( value, COALESCE(SUBSTRING(ind2 FROM '\\\\d+'),'0')::INT + 1 )),'zzzzzzzz')) AS title
  59                 FROM    (
  60                         SELECT  rd.record,
  61                                 rd.item_type,
  62                                 rd.item_form,
  63                                 br.quality,
  64                                 fr.tag,
  65                                 fr.subfield,
  66                                 fr.value,
  67                                 fr.ind2
  68         SQL
  69
  70         if ($copies_visible) {
  71                 $sql .= <<"             SQL";
  72                           FROM  $sm_table sm,
  73                                 $br_table br,
  74                                 $fr_table fr,
  75                                 $rd_table rd
  76                           WHERE rd.record = sm.source
  77                                 AND fr.record = sm.source
  78                                 AND br.id = sm.source
  79                                 AND sm.metarecord = ?
  80                                 AND (EXISTS ((SELECT    1
  81                                                 FROM    $cp_table cp
  82                                                         JOIN $cn_table cn ON (cp.call_number = cn.id)
  83                                                         JOIN $cs_table cs ON (cp.status = cs.id)
  84                                                         JOIN $cl_table cl ON (cp.location = cl.id)
  85                                                         JOIN $descendants d ON (cp.circ_lib = d.id)
  86                                                 WHERE   cn.record = sm.source
  87                                                         $copies_visible
  88                                                 LIMIT 1))
  89                                         OR EXISTS ((
  90                                             SELECT      1
  91                                               FROM      $src_table src
  92                                               WHERE     src.id = br.source
  93                                                         AND src.transcendant IS TRUE))
  94                                 )
  95
  96                 SQL
  97         } else {
  98                 $sql .= <<"             SQL";
  99                           FROM  $sm_table sm
 100                                 JOIN $br_table br ON (sm.source = br.id)
 101                                 JOIN $fr_table fr ON (fr.record = br.id)
 102                                 JOIN $rd_table rd ON (rd.record = br.id)
 103                           WHERE sm.metarecord = ?
 104                                 AND ((  EXISTS (
 105                                                 SELECT  1
 106                                                   FROM  $cp_table cp,
 107                                                         $cn_table cn,
 108                                                         $descendants d
 109                                                   WHERE cn.record = br.id
 110                                                         AND cn.deleted = FALSE
 111                                                         AND cp.deleted = FALSE
 112                                                         AND cp.circ_lib = d.id
 113                                                         AND cn.id = cp.call_number
 114                                                   LIMIT 1
 115                                         ) OR NOT EXISTS (
 116                                                 SELECT  1
 117                                                   FROM  $cp_table cp,
 118                                                         $cn_table cn
 119                                                   WHERE cn.record = br.id
 120                                                         AND cn.deleted = FALSE
 121                                                         AND cp.deleted = FALSE
 122                                                         AND cn.id = cp.call_number
 123                                                   LIMIT 1
 124                                         ))
 125                                         OR EXISTS ((
 126                                             SELECT      1
 127                                               FROM      $src_table src
 128                                               WHERE     src.id = br.source
 129                                                         AND src.transcendant IS TRUE))
 130                                 )
 131                 SQL
 132         }
 133
 134         if (@types) {
 135                 $sql .= '                               AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 136         }
 137
 138         if (@forms) {
 139                 $sql .= '                               AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 140         }
 141
 142
 143
 144         $sql .= <<"     SQL";
 145                           OFFSET 0
 146                         ) AS x
 147           WHERE tag = '245'
 148                 AND subfield = 'a'
 149           GROUP BY record, item_type, item_form, quality
 150           ORDER BY
 151                 CASE
 152                         WHEN item_type IS NULL -- default
 153                                 THEN 0
 154                         WHEN item_type = '' -- default
 155                                 THEN 0
 156                         WHEN item_type IN ('a','t') -- books
 157                                 THEN 1
 158                         WHEN item_type = 'g' -- movies
 159                                 THEN 2
 160                         WHEN item_type IN ('i','j') -- sound recordings
 161                                 THEN 3
 162                         WHEN item_type = 'm' -- software
 163                                 THEN 4
 164                         WHEN item_type = 'k' -- images
 165                                 THEN 5
 166                         WHEN item_type IN ('e','f') -- maps
 167                                 THEN 6
 168                         WHEN item_type IN ('o','p') -- mixed
 169                                 THEN 7
 170                         WHEN item_type IN ('c','d') -- music
 171                                 THEN 8
 172                         WHEN item_type = 'r' -- 3d
 173                                 THEN 9
 174                 END,
 175                 title ASC,
 176                 quality DESC
 177         SQL
 178
 179         my $ids = metabib::metarecord_source_map->db_Main->selectcol_arrayref($sql, {}, "$mr", @types, @forms);
 180         return $ids if ($self->api_name =~ /atomic$/o);
 181
 182         $client->respond( $_ ) for ( @$ids );
 183         return undef;
 184
 185 }
 186 __PACKAGE__->register_method(
 187         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records',
 188         method          => 'ordered_records_from_metarecord',
 189         api_level       => 1,
 190         cachable        => 1,
 191 );
 192 __PACKAGE__->register_method(
 193         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records.staff',
 194         method          => 'ordered_records_from_metarecord',
 195         api_level       => 1,
 196         cachable        => 1,
 197 );
 198
 199 __PACKAGE__->register_method(
 200         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records.atomic',
 201         method          => 'ordered_records_from_metarecord',
 202         api_level       => 1,
 203         cachable        => 1,
 204 );
 205 __PACKAGE__->register_method(
 206         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records.staff.atomic',
 207         method          => 'ordered_records_from_metarecord',
 208         api_level       => 1,
 209         cachable        => 1,
 210 );
 211
 212 sub isxn_search {
 213         my $self = shift;
 214         my $client = shift;
 215         my $isxn = lc(shift());
 216
 217         my $tag = ($self->api_name =~ /isbn/o) ? '020' : '022';
 218
 219         my $fr_table = metabib::full_rec->table;
 220
 221         my $sql = <<"   SQL";
 222                 SELECT  record
 223                   FROM  $fr_table
 224                   WHERE tag = ?
 225                         AND value LIKE ?
 226         SQL
 227
 228         my $list = metabib::metarecord_source_map->db_Main->selectcol_arrayref($sql, {}, $tag, "$isxn%");
 229         $client->respond($_) for (@$list);
 230         return undef;
 231 }
 232 __PACKAGE__->register_method(
 233         api_name        => 'open-ils.storage.id_list.biblio.record_entry.search.isbn',
 234         method          => 'isxn_search',
 235         api_level       => 1,
 236         stream          => 1,
 237 );
 238 __PACKAGE__->register_method(
 239         api_name        => 'open-ils.storage.id_list.biblio.record_entry.search.issn',
 240         method          => 'isxn_search',
 241         api_level       => 1,
 242         stream          => 1,
 243 );
 244
 245 sub metarecord_copy_count {
 246         my $self = shift;
 247         my $client = shift;
 248
 249         my %args = @_;
 250
 251         my $sm_table = metabib::metarecord_source_map->table;
 252         my $rd_table = metabib::record_descriptor->table;
 253         my $cn_table = asset::call_number->table;
 254         my $cp_table = asset::copy->table;
 255         my $br_table = biblio::record_entry->table;
 256         my $src_table = config::bib_source->table;
 257         my $cl_table = asset::copy_location->table;
 258         my $cs_table = config::copy_status->table;
 259         my $out_table = actor::org_unit_type->table;
 260         my $descendants = "actor.org_unit_descendants(u.id)";
 261         my $ancestors = "actor.org_unit_ancestors(?)";
 262
 263         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 264         $copies_visible = '' if ($self->api_name =~ /staff/o);
 265
 266         my (@types,@forms);
 267         my ($t_filter, $f_filter) = ('','');
 268
 269         if ($args{format}) {
 270                 my ($t, $f) = split '-', $args{format};
 271                 @types = split '', $t;
 272                 @forms = split '', $f;
 273                 if (@types) {
 274                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 275                 }
 276
 277                 if (@forms) {
 278                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 279                 }
 280         }
 281
 282         my $sql = <<"   SQL";
 283                 SELECT  t.depth,
 284                         u.id AS org_unit,
 285                         sum(
 286                                 (SELECT count(cp.id)
 287                                   FROM  $sm_table r
 288                                         JOIN $cn_table cn ON (cn.record = r.source)
 289                                         JOIN $rd_table rd ON (cn.record = rd.record)
 290                                         JOIN $cp_table cp ON (cn.id = cp.call_number)
 291                                         JOIN $cs_table cs ON (cp.status = cs.id)
 292                                         JOIN $cl_table cl ON (cp.location = cl.id)
 293                                         JOIN $descendants a ON (cp.circ_lib = a.id)
 294                                   WHERE r.metarecord = ?
 295                                         AND cn.deleted IS FALSE
 296                                         AND cp.deleted IS FALSE
 297                                         $copies_visible
 298                                         $t_filter
 299                                         $f_filter
 300                                 )
 301                         ) AS count,
 302                         sum(
 303                                 (SELECT count(cp.id)
 304                                   FROM  $sm_table r
 305                                         JOIN $cn_table cn ON (cn.record = r.source)
 306                                         JOIN $rd_table rd ON (cn.record = rd.record)
 307                                         JOIN $cp_table cp ON (cn.id = cp.call_number)
 308                                         JOIN $cs_table cs ON (cp.status = cs.id)
 309                                         JOIN $cl_table cl ON (cp.location = cl.id)
 310                                         JOIN $descendants a ON (cp.circ_lib = a.id)
 311                                   WHERE r.metarecord = ?
 312                                         AND cp.status = 0
 313                                         AND cn.deleted IS FALSE
 314                                         AND cp.deleted IS FALSE
 315                                         $copies_visible
 316                                         $t_filter
 317                                         $f_filter
 318                                 )
 319                         ) AS available,
 320                         sum(
 321                                 (SELECT count(cp.id)
 322                                   FROM  $sm_table r
 323                                         JOIN $cn_table cn ON (cn.record = r.source)
 324                                         JOIN $rd_table rd ON (cn.record = rd.record)
 325                                         JOIN $cp_table cp ON (cn.id = cp.call_number)
 326                                         JOIN $cs_table cs ON (cp.status = cs.id)
 327                                         JOIN $cl_table cl ON (cp.location = cl.id)
 328                                   WHERE r.metarecord = ?
 329                                         AND cn.deleted IS FALSE
 330                                         AND cp.deleted IS FALSE
 331                                         AND cp.opac_visible IS TRUE
 332                                         AND cs.holdable IS TRUE
 333                                         AND cl.opac_visible IS TRUE
 334                                         $t_filter
 335                                         $f_filter
 336                                 )
 337                         ) AS unshadow,
 338                         sum(
 339                                 (SELECT sum(1)
 340                                   FROM  $sm_table r
 341                                         JOIN $br_table br ON (br.id = r.source)
 342                                         JOIN $src_table src ON (src.id = br.source)
 343                                   WHERE r.metarecord = ?
 344                                         AND src.transcendant IS TRUE
 345                                 )
 346                         ) AS transcendant
 347
 348                   FROM  $ancestors u
 349                         JOIN $out_table t ON (u.ou_type = t.id)
 350                   GROUP BY 1,2
 351         SQL
 352
 353         my $sth = metabib::metarecord_source_map->db_Main->prepare_cached($sql);
 354         $sth->execute(  ''.$args{metarecord},
 355                         @types,
 356                         @forms,
 357                         ''.$args{metarecord},
 358                         @types,
 359                         @forms,
 360                         ''.$args{metarecord},
 361                         @types,
 362                         @forms,
 363                         ''.$args{metarecord},
 364                         ''.$args{org_unit},
 365         );
 366
 367         while ( my $row = $sth->fetchrow_hashref ) {
 368                 $client->respond( $row );
 369         }
 370         return undef;
 371 }
 372 __PACKAGE__->register_method(
 373         api_name        => 'open-ils.storage.metabib.metarecord.copy_count',
 374         method          => 'metarecord_copy_count',
 375         api_level       => 1,
 376         stream          => 1,
 377         cachable        => 1,
 378 );
 379 __PACKAGE__->register_method(
 380         api_name        => 'open-ils.storage.metabib.metarecord.copy_count.staff',
 381         method          => 'metarecord_copy_count',
 382         api_level       => 1,
 383         stream          => 1,
 384         cachable        => 1,
 385 );
 386
 387 sub biblio_multi_search_full_rec {
 388         my $self = shift;
 389         my $client = shift;
 390
 391         my %args = @_;
 392         my $class_join = $args{class_join} || 'AND';
 393         my $limit = $args{limit} || 100;
 394         my $offset = $args{offset} || 0;
 395         my $sort = $args{'sort'};
 396         my $sort_dir = $args{sort_dir} || 'DESC';
 397
 398         my @binds;
 399         my @selects;
 400
 401         for my $arg (@{ $args{searches} }) {
 402                 my $term = $$arg{term};
 403                 my $limiters = $$arg{restrict};
 404
 405                 my ($index_col) = metabib::full_rec->columns('FTS');
 406                 $index_col ||= 'value';
 407                 my $search_table = metabib::full_rec->table;
 408
 409                 my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
 410
 411                 my $fts_where = $fts->sql_where_clause();
 412                 my @fts_ranks = $fts->fts_rank;
 413
 414                 my $rank = join(' + ', @fts_ranks);
 415
 416                 my @wheres;
 417                 for my $limit (@$limiters) {
 418                         push @wheres, "( tag = ? AND subfield LIKE ? AND $fts_where )";
 419                         push @binds, $$limit{tag}, $$limit{subfield};
 420                         $log->debug("Limiting query using { tag => $$limit{tag}, subfield => $$limit{subfield} }", DEBUG);
 421                 }
 422                 my $where = join(' OR ', @wheres);
 423
 424                 push @selects, "SELECT id, record, $rank as sum FROM $search_table WHERE $where";
 425
 426         }
 427
 428         my $descendants = defined($args{depth}) ?
 429                                 "actor.org_unit_descendants($args{org_unit}, $args{depth})" :
 430                                 "actor.org_unit_descendants($args{org_unit})" ;
 431
 432
 433         my $metabib_record_descriptor = metabib::record_descriptor->table;
 434         my $metabib_full_rec = metabib::full_rec->table;
 435         my $asset_call_number_table = asset::call_number->table;
 436         my $asset_copy_table = asset::copy->table;
 437         my $cs_table = config::copy_status->table;
 438         my $cl_table = asset::copy_location->table;
 439         my $br_table = biblio::record_entry->table;
 440
 441         my $cj = 'HAVING COUNT(x.id) = ' . scalar(@selects) if ($class_join eq 'AND');
 442         my $search_table =
 443                 '(SELECT x.record, sum(x.sum) FROM (('.
 444                         join(') UNION ALL (', @selects).
 445                         ")) x GROUP BY 1 $cj ORDER BY 2 DESC )";
 446
 447         my $has_vols = 'AND cn.owning_lib = d.id';
 448         my $has_copies = 'AND cp.call_number = cn.id';
 449         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 450
 451         if ($self->api_name =~ /staff/o) {
 452                 $copies_visible = '';
 453                 $has_copies = '' if ($ou_type == 0);
 454                 $has_vols = '' if ($ou_type == 0);
 455         }
 456
 457         my ($t_filter, $f_filter) = ('','');
 458         my ($a_filter, $l_filter, $lf_filter) = ('','','');
 459
 460         if (my $a = $args{audience}) {
 461                 $a = [$a] if (!ref($a));
 462                 my @aud = @$a;
 463
 464                 $a_filter = ' AND rd.audience IN ('.join(',',map{'?'}@aud).')';
 465                 push @binds, @aud;
 466         }
 467
 468         if (my $l = $args{language}) {
 469                 $l = [$l] if (!ref($l));
 470                 my @lang = @$l;
 471
 472                 $l_filter = ' AND rd.item_lang IN ('.join(',',map{'?'}@lang).')';
 473                 push @binds, @lang;
 474         }
 475
 476         if (my $f = $args{lit_form}) {
 477                 $f = [$f] if (!ref($f));
 478                 my @lit_form = @$f;
 479
 480                 $lf_filter = ' AND rd.lit_form IN ('.join(',',map{'?'}@lit_form).')';
 481                 push @binds, @lit_form;
 482         }
 483
 484         if (my $f = $args{item_form}) {
 485                 $f = [$f] if (!ref($f));
 486                 my @forms = @$f;
 487
 488                 $f_filter = ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 489                 push @binds, @forms;
 490         }
 491
 492         if (my $t = $args{item_type}) {
 493                 $t = [$t] if (!ref($t));
 494                 my @types = @$t;
 495
 496                 $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 497                 push @binds, @types;
 498         }
 499
 500
 501         if ($args{format}) {
 502                 my ($t, $f) = split '-', $args{format};
 503                 my @types = split '', $t;
 504                 my @forms = split '', $f;
 505                 if (@types) {
 506                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 507                 }
 508
 509                 if (@forms) {
 510                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 511                 }
 512                 push @binds, @types, @forms;
 513         }
 514
 515         my $relevance = 'sum(f.sum)';
 516         $relevance = 1 if (!$copies_visible);
 517
 518         my $rank = $relevance;
 519         if (lc($sort) eq 'pubdate') {
 520                 $rank = <<"             RANK";
 521                         ( FIRST ((
 522                                 SELECT  COALESCE(SUBSTRING(frp.value FROM '\\\\d+'),'9999')::INT
 523                                   FROM  $metabib_full_rec frp
 524                                   WHERE frp.record = f.record
 525                                         AND frp.tag = '260'
 526                                         AND frp.subfield = 'c'
 527                                   LIMIT 1
 528                         )) )
 529                 RANK
 530         } elsif (lc($sort) eq 'create_date') {
 531                 $rank = <<"             RANK";
 532                         ( FIRST (( SELECT create_date FROM $br_table rbr WHERE rbr.id = f.record)) )
 533                 RANK
 534         } elsif (lc($sort) eq 'edit_date') {
 535                 $rank = <<"             RANK";
 536                         ( FIRST (( SELECT edit_date FROM $br_table rbr WHERE rbr.id = f.record)) )
 537                 RANK
 538         } elsif (lc($sort) eq 'title') {
 539                 $rank = <<"             RANK";
 540                         ( FIRST ((
 541                                 SELECT  COALESCE(LTRIM(SUBSTR( frt.value, COALESCE(SUBSTRING(frt.ind2 FROM '\\\\d+'),'0')::INT + 1 )),'zzzzzzzz')
 542                                   FROM  $metabib_full_rec frt
 543                                   WHERE frt.record = f.record
 544                                         AND frt.tag = '245'
 545                                         AND frt.subfield = 'a'
 546                                   LIMIT 1
 547                         )) )
 548                 RANK
 549         } elsif (lc($sort) eq 'author') {
 550                 $rank = <<"             RANK";
 551                         ( FIRST((
 552                                 SELECT  COALESCE(LTRIM(fra.value),'zzzzzzzz')
 553                                   FROM  $metabib_full_rec fra
 554                                   WHERE fra.record = f.record
 555                                         AND fra.tag LIKE '1%'
 556                                         AND fra.subfield = 'a'
 557                                   ORDER BY fra.tag::text::int
 558                                   LIMIT 1
 559                         )) )
 560                 RANK
 561         } else {
 562                 $sort = undef;
 563         }
 564
 565
 566         if ($copies_visible) {
 567                 $select = <<"           SQL";
 568                         SELECT  f.record, $relevance, count(DISTINCT cp.id), $rank
 569                         FROM    $search_table f,
 570                                 $asset_call_number_table cn,
 571                                 $asset_copy_table cp,
 572                                 $cs_table cs,
 573                                 $cl_table cl,
 574                                 $br_table br,
 575                                 $metabib_record_descriptor rd,
 576                                 $descendants d
 577                         WHERE   br.id = f.record
 578                                 AND cn.record = f.record
 579                                 AND rd.record = f.record
 580                                 AND cp.status = cs.id
 581                                 AND cp.location = cl.id
 582                                 AND br.deleted IS FALSE
 583                                 AND cn.deleted IS FALSE
 584                                 AND cp.deleted IS FALSE
 585                                 $has_vols
 586                                 $has_copies
 587                                 $copies_visible
 588                                 $t_filter
 589                                 $f_filter
 590                                 $a_filter
 591                                 $l_filter
 592                                 $lf_filter
 593                         GROUP BY f.record HAVING count(DISTINCT cp.id) > 0
 594                         ORDER BY 4 $sort_dir,3 DESC
 595                 SQL
 596         } else {
 597                 $select = <<"           SQL";
 598                         SELECT  f.record, 1, 1, $rank
 599                         FROM    $search_table f,
 600                                 $br_table br,
 601                                 $metabib_record_descriptor rd
 602                         WHERE   br.id = f.record
 603                                 AND rd.record = f.record
 604                                 AND br.deleted IS FALSE
 605                                 $t_filter
 606                                 $f_filter
 607                                 $a_filter
 608                                 $l_filter
 609                                 $lf_filter
 610                         GROUP BY 1,2,3
 611                         ORDER BY 4 $sort_dir
 612                 SQL
 613         }
 614
 615
 616         $log->debug("Search SQL :: [$select]",DEBUG);
 617
 618         my $recs = metabib::full_rec->db_Main->selectall_arrayref("$select;", {}, @binds);
 619         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
 620
 621         my $max = 0;
 622         $max = 1 if (!@$recs);
 623         for (@$recs) {
 624                 $max = $$_[1] if ($$_[1] > $max);
 625         }
 626
 627         my $count = @$recs;
 628         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
 629                 next unless ($$rec[0]);
 630                 my ($rid,$rank,$junk,$skip) = @$rec;
 631                 $client->respond( [$rid, sprintf('%0.3f',$rank/$max), $count] );
 632         }
 633         return undef;
 634 }
 635 __PACKAGE__->register_method(
 636         api_name        => 'open-ils.storage.biblio.full_rec.multi_search',
 637         method          => 'biblio_multi_search_full_rec',
 638         api_level       => 1,
 639         stream          => 1,
 640         cachable        => 1,
 641 );
 642 __PACKAGE__->register_method(
 643         api_name        => 'open-ils.storage.biblio.full_rec.multi_search.staff',
 644         method          => 'biblio_multi_search_full_rec',
 645         api_level       => 1,
 646         stream          => 1,
 647         cachable        => 1,
 648 );
 649
 650 sub search_full_rec {
 651         my $self = shift;
 652         my $client = shift;
 653
 654         my %args = @_;
 655
 656         my $term = $args{term};
 657         my $limiters = $args{restrict};
 658
 659         my ($index_col) = metabib::full_rec->columns('FTS');
 660         $index_col ||= 'value';
 661         my $search_table = metabib::full_rec->table;
 662
 663         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
 664
 665         my $fts_where = $fts->sql_where_clause();
 666         my @fts_ranks = $fts->fts_rank;
 667
 668         my $rank = join(' + ', @fts_ranks);
 669
 670         my @binds;
 671         my @wheres;
 672         for my $limit (@$limiters) {
 673                 push @wheres, "( tag = ? AND subfield LIKE ? AND $fts_where )";
 674                 push @binds, $$limit{tag}, $$limit{subfield};
 675                 $log->debug("Limiting query using { tag => $$limit{tag}, subfield => $$limit{subfield} }", DEBUG);
 676         }
 677         my $where = join(' OR ', @wheres);
 678
 679         my $select = "SELECT record, sum($rank) FROM $search_table WHERE $where GROUP BY 1 ORDER BY 2 DESC;";
 680
 681         $log->debug("Search SQL :: [$select]",DEBUG);
 682
 683         my $recs = metabib::full_rec->db_Main->selectall_arrayref($select, {}, @binds);
 684         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
 685
 686         $client->respond($_) for (@$recs);
 687         return undef;
 688 }
 689 __PACKAGE__->register_method(
 690         api_name        => 'open-ils.storage.direct.metabib.full_rec.search_fts.value',
 691         method          => 'search_full_rec',
 692         api_level       => 1,
 693         stream          => 1,
 694         cachable        => 1,
 695 );
 696 __PACKAGE__->register_method(
 697         api_name        => 'open-ils.storage.direct.metabib.full_rec.search_fts.index_vector',
 698         method          => 'search_full_rec',
 699         api_level       => 1,
 700         stream          => 1,
 701         cachable        => 1,
 702 );
 703
 704
 705 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
 706 sub search_class_fts {
 707         my $self = shift;
 708         my $client = shift;
 709         my %args = @_;
 710
 711         my $term = $args{term};
 712         my $ou = $args{org_unit};
 713         my $ou_type = $args{depth};
 714         my $limit = $args{limit};
 715         my $offset = $args{offset};
 716
 717         my $limit_clause = '';
 718         my $offset_clause = '';
 719
 720         $limit_clause = "LIMIT $limit" if (defined $limit and int($limit) > 0);
 721         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
 722
 723         my (@types,@forms);
 724         my ($t_filter, $f_filter) = ('','');
 725
 726         if ($args{format}) {
 727                 my ($t, $f) = split '-', $args{format};
 728                 @types = split '', $t;
 729                 @forms = split '', $f;
 730                 if (@types) {
 731                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 732                 }
 733
 734                 if (@forms) {
 735                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 736                 }
 737         }
 738
 739
 740
 741         my $descendants = defined($ou_type) ?
 742                                 "actor.org_unit_descendants($ou, $ou_type)" :
 743                                 "actor.org_unit_descendants($ou)";
 744
 745         my $class = $self->{cdbi};
 746         my $search_table = $class->table;
 747
 748         my $metabib_record_descriptor = metabib::record_descriptor->table;
 749         my $metabib_metarecord = metabib::metarecord->table;
 750         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
 751         my $asset_call_number_table = asset::call_number->table;
 752         my $asset_copy_table = asset::copy->table;
 753         my $cs_table = config::copy_status->table;
 754         my $cl_table = asset::copy_location->table;
 755
 756         my ($index_col) = $class->columns('FTS');
 757         $index_col ||= 'value';
 758
 759         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'f.value', "f.$index_col");
 760
 761         my $fts_where = $fts->sql_where_clause;
 762         my @fts_ranks = $fts->fts_rank;
 763
 764         my $rank = join(' + ', @fts_ranks);
 765
 766         my $has_vols = 'AND cn.owning_lib = d.id';
 767         my $has_copies = 'AND cp.call_number = cn.id';
 768         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 769
 770         my $visible_count = ', count(DISTINCT cp.id)';
 771         my $visible_count_test = 'HAVING count(DISTINCT cp.id) > 0';
 772
 773         if ($self->api_name =~ /staff/o) {
 774                 $copies_visible = '';
 775                 $visible_count_test = '';
 776                 $has_copies = '' if ($ou_type == 0);
 777                 $has_vols = '' if ($ou_type == 0);
 778         }
 779
 780         my $rank_calc = <<"     RANK";
 781                 , (SUM( $rank
 782                         * CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END -- phrase order
 783                         * CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END -- first word match
 784                         * CASE WHEN f.value ~* ? THEN 2 ELSE 1 END -- only word match
 785                 )/COUNT(m.source)), MIN(COALESCE(CHAR_LENGTH(f.value),1))
 786         RANK
 787
 788         $rank_calc = ',1 , 1' if ($self->api_name =~ /unordered/o);
 789
 790         if ($copies_visible) {
 791                 $select = <<"           SQL";
 792                         SELECT  m.metarecord $rank_calc $visible_count, CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
 793                         FROM    $search_table f,
 794                                 $metabib_metarecord_source_map_table m,
 795                                 $asset_call_number_table cn,
 796                                 $asset_copy_table cp,
 797                                 $cs_table cs,
 798                                 $cl_table cl,
 799                                 $metabib_record_descriptor rd,
 800                                 $descendants d
 801                         WHERE   $fts_where
 802                                 AND m.source = f.source
 803                                 AND cn.record = m.source
 804                                 AND rd.record = m.source
 805                                 AND cp.status = cs.id
 806                                 AND cp.location = cl.id
 807                                 $has_vols
 808                                 $has_copies
 809                                 $copies_visible
 810                                 $t_filter
 811                                 $f_filter
 812                         GROUP BY 1 $visible_count_test
 813                         ORDER BY 2 DESC,3
 814                         $limit_clause $offset_clause
 815                 SQL
 816         } else {
 817                 $select = <<"           SQL";
 818                         SELECT  m.metarecord $rank_calc, 0, CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
 819                         FROM    $search_table f,
 820                                 $metabib_metarecord_source_map_table m,
 821                                 $metabib_record_descriptor rd
 822                         WHERE   $fts_where
 823                                 AND m.source = f.source
 824                                 AND rd.record = m.source
 825                                 $t_filter
 826                                 $f_filter
 827                         GROUP BY 1, 4
 828                         ORDER BY 2 DESC,3
 829                         $limit_clause $offset_clause
 830                 SQL
 831         }
 832
 833         $log->debug("Field Search SQL :: [$select]",DEBUG);
 834
 835         my $SQLstring = join('%',$fts->words);
 836         my $REstring = join('\\s+',$fts->words);
 837         my $first_word = ($fts->words)[0].'%';
 838         my $recs = ($self->api_name =~ /unordered/o) ?
 839                         $class->db_Main->selectall_arrayref($select, {}, @types, @forms) :
 840                         $class->db_Main->selectall_arrayref($select, {},
 841                                 '%'.lc($SQLstring).'%',                 # phrase order match
 842                                 lc($first_word),                        # first word match
 843                                 '^\\s*'.lc($REstring).'\\s*/?\s*$',     # full exact match
 844                                 @types, @forms
 845                         );
 846
 847         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
 848
 849         $client->respond($_) for (map { [@$_[0,1,3,4]] } @$recs);
 850         return undef;
 851 }
 852
 853 for my $class ( qw/title author subject keyword series/ ) {
 854         __PACKAGE__->register_method(
 855                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord",
 856                 method          => 'search_class_fts',
 857                 api_level       => 1,
 858                 stream          => 1,
 859                 cdbi            => "metabib::${class}_field_entry",
 860                 cachable        => 1,
 861         );
 862         __PACKAGE__->register_method(
 863                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.unordered",
 864                 method          => 'search_class_fts',
 865                 api_level       => 1,
 866                 stream          => 1,
 867                 cdbi            => "metabib::${class}_field_entry",
 868                 cachable        => 1,
 869         );
 870         __PACKAGE__->register_method(
 871                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.staff",
 872                 method          => 'search_class_fts',
 873                 api_level       => 1,
 874                 stream          => 1,
 875                 cdbi            => "metabib::${class}_field_entry",
 876                 cachable        => 1,
 877         );
 878         __PACKAGE__->register_method(
 879                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.staff.unordered",
 880                 method          => 'search_class_fts',
 881                 api_level       => 1,
 882                 stream          => 1,
 883                 cdbi            => "metabib::${class}_field_entry",
 884                 cachable        => 1,
 885         );
 886 }
 887
 888 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
 889 sub search_class_fts_count {
 890         my $self = shift;
 891         my $client = shift;
 892         my %args = @_;
 893
 894         my $term = $args{term};
 895         my $ou = $args{org_unit};
 896         my $ou_type = $args{depth};
 897         my $limit = $args{limit} || 100;
 898         my $offset = $args{offset} || 0;
 899
 900         my $descendants = defined($ou_type) ?
 901                                 "actor.org_unit_descendants($ou, $ou_type)" :
 902                                 "actor.org_unit_descendants($ou)";
 903
 904         my (@types,@forms);
 905         my ($t_filter, $f_filter) = ('','');
 906
 907         if ($args{format}) {
 908                 my ($t, $f) = split '-', $args{format};
 909                 @types = split '', $t;
 910                 @forms = split '', $f;
 911                 if (@types) {
 912                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 913                 }
 914
 915                 if (@forms) {
 916                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 917                 }
 918         }
 919
 920
 921         (my $search_class = $self->api_name) =~ s/.*metabib.(\w+).search_fts.*/$1/o;
 922
 923         my $class = $self->{cdbi};
 924         my $search_table = $class->table;
 925
 926         my $metabib_record_descriptor = metabib::record_descriptor->table;
 927         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
 928         my $asset_call_number_table = asset::call_number->table;
 929         my $asset_copy_table = asset::copy->table;
 930         my $cs_table = config::copy_status->table;
 931         my $cl_table = asset::copy_location->table;
 932
 933         my ($index_col) = $class->columns('FTS');
 934         $index_col ||= 'value';
 935
 936         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
 937
 938         my $fts_where = $fts->sql_where_clause;
 939
 940         my $has_vols = 'AND cn.owning_lib = d.id';
 941         my $has_copies = 'AND cp.call_number = cn.id';
 942         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 943         if ($self->api_name =~ /staff/o) {
 944                 $copies_visible = '';
 945                 $has_vols = '' if ($ou_type == 0);
 946                 $has_copies = '' if ($ou_type == 0);
 947         }
 948
 949         # XXX test an "EXISTS version of descendant checking...
 950         my $select;
 951         if ($copies_visible) {
 952                 $select = <<"           SQL";
 953                 SELECT  count(distinct  m.metarecord)
 954                   FROM  $search_table f,
 955                         $metabib_metarecord_source_map_table m,
 956                         $metabib_metarecord_source_map_table mr,
 957                         $asset_call_number_table cn,
 958                         $asset_copy_table cp,
 959                         $cs_table cs,
 960                         $cl_table cl,
 961                         $metabib_record_descriptor rd,
 962                         $descendants d
 963                   WHERE $fts_where
 964                         AND mr.source = f.source
 965                         AND mr.metarecord = m.metarecord
 966                         AND cn.record = m.source
 967                         AND rd.record = m.source
 968                         AND cp.status = cs.id
 969                         AND cp.location = cl.id
 970                         $has_vols
 971                         $has_copies
 972                         $copies_visible
 973                         $t_filter
 974                         $f_filter
 975                 SQL
 976         } else {
 977                 $select = <<"           SQL";
 978                 SELECT  count(distinct  m.metarecord)
 979                   FROM  $search_table f,
 980                         $metabib_metarecord_source_map_table m,
 981                         $metabib_metarecord_source_map_table mr,
 982                         $metabib_record_descriptor rd
 983                   WHERE $fts_where
 984                         AND mr.source = f.source
 985                         AND mr.metarecord = m.metarecord
 986                         AND rd.record = m.source
 987                         $t_filter
 988                         $f_filter
 989                 SQL
 990         }
 991
 992         $log->debug("Field Search Count SQL :: [$select]",DEBUG);
 993
 994         my $recs = $class->db_Main->selectrow_arrayref($select, {}, @types, @forms)->[0];
 995
 996         $log->debug("Count Search yielded $recs results.",DEBUG);
 997
 998         return $recs;
 999
1000 }
1001 for my $class ( qw/title author subject keyword series/ ) {
1002         __PACKAGE__->register_method(
1003                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord_count",
1004                 method          => 'search_class_fts_count',
1005                 api_level       => 1,
1006                 stream          => 1,
1007                 cdbi            => "metabib::${class}_field_entry",
1008                 cachable        => 1,
1009         );
1010         __PACKAGE__->register_method(
1011                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord_count.staff",
1012                 method          => 'search_class_fts_count',
1013                 api_level       => 1,
1014                 stream          => 1,
1015                 cdbi            => "metabib::${class}_field_entry",
1016                 cachable        => 1,
1017         );
1018 }
1019
1020
1021 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
1022 sub postfilter_search_class_fts {
1023         my $self = shift;
1024         my $client = shift;
1025         my %args = @_;
1026
1027         my $term = $args{term};
1028         my $sort = $args{'sort'};
1029         my $sort_dir = $args{sort_dir} || 'DESC';
1030         my $ou = $args{org_unit};
1031         my $ou_type = $args{depth};
1032         my $limit = $args{limit} || 10;
1033         my $visiblity_limit = $args{visiblity_limit} || 5000;
1034         my $offset = $args{offset} || 0;
1035
1036         my $outer_limit = 1000;
1037
1038         my $limit_clause = '';
1039         my $offset_clause = '';
1040
1041         $limit_clause = "LIMIT $outer_limit";
1042         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
1043
1044         my (@types,@forms,@lang,@aud,@lit_form);
1045         my ($t_filter, $f_filter) = ('','');
1046         my ($a_filter, $l_filter, $lf_filter) = ('','','');
1047         my ($ot_filter, $of_filter) = ('','');
1048         my ($oa_filter, $ol_filter, $olf_filter) = ('','','');
1049
1050         if (my $a = $args{audience}) {
1051                 $a = [$a] if (!ref($a));
1052                 @aud = @$a;
1053
1054                 $a_filter = ' AND rd.audience IN ('.join(',',map{'?'}@aud).')';
1055                 $oa_filter = ' AND ord.audience IN ('.join(',',map{'?'}@aud).')';
1056         }
1057
1058         if (my $l = $args{language}) {
1059                 $l = [$l] if (!ref($l));
1060                 @lang = @$l;
1061
1062                 $l_filter = ' AND rd.item_lang IN ('.join(',',map{'?'}@lang).')';
1063                 $ol_filter = ' AND ord.item_lang IN ('.join(',',map{'?'}@lang).')';
1064         }
1065
1066         if (my $f = $args{lit_form}) {
1067                 $f = [$f] if (!ref($f));
1068                 @lit_form = @$f;
1069
1070                 $lf_filter = ' AND rd.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1071                 $olf_filter = ' AND ord.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1072         }
1073
1074         if ($args{format}) {
1075                 my ($t, $f) = split '-', $args{format};
1076                 @types = split '', $t;
1077                 @forms = split '', $f;
1078                 if (@types) {
1079                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1080                         $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1081                 }
1082
1083                 if (@forms) {
1084                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1085                         $of_filter .= ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1086                 }
1087         }
1088
1089
1090         my $descendants = defined($ou_type) ?
1091                                 "actor.org_unit_descendants($ou, $ou_type)" :
1092                                 "actor.org_unit_descendants($ou)";
1093
1094         my $class = $self->{cdbi};
1095         my $search_table = $class->table;
1096
1097         my $metabib_full_rec = metabib::full_rec->table;
1098         my $metabib_record_descriptor = metabib::record_descriptor->table;
1099         my $metabib_metarecord = metabib::metarecord->table;
1100         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
1101         my $asset_call_number_table = asset::call_number->table;
1102         my $asset_copy_table = asset::copy->table;
1103         my $cs_table = config::copy_status->table;
1104         my $cl_table = asset::copy_location->table;
1105         my $br_table = biblio::record_entry->table;
1106
1107         my ($index_col) = $class->columns('FTS');
1108         $index_col ||= 'value';
1109
1110         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'f.value', "f.$index_col");
1111
1112         my $SQLstring = join('%',map { lc($_) } $fts->words);
1113         my $REstring = '^' . join('\s+',map { lc($_) } $fts->words) . '\W*$';
1114         my $first_word = lc(($fts->words)[0]).'%';
1115
1116         my $fts_where = $fts->sql_where_clause;
1117         my @fts_ranks = $fts->fts_rank;
1118
1119         my %bonus = ();
1120         $bonus{'metabib::keyword_field_entry'} = [ { 'CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END' => $SQLstring } ];
1121         $bonus{'metabib::title_field_entry'} =
1122                 $bonus{'metabib::series_field_entry'} = [
1123                         { 'CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END' => $first_word },
1124                         { 'CASE WHEN f.value ~* ? THEN 2 ELSE 1 END' => $REstring },
1125                         @{ $bonus{'metabib::keyword_field_entry'} }
1126                 ];
1127
1128         my $bonus_list = join ' * ', map { keys %$_ } @{ $bonus{$class} };
1129         $bonus_list ||= '1';
1130
1131         my @bonus_values = map { values %$_ } @{ $bonus{$class} };
1132
1133         my $relevance = join(' + ', @fts_ranks);
1134         $relevance = <<"        RANK";
1135                         (SUM( ( $relevance )  * ( $bonus_list ) )/COUNT(m.source))
1136         RANK
1137
1138         my $rank = $relevance;
1139         if (lc($sort) eq 'pubdate') {
1140                 $rank = <<"             RANK";
1141                         ( FIRST ((
1142                                 SELECT  COALESCE(SUBSTRING(frp.value FROM '\\\\d+'),'9999')::INT
1143                                   FROM  $metabib_full_rec frp
1144                                   WHERE frp.record = mr.master_record
1145                                         AND frp.tag = '260'
1146                                         AND frp.subfield = 'c'
1147                                   LIMIT 1
1148                         )) )
1149                 RANK
1150         } elsif (lc($sort) eq 'create_date') {
1151                 $rank = <<"             RANK";
1152                         ( FIRST (( SELECT create_date FROM $br_table rbr WHERE rbr.id = mr.master_record)) )
1153                 RANK
1154         } elsif (lc($sort) eq 'edit_date') {
1155                 $rank = <<"             RANK";
1156                         ( FIRST (( SELECT edit_date FROM $br_table rbr WHERE rbr.id = mr.master_record)) )
1157                 RANK
1158         } elsif (lc($sort) eq 'title') {
1159                 $rank = <<"             RANK";
1160                         ( FIRST ((
1161                                 SELECT  COALESCE(LTRIM(SUBSTR( frt.value, COALESCE(SUBSTRING(frt.ind2 FROM '\\\\d+'),'0')::INT + 1 )),'zzzzzzzz')
1162                                   FROM  $metabib_full_rec frt
1163                                   WHERE frt.record = mr.master_record
1164                                         AND frt.tag = '245'
1165                                         AND frt.subfield = 'a'
1166                                   LIMIT 1
1167                         )) )
1168                 RANK
1169         } elsif (lc($sort) eq 'author') {
1170                 $rank = <<"             RANK";
1171                         ( FIRST((
1172                                 SELECT  COALESCE(LTRIM(fra.value),'zzzzzzzz')
1173                                   FROM  $metabib_full_rec fra
1174                                   WHERE fra.record = mr.master_record
1175                                         AND fra.tag LIKE '1%'
1176                                         AND fra.subfield = 'a'
1177                                   ORDER BY fra.tag::text::int
1178                                   LIMIT 1
1179                         )) )
1180                 RANK
1181         } else {
1182                 $sort = undef;
1183         }
1184
1185         my $select = <<"        SQL";
1186                 SELECT  m.metarecord,
1187                         $relevance,
1188                         CASE WHEN COUNT(DISTINCT smrs.source) = 1 THEN MIN(m.source) ELSE 0 END,
1189                         $rank
1190                 FROM    $search_table f,
1191                         $metabib_metarecord_source_map_table m,
1192                         $metabib_metarecord_source_map_table smrs,
1193                         $metabib_metarecord mr,
1194                         $metabib_record_descriptor rd
1195                 WHERE   $fts_where
1196                         AND smrs.metarecord = mr.id
1197                         AND m.source = f.source
1198                         AND m.metarecord = mr.id
1199                         AND rd.record = smrs.source
1200                         $t_filter
1201                         $f_filter
1202                         $a_filter
1203                         $l_filter
1204                         $lf_filter
1205                 GROUP BY m.metarecord
1206                 ORDER BY 4 $sort_dir, MIN(COALESCE(CHAR_LENGTH(f.value),1))
1207                 LIMIT $visiblity_limit
1208         SQL
1209
1210         if (0) {
1211                 $select = <<"           SQL";
1212
1213                         SELECT  DISTINCT s.*
1214                           FROM  $asset_call_number_table cn,
1215                                 $metabib_metarecord_source_map_table mrs,
1216                                 $asset_copy_table cp,
1217                                 $cs_table cs,
1218                                 $cl_table cl,
1219                                 $br_table br,
1220                                 $descendants d,
1221                                 $metabib_record_descriptor ord,
1222                                 ($select) s
1223                           WHERE mrs.metarecord = s.metarecord
1224                                 AND br.id = mrs.source
1225                                 AND cn.record = mrs.source
1226                                 AND cp.status = cs.id
1227                                 AND cp.location = cl.id
1228                                 AND cn.owning_lib = d.id
1229                                 AND cp.call_number = cn.id
1230                                 AND cp.opac_visible IS TRUE
1231                                 AND cs.holdable IS TRUE
1232                                 AND cl.opac_visible IS TRUE
1233                                 AND br.active IS TRUE
1234                                 AND br.deleted IS FALSE
1235                                 AND ord.record = mrs.source
1236                                 $ot_filter
1237                                 $of_filter
1238                                 $oa_filter
1239                                 $ol_filter
1240                                 $olf_filter
1241                           ORDER BY 4 $sort_dir
1242                 SQL
1243         } elsif ($self->api_name !~ /staff/o) {
1244                 $select = <<"           SQL";
1245
1246                         SELECT  DISTINCT s.*
1247                           FROM  ($select) s
1248                           WHERE EXISTS (
1249                                 SELECT  1
1250                                   FROM  $asset_call_number_table cn,
1251                                         $metabib_metarecord_source_map_table mrs,
1252                                         $asset_copy_table cp,
1253                                         $cs_table cs,
1254                                         $cl_table cl,
1255                                         $br_table br,
1256                                         $descendants d,
1257                                         $metabib_record_descriptor ord
1258
1259                                   WHERE mrs.metarecord = s.metarecord
1260                                         AND br.id = mrs.source
1261                                         AND cn.record = mrs.source
1262                                         AND cp.status = cs.id
1263                                         AND cp.location = cl.id
1264                                         AND cn.owning_lib = d.id
1265                                         AND cp.call_number = cn.id
1266                                         AND cp.opac_visible IS TRUE
1267                                         AND cs.holdable IS TRUE
1268                                         AND cl.opac_visible IS TRUE
1269                                         AND br.active IS TRUE
1270                                         AND br.deleted IS FALSE
1271                                         AND ord.record = mrs.source
1272                                         $ot_filter
1273                                         $of_filter
1274                                         $oa_filter
1275                                         $ol_filter
1276                                         $olf_filter
1277                                   LIMIT 1
1278                                 )
1279                           ORDER BY 4 $sort_dir
1280                 SQL
1281         } else {
1282                 $select = <<"           SQL";
1283
1284                         SELECT  DISTINCT s.*
1285                           FROM  ($select) s
1286                           WHERE EXISTS (
1287                                 SELECT  1
1288                                   FROM  $asset_call_number_table cn,
1289                                         $metabib_metarecord_source_map_table mrs,
1290                                         $br_table br,
1291                                         $descendants d,
1292                                         $metabib_record_descriptor ord
1293
1294                                   WHERE mrs.metarecord = s.metarecord
1295                                         AND br.id = mrs.source
1296                                         AND cn.record = mrs.source
1297                                         AND cn.owning_lib = d.id
1298                                         AND br.deleted IS FALSE
1299                                         AND ord.record = mrs.source
1300                                         $ot_filter
1301                                         $of_filter
1302                                         $oa_filter
1303                                         $ol_filter
1304                                         $olf_filter
1305                                   LIMIT 1
1306                                 )
1307                                 OR NOT EXISTS (
1308                                 SELECT  1
1309                                   FROM  $asset_call_number_table cn,
1310                                         $metabib_metarecord_source_map_table mrs,
1311                                         $metabib_record_descriptor ord
1312                                   WHERE mrs.metarecord = s.metarecord
1313                                         AND cn.record = mrs.source
1314                                         AND ord.record = mrs.source
1315                                         $ot_filter
1316                                         $of_filter
1317                                         $oa_filter
1318                                         $ol_filter
1319                                         $olf_filter
1320                                   LIMIT 1
1321                                 )
1322                           ORDER BY 4 $sort_dir
1323                 SQL
1324         }
1325
1326
1327         $log->debug("Field Search SQL :: [$select]",DEBUG);
1328
1329         my $recs = $class->db_Main->selectall_arrayref(
1330                         $select, {},
1331                         (@bonus_values > 0 ? @bonus_values : () ),
1332                         ( (!$sort && @bonus_values > 0) ? @bonus_values : () ),
1333                         @types, @forms, @aud, @lang, @lit_form,
1334                         @types, @forms, @aud, @lang, @lit_form,
1335                         ($self->api_name =~ /staff/o ? (@types, @forms, @aud, @lang, @lit_form) : () ) );
1336
1337         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
1338
1339         my $max = 0;
1340         $max = 1 if (!@$recs);
1341         for (@$recs) {
1342                 $max = $$_[1] if ($$_[1] > $max);
1343         }
1344
1345         my $count = scalar(@$recs);
1346         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
1347                 my ($mrid,$rank,$skip) = @$rec;
1348                 $client->respond( [$mrid, sprintf('%0.3f',$rank/$max), $skip, $count] );
1349         }
1350         return undef;
1351 }
1352
1353 for my $class ( qw/title author subject keyword series/ ) {
1354         __PACKAGE__->register_method(
1355                 api_name        => "open-ils.storage.metabib.$class.post_filter.search_fts.metarecord",
1356                 method          => 'postfilter_search_class_fts',
1357                 api_level       => 1,
1358                 stream          => 1,
1359                 cdbi            => "metabib::${class}_field_entry",
1360                 cachable        => 1,
1361         );
1362         __PACKAGE__->register_method(
1363                 api_name        => "open-ils.storage.metabib.$class.post_filter.search_fts.metarecord.staff",
1364                 method          => 'postfilter_search_class_fts',
1365                 api_level       => 1,
1366                 stream          => 1,
1367                 cdbi            => "metabib::${class}_field_entry",
1368                 cachable        => 1,
1369         );
1370 }
1371
1372
1373
1374 my $_cdbi = {   title   => "metabib::title_field_entry",
1375                 author  => "metabib::author_field_entry",
1376                 subject => "metabib::subject_field_entry",
1377                 keyword => "metabib::keyword_field_entry",
1378                 series  => "metabib::series_field_entry",
1379 };
1380
1381 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
1382 sub postfilter_search_multi_class_fts {
1383         my $self = shift;
1384         my $client = shift;
1385         my %args = @_;
1386
1387         my $sort = $args{'sort'};
1388         my $sort_dir = $args{sort_dir} || 'DESC';
1389         my $ou = $args{org_unit};
1390         my $ou_type = $args{depth};
1391         my $limit = $args{limit} || 10;;
1392         my $visiblity_limit = $args{visiblity_limit} || 5000;;
1393         my $offset = $args{offset} || 0;
1394
1395         if (!$ou) {
1396                 $ou = actor::org_unit->search( { parent_ou => undef } )->next->id;
1397         }
1398
1399         if (!defined($args{org_unit})) {
1400                 die "No target organizational unit passed to ".$self->api_name;
1401         }
1402
1403         if (! scalar( keys %{$args{searches}} )) {
1404                 die "No search arguments were passed to ".$self->api_name;
1405         }
1406
1407         my $outer_limit = 1000;
1408
1409         my $limit_clause = '';
1410         my $offset_clause = '';
1411
1412         $limit_clause = "LIMIT $outer_limit";
1413         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
1414
1415         my (@types,@forms,@lang,@aud,@lit_form);
1416         my ($t_filter, $f_filter) = ('','');
1417         my ($a_filter, $l_filter, $lf_filter) = ('','','');
1418         my ($ot_filter, $of_filter) = ('','');
1419         my ($oa_filter, $ol_filter, $olf_filter) = ('','','');
1420
1421         if (my $a = $args{audience}) {
1422                 $a = [$a] if (!ref($a));
1423                 @aud = @$a;
1424
1425                 $a_filter = ' AND rd.audience IN ('.join(',',map{'?'}@aud).')';
1426                 $oa_filter = ' AND ord.audience IN ('.join(',',map{'?'}@aud).')';
1427         }
1428
1429         if (my $l = $args{language}) {
1430                 $l = [$l] if (!ref($l));
1431                 @lang = @$l;
1432
1433                 $l_filter = ' AND rd.item_lang IN ('.join(',',map{'?'}@lang).')';
1434                 $ol_filter = ' AND ord.item_lang IN ('.join(',',map{'?'}@lang).')';
1435         }
1436
1437         if (my $f = $args{lit_form}) {
1438                 $f = [$f] if (!ref($f));
1439                 @lit_form = @$f;
1440
1441                 $lf_filter = ' AND rd.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1442                 $olf_filter = ' AND ord.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1443         }
1444
1445         if (my $f = $args{item_form}) {
1446                 $f = [$f] if (!ref($f));
1447                 @forms = @$f;
1448
1449                 $f_filter = ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1450                 $of_filter = ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1451         }
1452
1453         if (my $t = $args{item_type}) {
1454                 $t = [$t] if (!ref($t));
1455                 @types = @$t;
1456
1457                 $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1458                 $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1459         }
1460
1461
1462         # XXX legacy format and item type support
1463         if ($args{format}) {
1464                 my ($t, $f) = split '-', $args{format};
1465                 @types = split '', $t;
1466                 @forms = split '', $f;
1467                 if (@types) {
1468                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1469                         $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1470                 }
1471
1472                 if (@forms) {
1473                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1474                         $of_filter .= ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1475                 }
1476         }
1477
1478
1479
1480         my $descendants = defined($ou_type) ?
1481                                 "actor.org_unit_descendants($ou, $ou_type)" :
1482                                 "actor.org_unit_descendants($ou)";
1483
1484         my $search_table_list = '';
1485         my $fts_list = '';
1486         my $join_table_list = '';
1487         my @rank_list;
1488
1489         my $field_table = config::metabib_field->table;
1490
1491         my @bonus_lists;
1492         my @bonus_values;
1493         my $prev_search_class;
1494         my $curr_search_class;
1495         for my $search_class (sort keys %{$args{searches}}) {
1496                 $prev_search_class = $curr_search_class if ($curr_search_class);
1497
1498                 $curr_search_class = $search_class;
1499
1500                 my $class = $_cdbi->{$search_class};
1501                 my $search_table = $class->table;
1502
1503                 my ($index_col) = $class->columns('FTS');
1504                 $index_col ||= 'value';
1505
1506
1507                 my $fts = OpenILS::Application::Storage::FTS->compile($args{searches}{$search_class}{term}, $search_class.'.value', "$search_class.$index_col");
1508
1509                 my $fts_where = $fts->sql_where_clause;
1510                 my @fts_ranks = $fts->fts_rank;
1511
1512                 my $SQLstring = join('%',map { lc($_) } $fts->words);
1513                 my $REstring = '^' . join('\s+',map { lc($_) } $fts->words) . '\W*$';
1514                 my $first_word = lc(($fts->words)[0]).'%';
1515
1516                 $_.=" * (SELECT weight FROM $field_table WHERE $search_class.field = id)" for (@fts_ranks);
1517                 my $rank = join(' + ', @fts_ranks);
1518
1519                 my %bonus = ();
1520                 $bonus{'keyword'} = [ { "CASE WHEN $search_class.value LIKE ? THEN 10 ELSE 1 END" => $SQLstring } ];
1521
1522                 $bonus{'series'} = [
1523                         { "CASE WHEN $search_class.value LIKE ? THEN 1.5 ELSE 1 END" => $first_word },
1524                         { "CASE WHEN $search_class.value ~ ? THEN 20 ELSE 1 END" => $REstring },
1525                 ];
1526
1527                 $bonus{'title'} = [ @{ $bonus{'series'} }, @{ $bonus{'keyword'} } ];
1528
1529                 my $bonus_list = join ' * ', map { keys %$_ } @{ $bonus{$search_class} };
1530                 $bonus_list ||= '1';
1531
1532                 push @bonus_lists, $bonus_list;
1533                 push @bonus_values, map { values %$_ } @{ $bonus{$search_class} };
1534
1535
1536                 #---------------------
1537
1538                 $search_table_list .= "$search_table $search_class, ";
1539                 push @rank_list,$rank;
1540                 $fts_list .= " AND $fts_where AND m.source = $search_class.source";
1541
1542                 if ($prev_search_class) {
1543                         $join_table_list .= " AND $prev_search_class.source = $curr_search_class.source";
1544                 }
1545         }
1546
1547         my $metabib_record_descriptor = metabib::record_descriptor->table;
1548         my $metabib_full_rec = metabib::full_rec->table;
1549         my $metabib_metarecord = metabib::metarecord->table;
1550         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
1551         my $asset_call_number_table = asset::call_number->table;
1552         my $asset_copy_table = asset::copy->table;
1553         my $cs_table = config::copy_status->table;
1554         my $cl_table = asset::copy_location->table;
1555         my $br_table = biblio::record_entry->table;
1556         my $source_table = config::bib_source->table;
1557
1558         my $bonuses = join (' * ', @bonus_lists);
1559         my $relevance = join (' + ', @rank_list);
1560         $relevance = "SUM( ($relevance) * ($bonuses) )/COUNT(DISTINCT smrs.source)";
1561
1562
1563         my $secondary_sort = <<"        SORT";
1564                 ( FIRST ((
1565                         SELECT  COALESCE(LTRIM(SUBSTR( sfrt.value, COALESCE(SUBSTRING(sfrt.ind2 FROM '\\\\d+'),'0')::INT + 1 )),'zzzzzzzz')
1566                           FROM  $metabib_full_rec sfrt,
1567                                 $metabib_metarecord mr
1568                           WHERE sfrt.record = mr.master_record
1569                                 AND sfrt.tag = '245'
1570                                 AND sfrt.subfield = 'a'
1571                           LIMIT 1
1572                 )) )
1573         SORT
1574
1575         my $rank = $relevance;
1576         if (lc($sort) eq 'pubdate') {
1577                 $rank = <<"             RANK";
1578                         ( FIRST ((
1579                                 SELECT  COALESCE(SUBSTRING(frp.value FROM '\\\\d+'),'9999')::INT
1580                                   FROM  $metabib_full_rec frp
1581                                   WHERE frp.record = mr.master_record
1582                                         AND frp.tag = '260'
1583                                         AND frp.subfield = 'c'
1584                                   LIMIT 1
1585                         )) )
1586                 RANK
1587         } elsif (lc($sort) eq 'create_date') {
1588                 $rank = <<"             RANK";
1589                         ( FIRST (( SELECT create_date FROM $br_table rbr WHERE rbr.id = mr.master_record)) )
1590                 RANK
1591         } elsif (lc($sort) eq 'edit_date') {
1592                 $rank = <<"             RANK";
1593                         ( FIRST (( SELECT edit_date FROM $br_table rbr WHERE rbr.id = mr.master_record)) )
1594                 RANK
1595         } elsif (lc($sort) eq 'title') {
1596                 $rank = <<"             RANK";
1597                         ( FIRST ((
1598                                 SELECT  COALESCE(LTRIM(SUBSTR( frt.value, COALESCE(SUBSTRING(frt.ind2 FROM '\\\\d+'),'0')::INT + 1 )),'zzzzzzzz')
1599                                   FROM  $metabib_full_rec frt
1600                                   WHERE frt.record = mr.master_record
1601                                         AND frt.tag = '245'
1602                                         AND frt.subfield = 'a'
1603                                   LIMIT 1
1604                         )) )
1605                 RANK
1606                 $secondary_sort = <<"           SORT";
1607                         ( FIRST ((
1608                                 SELECT  COALESCE(SUBSTRING(sfrp.value FROM '\\\\d+'),'9999')::INT
1609                                   FROM  $metabib_full_rec sfrp
1610                                   WHERE sfrp.record = mr.master_record
1611                                         AND sfrp.tag = '260'
1612                                         AND sfrp.subfield = 'c'
1613                                   LIMIT 1
1614                         )) )
1615                 SORT
1616         } elsif (lc($sort) eq 'author') {
1617                 $rank = <<"             RANK";
1618                         ( FIRST((
1619                                 SELECT  COALESCE(LTRIM(fra.value),'zzzzzzzz')
1620                                   FROM  $metabib_full_rec fra
1621                                   WHERE fra.record = mr.master_record
1622                                         AND fra.tag LIKE '1%'
1623                                         AND fra.subfield = 'a'
1624                                   ORDER BY fra.tag::text::int
1625                                   LIMIT 1
1626                         )) )
1627                 RANK
1628         } else {
1629                 push @bonus_values, @bonus_values;
1630                 $sort = undef;
1631         }
1632
1633
1634         my $select = <<"        SQL";
1635                 SELECT  m.metarecord,
1636                         $relevance,
1637                         CASE WHEN COUNT(DISTINCT smrs.source) = 1 THEN FIRST(m.source) ELSE 0 END,
1638                         $rank,
1639                         $secondary_sort
1640                 FROM    $search_table_list
1641                         $metabib_metarecord mr,
1642                         $metabib_metarecord_source_map_table m,
1643                         $metabib_metarecord_source_map_table smrs
1644                 WHERE   m.metarecord = smrs.metarecord
1645                         AND mr.id = m.metarecord
1646                         $fts_list
1647                         $join_table_list
1648                 GROUP BY m.metarecord
1649                 -- ORDER BY 4 $sort_dir
1650                 LIMIT $visiblity_limit
1651         SQL
1652
1653         if ($self->api_name !~ /staff/o) {
1654                 $select = <<"           SQL";
1655
1656                         SELECT  s.*
1657                           FROM  ($select) s
1658                           WHERE EXISTS (
1659                                 SELECT  1
1660                                   FROM  $asset_call_number_table cn,
1661                                         $metabib_metarecord_source_map_table mrs,
1662                                         $asset_copy_table cp,
1663                                         $cs_table cs,
1664                                         $cl_table cl,
1665                                         $br_table br,
1666                                         $descendants d,
1667                                         $metabib_record_descriptor ord
1668                                   WHERE mrs.metarecord = s.metarecord
1669                                         AND br.id = mrs.source
1670                                         AND cn.record = mrs.source
1671                                         AND cp.status = cs.id
1672                                         AND cp.location = cl.id
1673                                         AND cn.owning_lib = d.id
1674                                         AND cp.call_number = cn.id
1675                                         AND cp.opac_visible IS TRUE
1676                                         AND cs.holdable IS TRUE
1677                                         AND cl.opac_visible IS TRUE
1678                                         AND br.active IS TRUE
1679                                         AND br.deleted IS FALSE
1680                                         AND cp.deleted IS FALSE
1681                                         AND cn.deleted IS FALSE
1682                                         AND ord.record = mrs.source
1683                                         $ot_filter
1684                                         $of_filter
1685                                         $oa_filter
1686                                         $ol_filter
1687                                         $olf_filter
1688                                   LIMIT 1
1689                                 )
1690                                 OR EXISTS (
1691                                 SELECT  1
1692                                   FROM  $br_table br,
1693                                         $metabib_metarecord_source_map_table mrs,
1694                                         $metabib_record_descriptor ord,
1695                                         $source_table src
1696                                   WHERE mrs.metarecord = s.metarecord
1697                                         AND ord.record = mrs.source
1698                                         AND br.id = mrs.source
1699                                         AND br.source = src.id
1700                                         AND src.transcendant IS TRUE
1701                                         $ot_filter
1702                                         $of_filter
1703                                         $oa_filter
1704                                         $ol_filter
1705                                         $olf_filter
1706                                 )
1707                           ORDER BY 4 $sort_dir, 5
1708                 SQL
1709         } else {
1710                 $select = <<"           SQL";
1711
1712                         SELECT  DISTINCT s.*
1713                           FROM  ($select) s,
1714                                 $metabib_metarecord_source_map_table omrs,
1715                                 $metabib_record_descriptor ord
1716                           WHERE omrs.metarecord = s.metarecord
1717                                 AND ord.record = omrs.source
1718                                 AND (   EXISTS (
1719                                                 SELECT  1
1720                                                   FROM  $asset_call_number_table cn,
1721                                                         $descendants d,
1722                                                         $br_table br
1723                                                   WHERE br.id = omrs.source
1724                                                         AND cn.record = omrs.source
1725                                                         AND cn.owning_lib = d.id
1726                                                         AND br.deleted IS FALSE
1727                                                         AND cn.deleted IS FALSE
1728                                                   LIMIT 1
1729                                         )
1730                                         OR NOT EXISTS (
1731                                                 SELECT  1
1732                                                   FROM  $asset_call_number_table cn
1733                                                   WHERE cn.record = omrs.source
1734                                                         AND cn.deleted IS FALSE
1735                                                   LIMIT 1
1736                                         )
1737                                         OR EXISTS (
1738                                         SELECT  1
1739                                           FROM  $br_table br,
1740                                                 $metabib_metarecord_source_map_table mrs,
1741                                                 $metabib_record_descriptor ord,
1742                                                 $source_table src
1743                                           WHERE mrs.metarecord = s.metarecord
1744                                                 AND br.id = mrs.source
1745                                                 AND br.source = src.id
1746                                                 AND src.transcendant IS TRUE
1747                                                 $ot_filter
1748                                                 $of_filter
1749                                                 $oa_filter
1750                                                 $ol_filter
1751                                                 $olf_filter
1752                                         )
1753                                 )
1754                                 $ot_filter
1755                                 $of_filter
1756                                 $oa_filter
1757                                 $ol_filter
1758                                 $olf_filter
1759
1760                           ORDER BY 4 $sort_dir, 5
1761                 SQL
1762         }
1763
1764
1765         $log->debug("Field Search SQL :: [$select]",DEBUG);
1766
1767         my $recs = $_cdbi->{title}->db_Main->selectall_arrayref(
1768                         $select, {},
1769                         @bonus_values,
1770                         @types, @forms, @aud, @lang, @lit_form,
1771                         @types, @forms, @aud, @lang, @lit_form,
1772                         # ($self->api_name =~ /staff/o ? (@types, @forms, @aud, @lang, @lit_form) : () )
1773         );
1774
1775         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
1776
1777         my $max = 0;
1778         $max = 1 if (!@$recs);
1779         for (@$recs) {
1780                 $max = $$_[1] if ($$_[1] > $max);
1781         }
1782
1783         my $count = scalar(@$recs);
1784         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
1785                 next unless ($$rec[0]);
1786                 my ($mrid,$rank,$skip) = @$rec;
1787                 $client->respond( [$mrid, sprintf('%0.3f',$rank/$max), $skip, $count] );
1788         }
1789         return undef;
1790 }
1791
1792 __PACKAGE__->register_method(
1793         api_name        => "open-ils.storage.metabib.post_filter.multiclass.search_fts.metarecord",
1794         method          => 'postfilter_search_multi_class_fts',
1795         api_level       => 1,
1796         stream          => 1,
1797         cachable        => 1,
1798 );
1799 __PACKAGE__->register_method(
1800         api_name        => "open-ils.storage.metabib.post_filter.multiclass.search_fts.metarecord.staff",
1801         method          => 'postfilter_search_multi_class_fts',
1802         api_level       => 1,
1803         stream          => 1,
1804         cachable        => 1,
1805 );
1806
1807 __PACKAGE__->register_method(
1808         api_name        => "open-ils.storage.metabib.multiclass.search_fts",
1809         method          => 'postfilter_search_multi_class_fts',
1810         api_level       => 1,
1811         stream          => 1,
1812         cachable        => 1,
1813 );
1814 __PACKAGE__->register_method(
1815         api_name        => "open-ils.storage.metabib.multiclass.search_fts.staff",
1816         method          => 'postfilter_search_multi_class_fts',
1817         api_level       => 1,
1818         stream          => 1,
1819         cachable        => 1,
1820 );
1821
1822 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
1823 sub biblio_search_multi_class_fts {
1824         my $self = shift;
1825         my $client = shift;
1826         my %args = @_;
1827
1828         my $sort = $args{'sort'};
1829         my $sort_dir = $args{sort_dir} || 'DESC';
1830         my $ou = $args{org_unit};
1831         my $ou_type = $args{depth};
1832         my $limit = $args{limit} || 10;
1833         my $visiblity_limit = $args{visiblity_limit} || 5000;
1834         my $offset = $args{offset} || 0;
1835
1836         if (!$ou) {
1837                 $ou = actor::org_unit->search( { parent_ou => undef } )->next->id;
1838         }
1839
1840         if (!defined($args{org_unit})) {
1841                 die "No target organizational unit passed to ".$self->api_name;
1842         }
1843
1844         if (! scalar( keys %{$args{searches}} )) {
1845                 die "No search arguments were passed to ".$self->api_name;
1846         }
1847
1848         my $outer_limit = 1000;
1849
1850         my $limit_clause = '';
1851         my $offset_clause = '';
1852
1853         $limit_clause = "LIMIT $outer_limit";
1854         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
1855
1856         my (@types,@forms,@lang,@aud,@lit_form);
1857         my ($t_filter, $f_filter) = ('','');
1858         my ($a_filter, $l_filter, $lf_filter) = ('','','');
1859         my ($ot_filter, $of_filter) = ('','');
1860         my ($oa_filter, $ol_filter, $olf_filter) = ('','','');
1861
1862         if (my $a = $args{audience}) {
1863                 $a = [$a] if (!ref($a));
1864                 @aud = @$a;
1865
1866                 $a_filter = ' AND rd.audience IN ('.join(',',map{'?'}@aud).')';
1867                 $oa_filter = ' AND ord.audience IN ('.join(',',map{'?'}@aud).')';
1868         }
1869
1870         if (my $l = $args{language}) {
1871                 $l = [$l] if (!ref($l));
1872                 @lang = @$l;
1873
1874                 $l_filter = ' AND rd.item_lang IN ('.join(',',map{'?'}@lang).')';
1875                 $ol_filter = ' AND ord.item_lang IN ('.join(',',map{'?'}@lang).')';
1876         }
1877
1878         if (my $f = $args{lit_form}) {
1879                 $f = [$f] if (!ref($f));
1880                 @lit_form = @$f;
1881
1882                 $lf_filter = ' AND rd.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1883                 $olf_filter = ' AND ord.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1884         }
1885
1886         if (my $f = $args{item_form}) {
1887                 $f = [$f] if (!ref($f));
1888                 @forms = @$f;
1889
1890                 $f_filter = ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1891                 $of_filter = ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1892         }
1893
1894         if (my $t = $args{item_type}) {
1895                 $t = [$t] if (!ref($t));
1896                 @types = @$t;
1897
1898                 $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1899                 $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1900         }
1901
1902         # XXX legacy format and item type support
1903         if ($args{format}) {
1904                 my ($t, $f) = split '-', $args{format};
1905                 @types = split '', $t;
1906                 @forms = split '', $f;
1907                 if (@types) {
1908                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1909                         $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1910                 }
1911
1912                 if (@forms) {
1913                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1914                         $of_filter .= ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1915                 }
1916         }
1917
1918
1919         my $descendants = defined($ou_type) ?
1920                                 "actor.org_unit_descendants($ou, $ou_type)" :
1921                                 "actor.org_unit_descendants($ou)";
1922
1923         my $search_table_list = '';
1924         my $fts_list = '';
1925         my $join_table_list = '';
1926         my @rank_list;
1927
1928         my $field_table = config::metabib_field->table;
1929
1930         my @bonus_lists;
1931         my @bonus_values;
1932         my $prev_search_class;
1933         my $curr_search_class;
1934         for my $search_class (sort keys %{$args{searches}}) {
1935                 $prev_search_class = $curr_search_class if ($curr_search_class);
1936
1937                 $curr_search_class = $search_class;
1938
1939                 my $class = $_cdbi->{$search_class};
1940                 my $search_table = $class->table;
1941
1942                 my ($index_col) = $class->columns('FTS');
1943                 $index_col ||= 'value';
1944
1945
1946                 my $fts = OpenILS::Application::Storage::FTS->compile($args{searches}{$search_class}{term}, $search_class.'.value', "$search_class.$index_col");
1947
1948                 my $fts_where = $fts->sql_where_clause;
1949                 my @fts_ranks = $fts->fts_rank;
1950
1951                 my $SQLstring = join('%',map { lc($_) } $fts->words) .'%';
1952                 my $REstring = '^' . join('\s+',map { lc($_) } $fts->words) . '\W*$';
1953                 my $first_word = lc(($fts->words)[0]).'%';
1954
1955                 $_.=" * (SELECT weight FROM $field_table WHERE $search_class.field = id)" for (@fts_ranks);
1956                 my $rank = join('  + ', @fts_ranks);
1957
1958                 my %bonus = ();
1959                 $bonus{'keyword'} = [ { "CASE WHEN $search_class.value ILIKE ? THEN 10 ELSE 1 END" => $SQLstring } ];
1960
1961                 $bonus{'series'} = [
1962                         { "CASE WHEN $search_class.value ILIKE ? THEN 1.5 ELSE 1 END" => $first_word },
1963                         { "CASE WHEN $search_class.value ~ ? THEN 20 ELSE 1 END" => $REstring },
1964                 ];
1965
1966                 $bonus{'title'} = [ @{ $bonus{'series'} }, @{ $bonus{'keyword'} } ];
1967
1968                 my $bonus_list = join ' * ', map { keys %$_ } @{ $bonus{$search_class} };
1969                 $bonus_list ||= '1';
1970
1971                 push @bonus_lists, $bonus_list,;
1972                 push @bonus_values, map { values %$_ } @{ $bonus{$search_class} };
1973
1974                 #---------------------
1975
1976                 $search_table_list .= "$search_table $search_class, ";
1977                 push @rank_list,$rank;
1978                 $fts_list .= " AND $fts_where AND b.id = $search_class.source";
1979
1980                 if ($prev_search_class) {
1981                         $join_table_list .= " AND $prev_search_class.source = $curr_search_class.source";
1982                 }
1983         }
1984
1985         my $metabib_record_descriptor = metabib::record_descriptor->table;
1986         my $metabib_full_rec = metabib::full_rec->table;
1987         my $metabib_metarecord = metabib::metarecord->table;
1988         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
1989         my $asset_call_number_table = asset::call_number->table;
1990         my $asset_copy_table = asset::copy->table;
1991         my $cs_table = config::copy_status->table;
1992         my $cl_table = asset::copy_location->table;
1993         my $br_table = biblio::record_entry->table;
1994         my $source_table = config::bib_source->table;
1995
1996
1997         my $bonuses = join (' * ', @bonus_lists);
1998         my $relevance = join (' + ', @rank_list);
1999         $relevance = "AVG( ($relevance) * ($bonuses) )";
2000
2001
2002         my $rank = $relevance;
2003         if (lc($sort) eq 'pubdate') {
2004                 $rank = <<"             RANK";
2005                         ( FIRST ((
2006                                 SELECT  COALESCE(SUBSTRING(frp.value FROM '\\\\d{4}'),'9999')::INT
2007                                   FROM  $metabib_full_rec frp
2008                                   WHERE frp.record = b.id
2009                                         AND frp.tag = '260'
2010                                         AND frp.subfield = 'c'
2011                                   LIMIT 1
2012                         )) )
2013                 RANK
2014         } elsif (lc($sort) eq 'create_date') {
2015                 $rank = <<"             RANK";
2016                         ( FIRST (( SELECT create_date FROM $br_table rbr WHERE rbr.id = b.id)) )
2017                 RANK
2018         } elsif (lc($sort) eq 'edit_date') {
2019                 $rank = <<"             RANK";
2020                         ( FIRST (( SELECT edit_date FROM $br_table rbr WHERE rbr.id = b.id)) )
2021                 RANK
2022         } elsif (lc($sort) eq 'title') {
2023                 $rank = <<"             RANK";
2024                         ( FIRST ((
2025                                 SELECT  COALESCE(LTRIM(SUBSTR( frt.value, COALESCE(SUBSTRING(frt.ind2 FROM '\\\\d+'),'0')::INT + 1 )),'zzzzzzzz')
2026                                   FROM  $metabib_full_rec frt
2027                                   WHERE frt.record = b.id
2028                                         AND frt.tag = '245'
2029                                         AND frt.subfield = 'a'
2030                                   LIMIT 1
2031                         )) )
2032                 RANK
2033         } elsif (lc($sort) eq 'author') {
2034                 $rank = <<"             RANK";
2035                         ( FIRST((
2036                                 SELECT  COALESCE(LTRIM(fra.value),'zzzzzzzz')
2037                                   FROM  $metabib_full_rec fra
2038                                   WHERE fra.record = b.id
2039                                         AND fra.tag LIKE '1%'
2040                                         AND fra.subfield = 'a'
2041                                   ORDER BY fra.tag::text::int
2042                                   LIMIT 1
2043                         )) )
2044                 RANK
2045         } else {
2046                 push @bonus_values, @bonus_values;
2047                 $sort = undef;
2048         }
2049
2050
2051         my $select = <<"        SQL";
2052                 SELECT  b.id,
2053                         $relevance AS rel,
2054                         $rank AS rank,
2055                         b.source
2056                 FROM    $search_table_list
2057                         $metabib_record_descriptor rd,
2058                         $source_table src,
2059                         $br_table b
2060                 WHERE   rd.record = b.id
2061                         AND b.active IS TRUE
2062                         AND b.deleted IS FALSE
2063                         $fts_list
2064                         $join_table_list
2065                         $t_filter
2066                         $f_filter
2067                         $a_filter
2068                         $l_filter
2069                         $lf_filter
2070                 GROUP BY b.id, b.source
2071                 ORDER BY 3 $sort_dir
2072                 LIMIT $visiblity_limit
2073         SQL
2074
2075         if ($self->api_name !~ /staff/o) {
2076                 $select = <<"           SQL";
2077
2078                         SELECT  s.*
2079                           FROM  ($select) s
2080                                 LEFT OUTER JOIN $source_table src ON (s.source = src.id)
2081                           WHERE EXISTS (
2082                                 SELECT  1
2083                                   FROM  $asset_call_number_table cn,
2084                                         $asset_copy_table cp,
2085                                         $cs_table cs,
2086                                         $cl_table cl,
2087                                         $descendants d
2088                                   WHERE cn.record = s.id
2089                                         AND cp.status = cs.id
2090                                         AND cp.location = cl.id
2091                                         AND cn.owning_lib = d.id
2092                                         AND cp.call_number = cn.id
2093                                         AND cp.opac_visible IS TRUE
2094                                         AND cs.holdable IS TRUE
2095                                         AND cl.opac_visible IS TRUE
2096                                         AND cp.deleted IS FALSE
2097                                         AND cn.deleted IS FALSE
2098                                   LIMIT 1
2099                                 )
2100                                 OR src.transcendant IS TRUE
2101                           ORDER BY 3 $sort_dir
2102                 SQL
2103         } else {
2104                 $select = <<"           SQL";
2105
2106                         SELECT  s.*
2107                           FROM  ($select) s
2108                                 LEFT OUTER JOIN $source_table src ON (s.source = src.id)
2109                           WHERE EXISTS (
2110                                 SELECT  1
2111                                   FROM  $asset_call_number_table cn,
2112                                         $descendants d
2113                                   WHERE cn.record = s.id
2114                                         AND cn.owning_lib = d.id
2115                                         AND cn.deleted IS FALSE
2116                                   LIMIT 1
2117                                 )
2118                                 OR NOT EXISTS (
2119                                 SELECT  1
2120                                   FROM  $asset_call_number_table cn
2121                                   WHERE cn.record = s.id
2122                                   LIMIT 1
2123                                 )
2124                                 OR src.transcendant IS TRUE
2125                           ORDER BY 3 $sort_dir
2126                 SQL
2127         }
2128
2129
2130         $log->debug("Field Search SQL :: [$select]",DEBUG);
2131
2132         my $recs = $_cdbi->{title}->db_Main->selectall_arrayref(
2133                         $select, {},
2134                         @bonus_values, @types, @forms, @aud, @lang, @lit_form
2135         );
2136
2137         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
2138
2139         my $max = 0;
2140         $max = 1 if (!@$recs);
2141         for (@$recs) {
2142                 $max = $$_[1] if ($$_[1] > $max);
2143         }
2144
2145         my $count = scalar(@$recs);
2146         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
2147                 next unless ($$rec[0]);
2148                 my ($mrid,$rank) = @$rec;
2149                 $client->respond( [$mrid, sprintf('%0.3f',$rank/$max), $count] );
2150         }
2151         return undef;
2152 }
2153
2154 __PACKAGE__->register_method(
2155         api_name        => "open-ils.storage.biblio.multiclass.search_fts.record",
2156         method          => 'biblio_search_multi_class_fts',
2157         api_level       => 1,
2158         stream          => 1,
2159         cachable        => 1,
2160 );
2161 __PACKAGE__->register_method(
2162         api_name        => "open-ils.storage.biblio.multiclass.search_fts.record.staff",
2163         method          => 'biblio_search_multi_class_fts',
2164         api_level       => 1,
2165         stream          => 1,
2166         cachable        => 1,
2167 );
2168
2169
2170
2171 __PACKAGE__->register_method(
2172         api_name        => "open-ils.storage.biblio.multiclass.search_fts",
2173         method          => 'biblio_search_multi_class_fts',
2174         api_level       => 1,
2175         stream          => 1,
2176         cachable        => 1,
2177 );
2178 __PACKAGE__->register_method(
2179         api_name        => "open-ils.storage.biblio.multiclass.search_fts.staff",
2180         method          => 'biblio_search_multi_class_fts',
2181         api_level       => 1,
2182         stream          => 1,
2183         cachable        => 1,
2184 );
2185
2186
2187 1;
2188