Open-ILS/src/perlmods/OpenILS/Application/Storage/Publisher/metabib.pm

   1 package OpenILS::Application::Storage::Publisher::metabib;
   2 use base qw/OpenILS::Application::Storage::Publisher/;
   3 use vars qw/$VERSION/;
   4 use OpenSRF::EX qw/:try/;
   5 use OpenILS::Application::Storage::FTS;
   6 use OpenILS::Utils::Fieldmapper;
   7 use OpenSRF::Utils::Logger qw/:level/;
   8 use OpenSRF::Utils::Cache;
   9 use Data::Dumper;
  10 use Digest::MD5 qw/md5_hex/;
  11
  12
  13 my $log = 'OpenSRF::Utils::Logger';
  14
  15 $VERSION = 1;
  16
  17 sub ordered_records_from_metarecord {
  18         my $self = shift;
  19         my $client = shift;
  20         my $mr = shift;
  21         my $formats = shift;
  22         my $org = shift || 1;
  23         my $depth = shift;
  24
  25         my (@types,@forms);
  26
  27         if ($formats) {
  28                 my ($t, $f) = split '-', $formats;
  29                 @types = split '', $t;
  30                 @forms = split '', $f;
  31         }
  32
  33         my $descendants =
  34                 defined($depth) ?
  35                         "actor.org_unit_descendants($org, $depth)" :
  36                         "actor.org_unit_descendants($org)" ;
  37
  38
  39         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
  40         $copies_visible = '' if ($self->api_name =~ /staff/o);
  41
  42         my $sm_table = metabib::metarecord_source_map->table;
  43         my $rd_table = metabib::record_descriptor->table;
  44         my $fr_table = metabib::full_rec->table;
  45         my $cn_table = asset::call_number->table;
  46         my $cl_table = asset::copy_location->table;
  47         my $cp_table = asset::copy->table;
  48         my $cs_table = config::copy_status->table;
  49         my $out_table = actor::org_unit_type->table;
  50         my $br_table = biblio::record_entry->table;
  51
  52         my $sql = <<"   SQL";
  53                 SELECT  record,
  54                         item_type,
  55                         item_form,
  56                         quality,
  57                         FIRST(COALESCE(LTRIM(SUBSTR( value, COALESCE(SUBSTRING(ind2 FROM '\\\\d+'),'0')::INT )),'zzzzzzzz')) AS title
  58                 FROM    (
  59                         SELECT  rd.record,
  60                                 rd.item_type,
  61                                 rd.item_form,
  62                                 br.quality,
  63                                 fr.tag,
  64                                 fr.subfield,
  65                                 fr.value,
  66                                 fr.ind2
  67         SQL
  68
  69         if ($copies_visible) {
  70                 $sql .= <<"             SQL";
  71                           FROM  $cn_table cn,
  72                                 $sm_table sm,
  73                                 $br_table br,
  74                                 $fr_table fr,
  75                                 $rd_table rd
  76                           WHERE rd.record = sm.source
  77                                 AND fr.record = sm.source
  78                                 AND br.id = sm.source
  79                                 AND cn.record = sm.source
  80                                 AND sm.metarecord = ?
  81                                 AND EXISTS ((SELECT     1
  82                                                 FROM    $cp_table cp
  83                                                         JOIN $cs_table cs ON (cp.status = cs.id)
  84                                                         JOIN $cl_table cl ON (cp.location = cl.id)
  85                                                         JOIN $descendants d ON (cp.circ_lib = d.id)
  86                                                 WHERE   cn.id = cp.call_number
  87                                                         $copies_visible
  88                                                 LIMIT 1))
  89                 SQL
  90         } else {
  91                 $sql .= <<"             SQL";
  92                           FROM  $sm_table sm
  93                                 JOIN $br_table br ON (sm.source = br.id)
  94                                 JOIN $fr_table fr ON (fr.record = br.id)
  95                                 JOIN $rd_table rd ON (rd.record = br.id)
  96                           WHERE sm.metarecord = ?
  97                                 AND (   EXISTS (
  98                                                 SELECT  1
  99                                                   FROM  $cp_table cp,
 100                                                         $cn_table cn,
 101                                                         $descendants d
 102                                                   WHERE cn.record = br.id
 103                                                         AND cn.deleted = FALSE
 104                                                         AND cp.deleted = FALSE
 105                                                         AND cp.circ_lib = d.id
 106                                                         AND cn.id = cp.call_number
 107                                                   LIMIT 1
 108                                         ) OR NOT EXISTS (
 109                                                 SELECT  1
 110                                                   FROM  $cp_table cp,
 111                                                         $cn_table cn
 112                                                   WHERE cn.record = br.id
 113                                                         AND cn.deleted = FALSE
 114                                                         AND cp.deleted = FALSE
 115                                                         AND cn.id = cp.call_number
 116                                                   LIMIT 1
 117                                         )
 118                                 )
 119                 SQL
 120         }
 121
 122         if (@types) {
 123                 $sql .= '                               AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 124         }
 125
 126         if (@forms) {
 127                 $sql .= '                               AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 128         }
 129
 130
 131
 132         $sql .= <<"     SQL";
 133                           OFFSET 0
 134                         ) AS x
 135           WHERE tag = '245'
 136                 AND subfield = 'a'
 137           GROUP BY record, item_type, item_form, quality
 138           ORDER BY
 139                 CASE
 140                         WHEN item_type IS NULL -- default
 141                                 THEN 0
 142                         WHEN item_type = '' -- default
 143                                 THEN 0
 144                         WHEN item_type IN ('a','t') -- books
 145                                 THEN 1
 146                         WHEN item_type = 'g' -- movies
 147                                 THEN 2
 148                         WHEN item_type IN ('i','j') -- sound recordings
 149                                 THEN 3
 150                         WHEN item_type = 'm' -- software
 151                                 THEN 4
 152                         WHEN item_type = 'k' -- images
 153                                 THEN 5
 154                         WHEN item_type IN ('e','f') -- maps
 155                                 THEN 6
 156                         WHEN item_type IN ('o','p') -- mixed
 157                                 THEN 7
 158                         WHEN item_type IN ('c','d') -- music
 159                                 THEN 8
 160                         WHEN item_type = 'r' -- 3d
 161                                 THEN 9
 162                 END,
 163                 title ASC,
 164                 quality DESC
 165         SQL
 166
 167         my $ids = metabib::metarecord_source_map->db_Main->selectcol_arrayref($sql, {}, "$mr", @types, @forms);
 168         return $ids if ($self->api_name =~ /atomic$/o);
 169
 170         $client->respond( $_ ) for ( @$ids );
 171         return undef;
 172
 173 }
 174 __PACKAGE__->register_method(
 175         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records',
 176         method          => 'ordered_records_from_metarecord',
 177         api_level       => 1,
 178         cachable        => 1,
 179 );
 180 __PACKAGE__->register_method(
 181         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records.staff',
 182         method          => 'ordered_records_from_metarecord',
 183         api_level       => 1,
 184         cachable        => 1,
 185 );
 186
 187 __PACKAGE__->register_method(
 188         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records.atomic',
 189         method          => 'ordered_records_from_metarecord',
 190         api_level       => 1,
 191         cachable        => 1,
 192 );
 193 __PACKAGE__->register_method(
 194         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records.staff.atomic',
 195         method          => 'ordered_records_from_metarecord',
 196         api_level       => 1,
 197         cachable        => 1,
 198 );
 199
 200 sub isxn_search {
 201         my $self = shift;
 202         my $client = shift;
 203         my $isxn = shift;
 204
 205         my $tag = ($self->api_name =~ /isbn/o) ? '020' : '022';
 206
 207         my $fr_table = metabib::full_rec->table;
 208
 209         my $sql = <<"   SQL";
 210                 SELECT  record
 211                   FROM  $fr_table
 212                   WHERE tag = ?
 213                         AND value LIKE ?
 214         SQL
 215
 216         my $list = metabib::metarecord_source_map->db_Main->selectcol_arrayref($sql, {}, $tag, "$isxn%");
 217         $client->respond($_) for (@$list);
 218         return undef;
 219 }
 220 __PACKAGE__->register_method(
 221         api_name        => 'open-ils.storage.id_list.biblio.record_entry.search.isbn',
 222         method          => 'isxn_search',
 223         api_level       => 1,
 224         stream          => 1,
 225 );
 226 __PACKAGE__->register_method(
 227         api_name        => 'open-ils.storage.id_list.biblio.record_entry.search.issn',
 228         method          => 'isxn_search',
 229         api_level       => 1,
 230         stream          => 1,
 231 );
 232
 233 sub metarecord_copy_count {
 234         my $self = shift;
 235         my $client = shift;
 236
 237         my %args = @_;
 238
 239         my $sm_table = metabib::metarecord_source_map->table;
 240         my $rd_table = metabib::record_descriptor->table;
 241         my $cn_table = asset::call_number->table;
 242         my $cp_table = asset::copy->table;
 243         my $cl_table = asset::copy_location->table;
 244         my $cs_table = config::copy_status->table;
 245         my $out_table = actor::org_unit_type->table;
 246         my $descendants = "actor.org_unit_descendants(u.id)";
 247         my $ancestors = "actor.org_unit_ancestors(?)";
 248
 249         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 250         $copies_visible = '' if ($self->api_name =~ /staff/o);
 251
 252         my (@types,@forms);
 253         my ($t_filter, $f_filter) = ('','');
 254
 255         if ($args{format}) {
 256                 my ($t, $f) = split '-', $args{format};
 257                 @types = split '', $t;
 258                 @forms = split '', $f;
 259                 if (@types) {
 260                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 261                 }
 262
 263                 if (@forms) {
 264                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 265                 }
 266         }
 267
 268         my $sql = <<"   SQL";
 269                 SELECT  t.depth,
 270                         u.id AS org_unit,
 271                         sum(
 272                                 (SELECT count(cp.id)
 273                                   FROM  $sm_table r
 274                                         JOIN $cn_table cn ON (cn.record = r.source)
 275                                         JOIN $rd_table rd ON (cn.record = rd.record)
 276                                         JOIN $cp_table cp ON (cn.id = cp.call_number)
 277                                         JOIN $cs_table cs ON (cp.status = cs.id)
 278                                         JOIN $cl_table cl ON (cp.location = cl.id)
 279                                         JOIN $descendants a ON (cp.circ_lib = a.id)
 280                                   WHERE r.metarecord = ?
 281                                         $copies_visible
 282                                         $t_filter
 283                                         $f_filter
 284                                 )
 285                         ) AS count,
 286                         sum(
 287                                 (SELECT count(cp.id)
 288                                   FROM  $sm_table r
 289                                         JOIN $cn_table cn ON (cn.record = r.source)
 290                                         JOIN $rd_table rd ON (cn.record = rd.record)
 291                                         JOIN $cp_table cp ON (cn.id = cp.call_number)
 292                                         JOIN $cs_table cs ON (cp.status = cs.id)
 293                                         JOIN $cl_table cl ON (cp.location = cl.id)
 294                                         JOIN $descendants a ON (cp.circ_lib = a.id)
 295                                   WHERE r.metarecord = ?
 296                                         AND cp.status = 0
 297                                         $copies_visible
 298                                         $t_filter
 299                                         $f_filter
 300                                 )
 301                         ) AS available
 302
 303                   FROM  $ancestors u
 304                         JOIN $out_table t ON (u.ou_type = t.id)
 305                   GROUP BY 1,2
 306         SQL
 307
 308         my $sth = metabib::metarecord_source_map->db_Main->prepare_cached($sql);
 309         $sth->execute(  ''.$args{metarecord},
 310                         @types,
 311                         @forms,
 312                         ''.$args{metarecord},
 313                         @types,
 314                         @forms,
 315                         ''.$args{org_unit},
 316         );
 317
 318         while ( my $row = $sth->fetchrow_hashref ) {
 319                 $client->respond( $row );
 320         }
 321         return undef;
 322 }
 323 __PACKAGE__->register_method(
 324         api_name        => 'open-ils.storage.metabib.metarecord.copy_count',
 325         method          => 'metarecord_copy_count',
 326         api_level       => 1,
 327         stream          => 1,
 328         cachable        => 1,
 329 );
 330 __PACKAGE__->register_method(
 331         api_name        => 'open-ils.storage.metabib.metarecord.copy_count.staff',
 332         method          => 'metarecord_copy_count',
 333         api_level       => 1,
 334         stream          => 1,
 335         cachable        => 1,
 336 );
 337
 338 sub biblio_multi_search_full_rec {
 339         my $self = shift;
 340         my $client = shift;
 341
 342         my %args = @_;
 343         my $class_join = $args{class_join} || 'AND';
 344         my $limit = $args{limit} || 100;
 345         my $offset = $args{offset} || 0;
 346         my $sort = $args{'sort'};
 347         my $sort_dir = $args{sort_dir} || 'DESC';
 348
 349         my @binds;
 350         my @selects;
 351
 352         for my $arg (@{ $args{searches} }) {
 353                 my $term = $$arg{term};
 354                 my $limiters = $$arg{restrict};
 355
 356                 my ($index_col) = metabib::full_rec->columns('FTS');
 357                 $index_col ||= 'value';
 358                 my $search_table = metabib::full_rec->table;
 359
 360                 my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
 361
 362                 my $fts_where = $fts->sql_where_clause();
 363                 my @fts_ranks = $fts->fts_rank;
 364
 365                 my $rank = join(' + ', @fts_ranks);
 366
 367                 my @wheres;
 368                 for my $limit (@$limiters) {
 369                         push @wheres, "( tag = ? AND subfield LIKE ? AND $fts_where )";
 370                         push @binds, $$limit{tag}, $$limit{subfield};
 371                         $log->debug("Limiting query using { tag => $$limit{tag}, subfield => $$limit{subfield} }", DEBUG);
 372                 }
 373                 my $where = join(' OR ', @wheres);
 374
 375                 push @selects, "SELECT id, record, $rank as sum FROM $search_table WHERE $where";
 376
 377         }
 378
 379         my $descendants = defined($args{depth}) ?
 380                                 "actor.org_unit_descendants($args{org_unit}, $args{depth})" :
 381                                 "actor.org_unit_descendants($args{org_unit})" ;
 382
 383
 384         my $metabib_record_descriptor = metabib::record_descriptor->table;
 385         my $metabib_full_rec = metabib::full_rec->table;
 386         my $asset_call_number_table = asset::call_number->table;
 387         my $asset_copy_table = asset::copy->table;
 388         my $cs_table = config::copy_status->table;
 389         my $cl_table = asset::copy_location->table;
 390         my $br_table = biblio::record_entry->table;
 391
 392         my $cj = 'HAVING COUNT(x.id) = ' . scalar(@selects) if ($class_join eq 'AND');
 393         my $search_table =
 394                 '(SELECT x.record, sum(x.sum) FROM (('.
 395                         join(') UNION ALL (', @selects).
 396                         ")) x GROUP BY 1 $cj ORDER BY 2 DESC )";
 397
 398         my $has_vols = 'AND cn.owning_lib = d.id';
 399         my $has_copies = 'AND cp.call_number = cn.id';
 400         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 401
 402         if ($self->api_name =~ /staff/o) {
 403                 $copies_visible = '';
 404                 $has_copies = '' if ($ou_type == 0);
 405                 $has_vols = '' if ($ou_type == 0);
 406         }
 407
 408         my ($t_filter, $f_filter) = ('','');
 409         my ($a_filter, $l_filter, $lf_filter) = ('','','');
 410
 411         if (my $a = $args{audience}) {
 412                 $a = [$a] if (!ref($a));
 413                 my @aud = @$a;
 414
 415                 $a_filter = ' AND rd.audience IN ('.join(',',map{'?'}@aud).')';
 416                 push @binds, @aud;
 417         }
 418
 419         if (my $l = $args{language}) {
 420                 $l = [$l] if (!ref($l));
 421                 my @lang = @$l;
 422
 423                 $l_filter = ' AND rd.item_lang IN ('.join(',',map{'?'}@lang).')';
 424                 push @binds, @lang;
 425         }
 426
 427         if (my $f = $args{lit_form}) {
 428                 $f = [$f] if (!ref($f));
 429                 my @lit_form = @$f;
 430
 431                 $lf_filter = ' AND rd.lit_form IN ('.join(',',map{'?'}@lit_form).')';
 432                 push @binds, @lit_form;
 433         }
 434
 435         if (my $f = $args{item_form}) {
 436                 $f = [$f] if (!ref($f));
 437                 my @forms = @$f;
 438
 439                 $f_filter = ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 440                 push @binds, @forms;
 441         }
 442
 443         if (my $t = $args{item_type}) {
 444                 $t = [$t] if (!ref($t));
 445                 my @types = @$t;
 446
 447                 $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 448                 push @binds, @types;
 449         }
 450
 451
 452         if ($args{format}) {
 453                 my ($t, $f) = split '-', $args{format};
 454                 my @types = split '', $t;
 455                 my @forms = split '', $f;
 456                 if (@types) {
 457                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 458                 }
 459
 460                 if (@forms) {
 461                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 462                 }
 463                 push @binds, @types, @forms;
 464         }
 465
 466         my $relevance = 'sum(f.sum)';
 467         $relevance = 1 if (!$copies_visible);
 468
 469         my $rank = $relevance;
 470         if (lc($sort) eq 'pubdate') {
 471                 $rank = <<"             RANK";
 472                         ( FIRST ((
 473                                 SELECT  COALESCE(SUBSTRING(frp.value FROM '\\\\d+'),'9999')::INT
 474                                   FROM  $metabib_full_rec frp
 475                                   WHERE frp.record = f.record
 476                                         AND frp.tag = '260'
 477                                         AND frp.subfield = 'c'
 478                                   LIMIT 1
 479                         )) )
 480                 RANK
 481         } elsif (lc($sort) eq 'create_date') {
 482                 $rank = <<"             RANK";
 483                         ( FIRST (( SELECT create_date FROM $br_table rbr WHERE rbr.id = f.record)) )
 484                 RANK
 485         } elsif (lc($sort) eq 'edit_date') {
 486                 $rank = <<"             RANK";
 487                         ( FIRST (( SELECT edit_date FROM $br_table rbr WHERE rbr.id = f.record)) )
 488                 RANK
 489         } elsif (lc($sort) eq 'title') {
 490                 $rank = <<"             RANK";
 491                         ( FIRST ((
 492                                 SELECT  COALESCE(LTRIM(SUBSTR( frt.value, COALESCE(SUBSTRING(frt.ind2 FROM '\\\\d+'),'0')::INT )),'zzzzzzzz')
 493                                   FROM  $metabib_full_rec frt
 494                                   WHERE frt.record = f.record
 495                                         AND frt.tag = '245'
 496                                         AND frt.subfield = 'a'
 497                                   LIMIT 1
 498                         )) )
 499                 RANK
 500         } elsif (lc($sort) eq 'author') {
 501                 $rank = <<"             RANK";
 502                         ( FIRST((
 503                                 SELECT  COALESCE(LTRIM(fra.value),'zzzzzzzz')
 504                                   FROM  $metabib_full_rec fra
 505                                   WHERE fra.record = f.record
 506                                         AND fra.tag LIKE '1%'
 507                                         AND fra.subfield = 'a'
 508                                   ORDER BY fra.tag::text::int
 509                                   LIMIT 1
 510                         )) )
 511                 RANK
 512         } else {
 513                 $sort = undef;
 514         }
 515
 516
 517         if ($copies_visible) {
 518                 $select = <<"           SQL";
 519                         SELECT  f.record, $relevance, count(DISTINCT cp.id), $rank
 520                         FROM    $search_table f,
 521                                 $asset_call_number_table cn,
 522                                 $asset_copy_table cp,
 523                                 $cs_table cs,
 524                                 $cl_table cl,
 525                                 $br_table br,
 526                                 $metabib_record_descriptor rd,
 527                                 $descendants d
 528                         WHERE   br.id = f.record
 529                                 AND cn.record = f.record
 530                                 AND rd.record = f.record
 531                                 AND cp.status = cs.id
 532                                 AND cp.location = cl.id
 533                                 AND br.deleted IS FALSE
 534                                 AND cn.deleted IS FALSE
 535                                 AND cp.deleted IS FALSE
 536                                 $has_vols
 537                                 $has_copies
 538                                 $copies_visible
 539                                 $t_filter
 540                                 $f_filter
 541                                 $a_filter
 542                                 $l_filter
 543                                 $lf_filter
 544                         GROUP BY f.record HAVING count(DISTINCT cp.id) > 0
 545                         ORDER BY 4 $sort_dir,3 DESC
 546                 SQL
 547         } else {
 548                 $select = <<"           SQL";
 549                         SELECT  f.record, 1, 1, $rank
 550                         FROM    $search_table f,
 551                                 $br_table br,
 552                                 $metabib_record_descriptor rd
 553                         WHERE   br.id = f.record
 554                                 AND rd.record = f.record
 555                                 AND br.deleted IS FALSE
 556                                 $t_filter
 557                                 $f_filter
 558                                 $a_filter
 559                                 $l_filter
 560                                 $lf_filter
 561                         GROUP BY 1,2,3
 562                         ORDER BY 4 $sort_dir
 563                 SQL
 564         }
 565
 566
 567         $log->debug("Search SQL :: [$select]",DEBUG);
 568
 569         my $recs = metabib::full_rec->db_Main->selectall_arrayref("$select;", {}, @binds);
 570         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
 571
 572         my $max = 0;
 573         $max = 1 if (!@$recs);
 574         for (@$recs) {
 575                 $max = $$_[1] if ($$_[1] > $max);
 576         }
 577
 578         my $count = @$recs;
 579         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
 580                 next unless ($$rec[0]);
 581                 my ($rid,$rank,$junk,$skip) = @$rec;
 582                 $client->respond( [$rid, sprintf('%0.3f',$rank/$max), $count] );
 583         }
 584         return undef;
 585 }
 586 __PACKAGE__->register_method(
 587         api_name        => 'open-ils.storage.biblio.full_rec.multi_search',
 588         method          => 'biblio_multi_search_full_rec',
 589         api_level       => 1,
 590         stream          => 1,
 591         cachable        => 1,
 592 );
 593 __PACKAGE__->register_method(
 594         api_name        => 'open-ils.storage.biblio.full_rec.multi_search.staff',
 595         method          => 'biblio_multi_search_full_rec',
 596         api_level       => 1,
 597         stream          => 1,
 598         cachable        => 1,
 599 );
 600
 601 sub search_full_rec {
 602         my $self = shift;
 603         my $client = shift;
 604
 605         my %args = @_;
 606
 607         my $term = $args{term};
 608         my $limiters = $args{restrict};
 609
 610         my ($index_col) = metabib::full_rec->columns('FTS');
 611         $index_col ||= 'value';
 612         my $search_table = metabib::full_rec->table;
 613
 614         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
 615
 616         my $fts_where = $fts->sql_where_clause();
 617         my @fts_ranks = $fts->fts_rank;
 618
 619         my $rank = join(' + ', @fts_ranks);
 620
 621         my @binds;
 622         my @wheres;
 623         for my $limit (@$limiters) {
 624                 push @wheres, "( tag = ? AND subfield LIKE ? AND $fts_where )";
 625                 push @binds, $$limit{tag}, $$limit{subfield};
 626                 $log->debug("Limiting query using { tag => $$limit{tag}, subfield => $$limit{subfield} }", DEBUG);
 627         }
 628         my $where = join(' OR ', @wheres);
 629
 630         my $select = "SELECT record, sum($rank) FROM $search_table WHERE $where GROUP BY 1 ORDER BY 2 DESC;";
 631
 632         $log->debug("Search SQL :: [$select]",DEBUG);
 633
 634         my $recs = metabib::full_rec->db_Main->selectall_arrayref($select, {}, @binds);
 635         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
 636
 637         $client->respond($_) for (@$recs);
 638         return undef;
 639 }
 640 __PACKAGE__->register_method(
 641         api_name        => 'open-ils.storage.direct.metabib.full_rec.search_fts.value',
 642         method          => 'search_full_rec',
 643         api_level       => 1,
 644         stream          => 1,
 645         cachable        => 1,
 646 );
 647 __PACKAGE__->register_method(
 648         api_name        => 'open-ils.storage.direct.metabib.full_rec.search_fts.index_vector',
 649         method          => 'search_full_rec',
 650         api_level       => 1,
 651         stream          => 1,
 652         cachable        => 1,
 653 );
 654
 655
 656 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
 657 sub search_class_fts {
 658         my $self = shift;
 659         my $client = shift;
 660         my %args = @_;
 661
 662         my $term = $args{term};
 663         my $ou = $args{org_unit};
 664         my $ou_type = $args{depth};
 665         my $limit = $args{limit};
 666         my $offset = $args{offset};
 667
 668         my $limit_clause = '';
 669         my $offset_clause = '';
 670
 671         $limit_clause = "LIMIT $limit" if (defined $limit and int($limit) > 0);
 672         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
 673
 674         my (@types,@forms);
 675         my ($t_filter, $f_filter) = ('','');
 676
 677         if ($args{format}) {
 678                 my ($t, $f) = split '-', $args{format};
 679                 @types = split '', $t;
 680                 @forms = split '', $f;
 681                 if (@types) {
 682                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 683                 }
 684
 685                 if (@forms) {
 686                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 687                 }
 688         }
 689
 690
 691
 692         my $descendants = defined($ou_type) ?
 693                                 "actor.org_unit_descendants($ou, $ou_type)" :
 694                                 "actor.org_unit_descendants($ou)";
 695
 696         my $class = $self->{cdbi};
 697         my $search_table = $class->table;
 698
 699         my $metabib_record_descriptor = metabib::record_descriptor->table;
 700         my $metabib_metarecord = metabib::metarecord->table;
 701         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
 702         my $asset_call_number_table = asset::call_number->table;
 703         my $asset_copy_table = asset::copy->table;
 704         my $cs_table = config::copy_status->table;
 705         my $cl_table = asset::copy_location->table;
 706
 707         my ($index_col) = $class->columns('FTS');
 708         $index_col ||= 'value';
 709
 710         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'f.value', "f.$index_col");
 711
 712         my $fts_where = $fts->sql_where_clause;
 713         my @fts_ranks = $fts->fts_rank;
 714
 715         my $rank = join(' + ', @fts_ranks);
 716
 717         my $has_vols = 'AND cn.owning_lib = d.id';
 718         my $has_copies = 'AND cp.call_number = cn.id';
 719         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 720
 721         my $visible_count = ', count(DISTINCT cp.id)';
 722         my $visible_count_test = 'HAVING count(DISTINCT cp.id) > 0';
 723
 724         if ($self->api_name =~ /staff/o) {
 725                 $copies_visible = '';
 726                 $visible_count_test = '';
 727                 $has_copies = '' if ($ou_type == 0);
 728                 $has_vols = '' if ($ou_type == 0);
 729         }
 730
 731         my $rank_calc = <<"     RANK";
 732                 , (SUM( $rank
 733                         * CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END -- phrase order
 734                         * CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END -- first word match
 735                         * CASE WHEN f.value ~* ? THEN 2 ELSE 1 END -- only word match
 736                 )/COUNT(m.source)), MIN(COALESCE(CHAR_LENGTH(f.value),1))
 737         RANK
 738
 739         $rank_calc = ',1 , 1' if ($self->api_name =~ /unordered/o);
 740
 741         if ($copies_visible) {
 742                 $select = <<"           SQL";
 743                         SELECT  m.metarecord $rank_calc $visible_count, CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
 744                         FROM    $search_table f,
 745                                 $metabib_metarecord_source_map_table m,
 746                                 $asset_call_number_table cn,
 747                                 $asset_copy_table cp,
 748                                 $cs_table cs,
 749                                 $cl_table cl,
 750                                 $metabib_record_descriptor rd,
 751                                 $descendants d
 752                         WHERE   $fts_where
 753                                 AND m.source = f.source
 754                                 AND cn.record = m.source
 755                                 AND rd.record = m.source
 756                                 AND cp.status = cs.id
 757                                 AND cp.location = cl.id
 758                                 $has_vols
 759                                 $has_copies
 760                                 $copies_visible
 761                                 $t_filter
 762                                 $f_filter
 763                         GROUP BY 1 $visible_count_test
 764                         ORDER BY 2 DESC,3
 765                         $limit_clause $offset_clause
 766                 SQL
 767         } else {
 768                 $select = <<"           SQL";
 769                         SELECT  m.metarecord $rank_calc, 0, CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
 770                         FROM    $search_table f,
 771                                 $metabib_metarecord_source_map_table m,
 772                                 $metabib_record_descriptor rd
 773                         WHERE   $fts_where
 774                                 AND m.source = f.source
 775                                 AND rd.record = m.source
 776                                 $t_filter
 777                                 $f_filter
 778                         GROUP BY 1, 4
 779                         ORDER BY 2 DESC,3
 780                         $limit_clause $offset_clause
 781                 SQL
 782         }
 783
 784         $log->debug("Field Search SQL :: [$select]",DEBUG);
 785
 786         my $SQLstring = join('%',$fts->words);
 787         my $REstring = join('\\s+',$fts->words);
 788         my $first_word = ($fts->words)[0].'%';
 789         my $recs = ($self->api_name =~ /unordered/o) ?
 790                         $class->db_Main->selectall_arrayref($select, {}, @types, @forms) :
 791                         $class->db_Main->selectall_arrayref($select, {},
 792                                 '%'.lc($SQLstring).'%',                 # phrase order match
 793                                 lc($first_word),                        # first word match
 794                                 '^\\s*'.lc($REstring).'\\s*/?\s*$',     # full exact match
 795                                 @types, @forms
 796                         );
 797
 798         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
 799
 800         $client->respond($_) for (map { [@$_[0,1,3,4]] } @$recs);
 801         return undef;
 802 }
 803
 804 for my $class ( qw/title author subject keyword series/ ) {
 805         __PACKAGE__->register_method(
 806                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord",
 807                 method          => 'search_class_fts',
 808                 api_level       => 1,
 809                 stream          => 1,
 810                 cdbi            => "metabib::${class}_field_entry",
 811                 cachable        => 1,
 812         );
 813         __PACKAGE__->register_method(
 814                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.unordered",
 815                 method          => 'search_class_fts',
 816                 api_level       => 1,
 817                 stream          => 1,
 818                 cdbi            => "metabib::${class}_field_entry",
 819                 cachable        => 1,
 820         );
 821         __PACKAGE__->register_method(
 822                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.staff",
 823                 method          => 'search_class_fts',
 824                 api_level       => 1,
 825                 stream          => 1,
 826                 cdbi            => "metabib::${class}_field_entry",
 827                 cachable        => 1,
 828         );
 829         __PACKAGE__->register_method(
 830                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.staff.unordered",
 831                 method          => 'search_class_fts',
 832                 api_level       => 1,
 833                 stream          => 1,
 834                 cdbi            => "metabib::${class}_field_entry",
 835                 cachable        => 1,
 836         );
 837 }
 838
 839 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
 840 sub search_class_fts_count {
 841         my $self = shift;
 842         my $client = shift;
 843         my %args = @_;
 844
 845         my $term = $args{term};
 846         my $ou = $args{org_unit};
 847         my $ou_type = $args{depth};
 848         my $limit = $args{limit} || 100;
 849         my $offset = $args{offset} || 0;
 850
 851         my $descendants = defined($ou_type) ?
 852                                 "actor.org_unit_descendants($ou, $ou_type)" :
 853                                 "actor.org_unit_descendants($ou)";
 854
 855         my (@types,@forms);
 856         my ($t_filter, $f_filter) = ('','');
 857
 858         if ($args{format}) {
 859                 my ($t, $f) = split '-', $args{format};
 860                 @types = split '', $t;
 861                 @forms = split '', $f;
 862                 if (@types) {
 863                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 864                 }
 865
 866                 if (@forms) {
 867                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 868                 }
 869         }
 870
 871
 872         (my $search_class = $self->api_name) =~ s/.*metabib.(\w+).search_fts.*/$1/o;
 873
 874         my $class = $self->{cdbi};
 875         my $search_table = $class->table;
 876
 877         my $metabib_record_descriptor = metabib::record_descriptor->table;
 878         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
 879         my $asset_call_number_table = asset::call_number->table;
 880         my $asset_copy_table = asset::copy->table;
 881         my $cs_table = config::copy_status->table;
 882         my $cl_table = asset::copy_location->table;
 883
 884         my ($index_col) = $class->columns('FTS');
 885         $index_col ||= 'value';
 886
 887         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
 888
 889         my $fts_where = $fts->sql_where_clause;
 890
 891         my $has_vols = 'AND cn.owning_lib = d.id';
 892         my $has_copies = 'AND cp.call_number = cn.id';
 893         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 894         if ($self->api_name =~ /staff/o) {
 895                 $copies_visible = '';
 896                 $has_vols = '' if ($ou_type == 0);
 897                 $has_copies = '' if ($ou_type == 0);
 898         }
 899
 900         # XXX test an "EXISTS version of descendant checking...
 901         my $select;
 902         if ($copies_visible) {
 903                 $select = <<"           SQL";
 904                 SELECT  count(distinct  m.metarecord)
 905                   FROM  $search_table f,
 906                         $metabib_metarecord_source_map_table m,
 907                         $metabib_metarecord_source_map_table mr,
 908                         $asset_call_number_table cn,
 909                         $asset_copy_table cp,
 910                         $cs_table cs,
 911                         $cl_table cl,
 912                         $metabib_record_descriptor rd,
 913                         $descendants d
 914                   WHERE $fts_where
 915                         AND mr.source = f.source
 916                         AND mr.metarecord = m.metarecord
 917                         AND cn.record = m.source
 918                         AND rd.record = m.source
 919                         AND cp.status = cs.id
 920                         AND cp.location = cl.id
 921                         $has_vols
 922                         $has_copies
 923                         $copies_visible
 924                         $t_filter
 925                         $f_filter
 926                 SQL
 927         } else {
 928                 $select = <<"           SQL";
 929                 SELECT  count(distinct  m.metarecord)
 930                   FROM  $search_table f,
 931                         $metabib_metarecord_source_map_table m,
 932                         $metabib_metarecord_source_map_table mr,
 933                         $metabib_record_descriptor rd
 934                   WHERE $fts_where
 935                         AND mr.source = f.source
 936                         AND mr.metarecord = m.metarecord
 937                         AND rd.record = m.source
 938                         $t_filter
 939                         $f_filter
 940                 SQL
 941         }
 942
 943         $log->debug("Field Search Count SQL :: [$select]",DEBUG);
 944
 945         my $recs = $class->db_Main->selectrow_arrayref($select, {}, @types, @forms)->[0];
 946
 947         $log->debug("Count Search yielded $recs results.",DEBUG);
 948
 949         return $recs;
 950
 951 }
 952 for my $class ( qw/title author subject keyword series/ ) {
 953         __PACKAGE__->register_method(
 954                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord_count",
 955                 method          => 'search_class_fts_count',
 956                 api_level       => 1,
 957                 stream          => 1,
 958                 cdbi            => "metabib::${class}_field_entry",
 959                 cachable        => 1,
 960         );
 961         __PACKAGE__->register_method(
 962                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord_count.staff",
 963                 method          => 'search_class_fts_count',
 964                 api_level       => 1,
 965                 stream          => 1,
 966                 cdbi            => "metabib::${class}_field_entry",
 967                 cachable        => 1,
 968         );
 969 }
 970
 971
 972 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
 973 sub postfilter_search_class_fts {
 974         my $self = shift;
 975         my $client = shift;
 976         my %args = @_;
 977
 978         my $term = $args{term};
 979         my $sort = $args{'sort'};
 980         my $sort_dir = $args{sort_dir} || 'DESC';
 981         my $ou = $args{org_unit};
 982         my $ou_type = $args{depth};
 983         my $limit = $args{limit} || 10;
 984         my $offset = $args{offset} || 0;
 985
 986         my $outer_limit = 1000;
 987
 988         my $limit_clause = '';
 989         my $offset_clause = '';
 990
 991         $limit_clause = "LIMIT $outer_limit";
 992         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
 993
 994         my (@types,@forms,@lang,@aud,@lit_form);
 995         my ($t_filter, $f_filter) = ('','');
 996         my ($a_filter, $l_filter, $lf_filter) = ('','','');
 997         my ($ot_filter, $of_filter) = ('','');
 998         my ($oa_filter, $ol_filter, $olf_filter) = ('','','');
 999
1000         if (my $a = $args{audience}) {
1001                 $a = [$a] if (!ref($a));
1002                 @aud = @$a;
1003
1004                 $a_filter = ' AND rd.audience IN ('.join(',',map{'?'}@aud).')';
1005                 $oa_filter = ' AND ord.audience IN ('.join(',',map{'?'}@aud).')';
1006         }
1007
1008         if (my $l = $args{language}) {
1009                 $l = [$l] if (!ref($l));
1010                 @lang = @$l;
1011
1012                 $l_filter = ' AND rd.item_lang IN ('.join(',',map{'?'}@lang).')';
1013                 $ol_filter = ' AND ord.item_lang IN ('.join(',',map{'?'}@lang).')';
1014         }
1015
1016         if (my $f = $args{lit_form}) {
1017                 $f = [$f] if (!ref($f));
1018                 @lit_form = @$f;
1019
1020                 $lf_filter = ' AND rd.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1021                 $olf_filter = ' AND ord.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1022         }
1023
1024         if ($args{format}) {
1025                 my ($t, $f) = split '-', $args{format};
1026                 @types = split '', $t;
1027                 @forms = split '', $f;
1028                 if (@types) {
1029                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1030                         $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1031                 }
1032
1033                 if (@forms) {
1034                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1035                         $of_filter .= ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1036                 }
1037         }
1038
1039
1040         my $descendants = defined($ou_type) ?
1041                                 "actor.org_unit_descendants($ou, $ou_type)" :
1042                                 "actor.org_unit_descendants($ou)";
1043
1044         my $class = $self->{cdbi};
1045         my $search_table = $class->table;
1046
1047         my $metabib_full_rec = metabib::full_rec->table;
1048         my $metabib_record_descriptor = metabib::record_descriptor->table;
1049         my $metabib_metarecord = metabib::metarecord->table;
1050         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
1051         my $asset_call_number_table = asset::call_number->table;
1052         my $asset_copy_table = asset::copy->table;
1053         my $cs_table = config::copy_status->table;
1054         my $cl_table = asset::copy_location->table;
1055         my $br_table = biblio::record_entry->table;
1056
1057         my ($index_col) = $class->columns('FTS');
1058         $index_col ||= 'value';
1059
1060         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'f.value', "f.$index_col");
1061
1062         my $SQLstring = join('%',map { lc($_) } $fts->words);
1063         my $REstring = '^' . join('\s+',map { lc($_) } $fts->words) . '\W*$';
1064         my $first_word = lc(($fts->words)[0]).'%';
1065
1066         my $fts_where = $fts->sql_where_clause;
1067         my @fts_ranks = $fts->fts_rank;
1068
1069         my %bonus = ();
1070         $bonus{'metabib::keyword_field_entry'} = [ { 'CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END' => $SQLstring } ];
1071         $bonus{'metabib::title_field_entry'} =
1072                 $bonus{'metabib::series_field_entry'} = [
1073                         { 'CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END' => $first_word },
1074                         { 'CASE WHEN f.value ~* ? THEN 2 ELSE 1 END' => $REstring },
1075                         @{ $bonus{'metabib::keyword_field_entry'} }
1076                 ];
1077
1078         my $bonus_list = join ' * ', map { keys %$_ } @{ $bonus{$class} };
1079         $bonus_list ||= '1';
1080
1081         my @bonus_values = map { values %$_ } @{ $bonus{$class} };
1082
1083         my $relevance = join(' + ', @fts_ranks);
1084         $relevance = <<"        RANK";
1085                         (SUM( ( $relevance )  * ( $bonus_list ) )/COUNT(m.source))
1086         RANK
1087
1088         my $rank = $relevance;
1089         if (lc($sort) eq 'pubdate') {
1090                 $rank = <<"             RANK";
1091                         ( FIRST ((
1092                                 SELECT  COALESCE(SUBSTRING(frp.value FROM '\\\\d+'),'9999')::INT
1093                                   FROM  $metabib_full_rec frp
1094                                   WHERE frp.record = mr.master_record
1095                                         AND frp.tag = '260'
1096                                         AND frp.subfield = 'c'
1097                                   LIMIT 1
1098                         )) )
1099                 RANK
1100         } elsif (lc($sort) eq 'create_date') {
1101                 $rank = <<"             RANK";
1102                         ( FIRST (( SELECT create_date FROM $br_table rbr WHERE rbr.id = mr.master_record)) )
1103                 RANK
1104         } elsif (lc($sort) eq 'edit_date') {
1105                 $rank = <<"             RANK";
1106                         ( FIRST (( SELECT edit_date FROM $br_table rbr WHERE rbr.id = mr.master_record)) )
1107                 RANK
1108         } elsif (lc($sort) eq 'title') {
1109                 $rank = <<"             RANK";
1110                         ( FIRST ((
1111                                 SELECT  COALESCE(LTRIM(SUBSTR( frt.value, COALESCE(SUBSTRING(frt.ind2 FROM '\\\\d+'),'0')::INT )),'zzzzzzzz')
1112                                   FROM  $metabib_full_rec frt
1113                                   WHERE frt.record = mr.master_record
1114                                         AND frt.tag = '245'
1115                                         AND frt.subfield = 'a'
1116                                   LIMIT 1
1117                         )) )
1118                 RANK
1119         } elsif (lc($sort) eq 'author') {
1120                 $rank = <<"             RANK";
1121                         ( FIRST((
1122                                 SELECT  COALESCE(LTRIM(fra.value),'zzzzzzzz')
1123                                   FROM  $metabib_full_rec fra
1124                                   WHERE fra.record = mr.master_record
1125                                         AND fra.tag LIKE '1%'
1126                                         AND fra.subfield = 'a'
1127                                   ORDER BY fra.tag::text::int
1128                                   LIMIT 1
1129                         )) )
1130                 RANK
1131         } else {
1132                 $sort = undef;
1133         }
1134
1135         my $select = <<"        SQL";
1136                 SELECT  m.metarecord,
1137                         $relevance,
1138                         CASE WHEN COUNT(DISTINCT smrs.source) = 1 THEN MIN(m.source) ELSE 0 END,
1139                         $rank
1140                 FROM    $search_table f,
1141                         $metabib_metarecord_source_map_table m,
1142                         $metabib_metarecord_source_map_table smrs,
1143                         $metabib_metarecord mr,
1144                         $metabib_record_descriptor rd
1145                 WHERE   $fts_where
1146                         AND smrs.metarecord = mr.id
1147                         AND m.source = f.source
1148                         AND m.metarecord = mr.id
1149                         AND rd.record = smrs.source
1150                         $t_filter
1151                         $f_filter
1152                         $a_filter
1153                         $l_filter
1154                         $lf_filter
1155                 GROUP BY m.metarecord
1156                 ORDER BY 4 $sort_dir, MIN(COALESCE(CHAR_LENGTH(f.value),1))
1157                 LIMIT 2000
1158         SQL
1159
1160         if (0) {
1161                 $select = <<"           SQL";
1162
1163                         SELECT  DISTINCT s.*
1164                           FROM  $asset_call_number_table cn,
1165                                 $metabib_metarecord_source_map_table mrs,
1166                                 $asset_copy_table cp,
1167                                 $cs_table cs,
1168                                 $cl_table cl,
1169                                 $br_table br,
1170                                 $descendants d,
1171                                 $metabib_record_descriptor ord,
1172                                 ($select) s
1173                           WHERE mrs.metarecord = s.metarecord
1174                                 AND br.id = mrs.source
1175                                 AND cn.record = mrs.source
1176                                 AND cp.status = cs.id
1177                                 AND cp.location = cl.id
1178                                 AND cn.owning_lib = d.id
1179                                 AND cp.call_number = cn.id
1180                                 AND cp.opac_visible IS TRUE
1181                                 AND cs.holdable IS TRUE
1182                                 AND cl.opac_visible IS TRUE
1183                                 AND br.active IS TRUE
1184                                 AND br.deleted IS FALSE
1185                                 AND ord.record = mrs.source
1186                                 $ot_filter
1187                                 $of_filter
1188                                 $oa_filter
1189                                 $ol_filter
1190                                 $olf_filter
1191                           ORDER BY 4 $sort_dir
1192                 SQL
1193         } elsif ($self->api_name !~ /staff/o) {
1194                 $select = <<"           SQL";
1195
1196                         SELECT  DISTINCT s.*
1197                           FROM  ($select) s
1198                           WHERE EXISTS (
1199                                 SELECT  1
1200                                   FROM  $asset_call_number_table cn,
1201                                         $metabib_metarecord_source_map_table mrs,
1202                                         $asset_copy_table cp,
1203                                         $cs_table cs,
1204                                         $cl_table cl,
1205                                         $br_table br,
1206                                         $descendants d,
1207                                         $metabib_record_descriptor ord
1208
1209                                   WHERE mrs.metarecord = s.metarecord
1210                                         AND br.id = mrs.source
1211                                         AND cn.record = mrs.source
1212                                         AND cp.status = cs.id
1213                                         AND cp.location = cl.id
1214                                         AND cn.owning_lib = d.id
1215                                         AND cp.call_number = cn.id
1216                                         AND cp.opac_visible IS TRUE
1217                                         AND cs.holdable IS TRUE
1218                                         AND cl.opac_visible IS TRUE
1219                                         AND br.active IS TRUE
1220                                         AND br.deleted IS FALSE
1221                                         AND ord.record = mrs.source
1222                                         $ot_filter
1223                                         $of_filter
1224                                         $oa_filter
1225                                         $ol_filter
1226                                         $olf_filter
1227                                   LIMIT 1
1228                                 )
1229                           ORDER BY 4 $sort_dir
1230                 SQL
1231         } else {
1232                 $select = <<"           SQL";
1233
1234                         SELECT  DISTINCT s.*
1235                           FROM  ($select) s
1236                           WHERE EXISTS (
1237                                 SELECT  1
1238                                   FROM  $asset_call_number_table cn,
1239                                         $metabib_metarecord_source_map_table mrs,
1240                                         $br_table br,
1241                                         $descendants d,
1242                                         $metabib_record_descriptor ord
1243
1244                                   WHERE mrs.metarecord = s.metarecord
1245                                         AND br.id = mrs.source
1246                                         AND cn.record = mrs.source
1247                                         AND cn.owning_lib = d.id
1248                                         AND br.deleted IS FALSE
1249                                         AND ord.record = mrs.source
1250                                         $ot_filter
1251                                         $of_filter
1252                                         $oa_filter
1253                                         $ol_filter
1254                                         $olf_filter
1255                                   LIMIT 1
1256                                 )
1257                                 OR NOT EXISTS (
1258                                 SELECT  1
1259                                   FROM  $asset_call_number_table cn,
1260                                         $metabib_metarecord_source_map_table mrs,
1261                                         $metabib_record_descriptor ord
1262                                   WHERE mrs.metarecord = s.metarecord
1263                                         AND cn.record = mrs.source
1264                                         AND ord.record = mrs.source
1265                                         $ot_filter
1266                                         $of_filter
1267                                         $oa_filter
1268                                         $ol_filter
1269                                         $olf_filter
1270                                   LIMIT 1
1271                                 )
1272                           ORDER BY 4 $sort_dir
1273                 SQL
1274         }
1275
1276
1277         $log->debug("Field Search SQL :: [$select]",DEBUG);
1278
1279         my $recs = $class->db_Main->selectall_arrayref(
1280                         $select, {},
1281                         (@bonus_values > 0 ? @bonus_values : () ),
1282                         ( (!$sort && @bonus_values > 0) ? @bonus_values : () ),
1283                         @types, @forms, @aud, @lang, @lit_form,
1284                         @types, @forms, @aud, @lang, @lit_form,
1285                         ($self->api_name =~ /staff/o ? (@types, @forms, @aud, @lang, @lit_form) : () ) );
1286
1287         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
1288
1289         my $max = 0;
1290         $max = 1 if (!@$recs);
1291         for (@$recs) {
1292                 $max = $$_[1] if ($$_[1] > $max);
1293         }
1294
1295         my $count = scalar(@$recs);
1296         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
1297                 my ($mrid,$rank,$skip) = @$rec;
1298                 $client->respond( [$mrid, sprintf('%0.3f',$rank/$max), $skip, $count] );
1299         }
1300         return undef;
1301 }
1302
1303 for my $class ( qw/title author subject keyword series/ ) {
1304         __PACKAGE__->register_method(
1305                 api_name        => "open-ils.storage.metabib.$class.post_filter.search_fts.metarecord",
1306                 method          => 'postfilter_search_class_fts',
1307                 api_level       => 1,
1308                 stream          => 1,
1309                 cdbi            => "metabib::${class}_field_entry",
1310                 cachable        => 1,
1311         );
1312         __PACKAGE__->register_method(
1313                 api_name        => "open-ils.storage.metabib.$class.post_filter.search_fts.metarecord.staff",
1314                 method          => 'postfilter_search_class_fts',
1315                 api_level       => 1,
1316                 stream          => 1,
1317                 cdbi            => "metabib::${class}_field_entry",
1318                 cachable        => 1,
1319         );
1320 }
1321
1322
1323
1324 my $_cdbi = {   title   => "metabib::title_field_entry",
1325                 author  => "metabib::author_field_entry",
1326                 subject => "metabib::subject_field_entry",
1327                 keyword => "metabib::keyword_field_entry",
1328                 series  => "metabib::series_field_entry",
1329 };
1330
1331 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
1332 sub postfilter_search_multi_class_fts {
1333         my $self = shift;
1334         my $client = shift;
1335         my %args = @_;
1336
1337         my $sort = $args{'sort'};
1338         my $sort_dir = $args{sort_dir} || 'DESC';
1339         my $ou = $args{org_unit};
1340         my $ou_type = $args{depth};
1341         my $limit = $args{limit} || 10;;
1342         my $offset = $args{offset} || 0;
1343
1344         if (!$ou) {
1345                 $ou = actor::org_unit->search( { parent_ou => undef } )->next->id;
1346         }
1347
1348         if (!defined($args{org_unit})) {
1349                 die "No target organizational unit passed to ".$self->api_name;
1350         }
1351
1352         if (! scalar( keys %{$args{searches}} )) {
1353                 die "No search arguments were passed to ".$self->api_name;
1354         }
1355
1356         my $outer_limit = 1000;
1357
1358         my $limit_clause = '';
1359         my $offset_clause = '';
1360
1361         $limit_clause = "LIMIT $outer_limit";
1362         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
1363
1364         my (@types,@forms,@lang,@aud,@lit_form);
1365         my ($t_filter, $f_filter) = ('','');
1366         my ($a_filter, $l_filter, $lf_filter) = ('','','');
1367         my ($ot_filter, $of_filter) = ('','');
1368         my ($oa_filter, $ol_filter, $olf_filter) = ('','','');
1369
1370         if (my $a = $args{audience}) {
1371                 $a = [$a] if (!ref($a));
1372                 @aud = @$a;
1373
1374                 $a_filter = ' AND rd.audience IN ('.join(',',map{'?'}@aud).')';
1375                 $oa_filter = ' AND ord.audience IN ('.join(',',map{'?'}@aud).')';
1376         }
1377
1378         if (my $l = $args{language}) {
1379                 $l = [$l] if (!ref($l));
1380                 @lang = @$l;
1381
1382                 $l_filter = ' AND rd.item_lang IN ('.join(',',map{'?'}@lang).')';
1383                 $ol_filter = ' AND ord.item_lang IN ('.join(',',map{'?'}@lang).')';
1384         }
1385
1386         if (my $f = $args{lit_form}) {
1387                 $f = [$f] if (!ref($f));
1388                 @lit_form = @$f;
1389
1390                 $lf_filter = ' AND rd.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1391                 $olf_filter = ' AND ord.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1392         }
1393
1394         if (my $f = $args{item_form}) {
1395                 $f = [$f] if (!ref($f));
1396                 @forms = @$f;
1397
1398                 $f_filter = ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1399                 $of_filter = ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1400         }
1401
1402         if (my $t = $args{item_type}) {
1403                 $t = [$t] if (!ref($t));
1404                 @types = @$t;
1405
1406                 $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1407                 $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1408         }
1409
1410
1411         # XXX legacy format and item type support
1412         if ($args{format}) {
1413                 my ($t, $f) = split '-', $args{format};
1414                 @types = split '', $t;
1415                 @forms = split '', $f;
1416                 if (@types) {
1417                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1418                         $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1419                 }
1420
1421                 if (@forms) {
1422                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1423                         $of_filter .= ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1424                 }
1425         }
1426
1427
1428
1429         my $descendants = defined($ou_type) ?
1430                                 "actor.org_unit_descendants($ou, $ou_type)" :
1431                                 "actor.org_unit_descendants($ou)";
1432
1433         my $search_table_list = '';
1434         my $fts_list = '';
1435         my $join_table_list = '';
1436         my @rank_list;
1437
1438         my @bonus_lists;
1439         my @bonus_values;
1440         my $prev_search_class;
1441         my $curr_search_class;
1442         for my $search_class (sort keys %{$args{searches}}) {
1443                 $prev_search_class = $curr_search_class if ($curr_search_class);
1444
1445                 $curr_search_class = $search_class;
1446
1447                 my $class = $_cdbi->{$search_class};
1448                 my $search_table = $class->table;
1449
1450                 my ($index_col) = $class->columns('FTS');
1451                 $index_col ||= 'value';
1452
1453
1454                 my $fts = OpenILS::Application::Storage::FTS->compile($args{searches}{$search_class}{term}, $search_class.'.value', "$search_class.$index_col");
1455
1456                 my $fts_where = $fts->sql_where_clause;
1457                 my @fts_ranks = $fts->fts_rank;
1458
1459                 my $SQLstring = join('%',map { lc($_) } $fts->words);
1460                 my $REstring = '^' . join('\s+',map { lc($_) } $fts->words) . '\W*$';
1461                 my $first_word = lc(($fts->words)[0]).'%';
1462
1463                 my $rank = join(' + ', @fts_ranks);
1464
1465                 my %bonus = ();
1466                 $bonus{'keyword'} = [ { "CASE WHEN $search_class.value LIKE ? THEN 1.2 ELSE 1 END" => $SQLstring } ];
1467
1468                 $bonus{'series'} = [
1469                         { "CASE WHEN $search_class.value LIKE ? THEN 1.5 ELSE 1 END" => $first_word },
1470                         { "CASE WHEN $search_class.value ~ ? THEN 20 ELSE 1 END" => $REstring },
1471                 ];
1472
1473                 $bonus{'title'} = [ @{ $bonus{'series'} }, @{ $bonus{'keyword'} } ];
1474
1475                 my $bonus_list = join ' * ', map { keys %$_ } @{ $bonus{$search_class} };
1476                 $bonus_list ||= '1';
1477
1478                 push @bonus_lists, $bonus_list;
1479                 push @bonus_values, map { values %$_ } @{ $bonus{$search_class} };
1480
1481
1482                 #---------------------
1483
1484                 $search_table_list .= "$search_table $search_class, ";
1485                 push @rank_list,$rank;
1486                 $fts_list .= " AND $fts_where AND m.source = $search_class.source";
1487
1488                 if ($prev_search_class) {
1489                         $join_table_list .= " AND $prev_search_class.source = $curr_search_class.source";
1490                 }
1491         }
1492
1493         my $metabib_record_descriptor = metabib::record_descriptor->table;
1494         my $metabib_full_rec = metabib::full_rec->table;
1495         my $metabib_metarecord = metabib::metarecord->table;
1496         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
1497         my $asset_call_number_table = asset::call_number->table;
1498         my $asset_copy_table = asset::copy->table;
1499         my $cs_table = config::copy_status->table;
1500         my $cl_table = asset::copy_location->table;
1501         my $br_table = biblio::record_entry->table;
1502
1503         my $bonuses = join (' * ', @bonus_lists);
1504         my $relevance = join (' + ', @rank_list);
1505         $relevance = "SUM( ($relevance) * ($bonuses) )/COUNT(DISTINCT smrs.source)";
1506
1507
1508         my $secondary_sort = <<"        SORT";
1509                 ( FIRST ((
1510                         SELECT  COALESCE(LTRIM(SUBSTR( sfrt.value, COALESCE(SUBSTRING(sfrt.ind2 FROM '\\\\d+'),'0')::INT )),'zzzzzzzz')
1511                           FROM  $metabib_full_rec sfrt,
1512                                 $metabib_metarecord mr
1513                           WHERE sfrt.record = mr.master_record
1514                                 AND sfrt.tag = '245'
1515                                 AND sfrt.subfield = 'a'
1516                           LIMIT 1
1517                 )) )
1518         SORT
1519
1520         my $rank = $relevance;
1521         if (lc($sort) eq 'pubdate') {
1522                 $rank = <<"             RANK";
1523                         ( FIRST ((
1524                                 SELECT  COALESCE(SUBSTRING(frp.value FROM '\\\\d+'),'9999')::INT
1525                                   FROM  $metabib_full_rec frp
1526                                   WHERE frp.record = mr.master_record
1527                                         AND frp.tag = '260'
1528                                         AND frp.subfield = 'c'
1529                                   LIMIT 1
1530                         )) )
1531                 RANK
1532         } elsif (lc($sort) eq 'create_date') {
1533                 $rank = <<"             RANK";
1534                         ( FIRST (( SELECT create_date FROM $br_table rbr WHERE rbr.id = mr.master_record)) )
1535                 RANK
1536         } elsif (lc($sort) eq 'edit_date') {
1537                 $rank = <<"             RANK";
1538                         ( FIRST (( SELECT edit_date FROM $br_table rbr WHERE rbr.id = mr.master_record)) )
1539                 RANK
1540         } elsif (lc($sort) eq 'title') {
1541                 $rank = <<"             RANK";
1542                         ( FIRST ((
1543                                 SELECT  COALESCE(LTRIM(SUBSTR( frt.value, COALESCE(SUBSTRING(frt.ind2 FROM '\\\\d+'),'0')::INT )),'zzzzzzzz')
1544                                   FROM  $metabib_full_rec frt
1545                                   WHERE frt.record = mr.master_record
1546                                         AND frt.tag = '245'
1547                                         AND frt.subfield = 'a'
1548                                   LIMIT 1
1549                         )) )
1550                 RANK
1551                 $secondary_sort = <<"           SORT";
1552                         ( FIRST ((
1553                                 SELECT  COALESCE(SUBSTRING(sfrp.value FROM '\\\\d+'),'9999')::INT
1554                                   FROM  $metabib_full_rec sfrp,
1555                                         $metabib_metarecord mr
1556                                   WHERE sfrp.record = mr.master_record
1557                                         AND sfrp.tag = '260'
1558                                         AND sfrp.subfield = 'c'
1559                                   LIMIT 1
1560                         )) )
1561                 SORT
1562         } elsif (lc($sort) eq 'author') {
1563                 $rank = <<"             RANK";
1564                         ( FIRST((
1565                                 SELECT  COALESCE(LTRIM(fra.value),'zzzzzzzz')
1566                                   FROM  $metabib_full_rec fra
1567                                   WHERE fra.record = mr.master_record
1568                                         AND fra.tag LIKE '1%'
1569                                         AND fra.subfield = 'a'
1570                                   ORDER BY fra.tag::text::int
1571                                   LIMIT 1
1572                         )) )
1573                 RANK
1574         } else {
1575                 push @bonus_values, @bonus_values;
1576                 $sort = undef;
1577         }
1578
1579
1580         my $select = <<"        SQL";
1581                 SELECT  m.metarecord,
1582                         $relevance,
1583                         CASE WHEN COUNT(DISTINCT smrs.source) = 1 THEN FIRST(m.source) ELSE 0 END,
1584                         $rank,
1585                         $secondary_sort
1586                 FROM    $search_table_list
1587                         $metabib_metarecord_source_map_table m,
1588                         $metabib_metarecord_source_map_table smrs
1589                 WHERE   m.metarecord = smrs.metarecord
1590                         $fts_list
1591                         $join_table_list
1592                 GROUP BY m.metarecord
1593                 -- ORDER BY 4 $sort_dir
1594                 LIMIT 2000
1595         SQL
1596
1597         if ($self->api_name !~ /staff/o) {
1598                 $select = <<"           SQL";
1599
1600                         SELECT  s.*
1601                           FROM  ($select) s
1602                           WHERE EXISTS (
1603                                 SELECT  1
1604                                   FROM  $asset_call_number_table cn,
1605                                         $metabib_metarecord_source_map_table mrs,
1606                                         $asset_copy_table cp,
1607                                         $cs_table cs,
1608                                         $cl_table cl,
1609                                         $br_table br,
1610                                         $descendants d,
1611                                         $metabib_record_descriptor ord
1612                                   WHERE mrs.metarecord = s.metarecord
1613                                         AND br.id = mrs.source
1614                                         AND cn.record = mrs.source
1615                                         AND cp.status = cs.id
1616                                         AND cp.location = cl.id
1617                                         AND cn.owning_lib = d.id
1618                                         AND cp.call_number = cn.id
1619                                         AND cp.opac_visible IS TRUE
1620                                         AND cs.holdable IS TRUE
1621                                         AND cl.opac_visible IS TRUE
1622                                         AND br.active IS TRUE
1623                                         AND br.deleted IS FALSE
1624                                         AND cp.deleted IS FALSE
1625                                         AND cn.deleted IS FALSE
1626                                         AND ord.record = mrs.source
1627                                         $ot_filter
1628                                         $of_filter
1629                                         $oa_filter
1630                                         $ol_filter
1631                                         $olf_filter
1632                                   LIMIT 1
1633                                 )
1634                           ORDER BY 4 $sort_dir, 5
1635                 SQL
1636         } else {
1637                 $select = <<"           SQL";
1638
1639                         SELECT  DISTINCT s.*
1640                           FROM  ($select) s,
1641                                 $metabib_metarecord_source_map_table omrs,
1642                                 $metabib_record_descriptor ord
1643                           WHERE omrs.metarecord = s.metarecord
1644                                 AND ord.record = omrs.source
1645                                 AND (   EXISTS (
1646                                                 SELECT  1
1647                                                   FROM  $asset_call_number_table cn,
1648                                                         $descendants d,
1649                                                         $br_table br
1650                                                   WHERE br.id = omrs.source
1651                                                         AND cn.record = omrs.source
1652                                                         AND cn.owning_lib = d.id
1653                                                         AND br.deleted IS FALSE
1654                                                         AND cn.deleted IS FALSE
1655                                                   LIMIT 1
1656                                         )
1657                                         OR NOT EXISTS (
1658                                                 SELECT  1
1659                                                   FROM  $asset_call_number_table cn
1660                                                   WHERE cn.record = omrs.source
1661                                                         AND cn.deleted IS FALSE
1662                                                   LIMIT 1
1663                                         )
1664                                 )
1665                                 $ot_filter
1666                                 $of_filter
1667                                 $oa_filter
1668                                 $ol_filter
1669                                 $olf_filter
1670
1671                           ORDER BY 4 $sort_dir, 5
1672                 SQL
1673         }
1674
1675
1676         $log->debug("Field Search SQL :: [$select]",DEBUG);
1677
1678         my $recs = $_cdbi->{title}->db_Main->selectall_arrayref(
1679                         $select, {},
1680                         @bonus_values,
1681                         @types, @forms, @aud, @lang, @lit_form,
1682                         # @types, @forms, @aud, @lang, @lit_form,
1683                         # ($self->api_name =~ /staff/o ? (@types, @forms, @aud, @lang, @lit_form) : () )
1684         );
1685
1686         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
1687
1688         my $max = 0;
1689         $max = 1 if (!@$recs);
1690         for (@$recs) {
1691                 $max = $$_[1] if ($$_[1] > $max);
1692         }
1693
1694         my $count = scalar(@$recs);
1695         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
1696                 next unless ($$rec[0]);
1697                 my ($mrid,$rank,$skip) = @$rec;
1698                 $client->respond( [$mrid, sprintf('%0.3f',$rank/$max), $skip, $count] );
1699         }
1700         return undef;
1701 }
1702
1703 __PACKAGE__->register_method(
1704         api_name        => "open-ils.storage.metabib.post_filter.multiclass.search_fts.metarecord",
1705         method          => 'postfilter_search_multi_class_fts',
1706         api_level       => 1,
1707         stream          => 1,
1708         cachable        => 1,
1709 );
1710 __PACKAGE__->register_method(
1711         api_name        => "open-ils.storage.metabib.post_filter.multiclass.search_fts.metarecord.staff",
1712         method          => 'postfilter_search_multi_class_fts',
1713         api_level       => 1,
1714         stream          => 1,
1715         cachable        => 1,
1716 );
1717
1718 __PACKAGE__->register_method(
1719         api_name        => "open-ils.storage.metabib.multiclass.search_fts",
1720         method          => 'postfilter_search_multi_class_fts',
1721         api_level       => 1,
1722         stream          => 1,
1723         cachable        => 1,
1724 );
1725 __PACKAGE__->register_method(
1726         api_name        => "open-ils.storage.metabib.multiclass.search_fts.staff",
1727         method          => 'postfilter_search_multi_class_fts',
1728         api_level       => 1,
1729         stream          => 1,
1730         cachable        => 1,
1731 );
1732
1733 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
1734 sub biblio_search_multi_class_fts {
1735         my $self = shift;
1736         my $client = shift;
1737         my %args = @_;
1738
1739         my $sort = $args{'sort'};
1740         my $sort_dir = $args{sort_dir} || 'DESC';
1741         my $ou = $args{org_unit};
1742         my $ou_type = $args{depth};
1743         my $limit = $args{limit} || 10;
1744         my $offset = $args{offset} || 0;
1745
1746         if (!$ou) {
1747                 $ou = actor::org_unit->search( { parent_ou => undef } )->next->id;
1748         }
1749
1750         if (!defined($args{org_unit})) {
1751                 die "No target organizational unit passed to ".$self->api_name;
1752         }
1753
1754         if (! scalar( keys %{$args{searches}} )) {
1755                 die "No search arguments were passed to ".$self->api_name;
1756         }
1757
1758         my $outer_limit = 1000;
1759
1760         my $limit_clause = '';
1761         my $offset_clause = '';
1762
1763         $limit_clause = "LIMIT $outer_limit";
1764         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
1765
1766         my (@types,@forms,@lang,@aud,@lit_form);
1767         my ($t_filter, $f_filter) = ('','');
1768         my ($a_filter, $l_filter, $lf_filter) = ('','','');
1769         my ($ot_filter, $of_filter) = ('','');
1770         my ($oa_filter, $ol_filter, $olf_filter) = ('','','');
1771
1772         if (my $a = $args{audience}) {
1773                 $a = [$a] if (!ref($a));
1774                 @aud = @$a;
1775
1776                 $a_filter = ' AND rd.audience IN ('.join(',',map{'?'}@aud).')';
1777                 $oa_filter = ' AND ord.audience IN ('.join(',',map{'?'}@aud).')';
1778         }
1779
1780         if (my $l = $args{language}) {
1781                 $l = [$l] if (!ref($l));
1782                 @lang = @$l;
1783
1784                 $l_filter = ' AND rd.item_lang IN ('.join(',',map{'?'}@lang).')';
1785                 $ol_filter = ' AND ord.item_lang IN ('.join(',',map{'?'}@lang).')';
1786         }
1787
1788         if (my $f = $args{lit_form}) {
1789                 $f = [$f] if (!ref($f));
1790                 @lit_form = @$f;
1791
1792                 $lf_filter = ' AND rd.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1793                 $olf_filter = ' AND ord.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1794         }
1795
1796         if (my $f = $args{item_form}) {
1797                 $f = [$f] if (!ref($f));
1798                 @forms = @$f;
1799
1800                 $f_filter = ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1801                 $of_filter = ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1802         }
1803
1804         if (my $t = $args{item_type}) {
1805                 $t = [$t] if (!ref($t));
1806                 @types = @$t;
1807
1808                 $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1809                 $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1810         }
1811
1812
1813         # XXX legacy format and item type support
1814         if ($args{format}) {
1815                 my ($t, $f) = split '-', $args{format};
1816                 @types = split '', $t;
1817                 @forms = split '', $f;
1818                 if (@types) {
1819                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1820                         $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1821                 }
1822
1823                 if (@forms) {
1824                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1825                         $of_filter .= ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1826                 }
1827         }
1828
1829
1830         my $descendants = defined($ou_type) ?
1831                                 "actor.org_unit_descendants($ou, $ou_type)" :
1832                                 "actor.org_unit_descendants($ou)";
1833
1834         my $search_table_list = '';
1835         my $fts_list = '';
1836         my $join_table_list = '';
1837         my @rank_list;
1838
1839
1840         my @bonus_lists;
1841         my @bonus_values;
1842         my $prev_search_class;
1843         my $curr_search_class;
1844         for my $search_class (sort keys %{$args{searches}}) {
1845                 $prev_search_class = $curr_search_class if ($curr_search_class);
1846
1847                 $curr_search_class = $search_class;
1848
1849                 my $class = $_cdbi->{$search_class};
1850                 my $search_table = $class->table;
1851
1852                 my ($index_col) = $class->columns('FTS');
1853                 $index_col ||= 'value';
1854
1855
1856                 my $fts = OpenILS::Application::Storage::FTS->compile($args{searches}{$search_class}{term}, $search_class.'.value', "$search_class.$index_col");
1857
1858                 my $fts_where = $fts->sql_where_clause;
1859                 my @fts_ranks = $fts->fts_rank;
1860
1861                 my $SQLstring = join('%',map { lc($_) } $fts->words);
1862                 my $REstring = '^' . join('\s+',map { lc($_) } $fts->words) . '\W*$';
1863                 my $first_word = lc(($fts->words)[0]).'%';
1864
1865                 my $rank = join(' + ', @fts_ranks);
1866
1867                 my %bonus = ();
1868                 $bonus{'keyword'} = [ { "CASE WHEN $search_class.value ILIKE ? THEN 1.2 ELSE 1 END" => $SQLstring } ];
1869
1870                 $bonus{'series'} = [
1871                         { "CASE WHEN $search_class.value ILIKE ? THEN 1.5 ELSE 1 END" => $first_word },
1872                         { "CASE WHEN $search_class.value ~ ? THEN 200 ELSE 1 END" => $REstring },
1873                 ];
1874
1875                 $bonus{'title'} = [ @{ $bonus{'series'} }, @{ $bonus{'keyword'} } ];
1876
1877                 my $bonus_list = join ' * ', map { keys %$_ } @{ $bonus{$search_class} };
1878                 $bonus_list ||= '1';
1879
1880                 push @bonus_lists, $bonus_list;
1881                 push @bonus_values, map { values %$_ } @{ $bonus{$search_class} };
1882
1883                 #---------------------
1884
1885                 $search_table_list .= "$search_table $search_class, ";
1886                 push @rank_list,$rank;
1887                 $fts_list .= " AND $fts_where AND b.id = $search_class.source";
1888
1889                 if ($prev_search_class) {
1890                         $join_table_list .= " AND $prev_search_class.source = $curr_search_class.source";
1891                 }
1892         }
1893
1894         my $metabib_record_descriptor = metabib::record_descriptor->table;
1895         my $metabib_full_rec = metabib::full_rec->table;
1896         my $metabib_metarecord = metabib::metarecord->table;
1897         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
1898         my $asset_call_number_table = asset::call_number->table;
1899         my $asset_copy_table = asset::copy->table;
1900         my $cs_table = config::copy_status->table;
1901         my $cl_table = asset::copy_location->table;
1902         my $br_table = biblio::record_entry->table;
1903
1904
1905         my $bonuses = join (' * ', @bonus_lists);
1906         my $relevance = join (' + ', @rank_list);
1907         $relevance = "AVG( ($relevance) * ($bonuses) )";
1908
1909
1910         my $rank = $relevance;
1911         if (lc($sort) eq 'pubdate') {
1912                 $rank = <<"             RANK";
1913                         ( FIRST ((
1914                                 SELECT  COALESCE(SUBSTRING(frp.value FROM '\\\\d{4}'),'9999')::INT
1915                                   FROM  $metabib_full_rec frp
1916                                   WHERE frp.record = b.id
1917                                         AND frp.tag = '260'
1918                                         AND frp.subfield = 'c'
1919                                   LIMIT 1
1920                         )) )
1921                 RANK
1922         } elsif (lc($sort) eq 'create_date') {
1923                 $rank = <<"             RANK";
1924                         ( FIRST (( SELECT create_date FROM $br_table rbr WHERE rbr.id = b.id)) )
1925                 RANK
1926         } elsif (lc($sort) eq 'edit_date') {
1927                 $rank = <<"             RANK";
1928                         ( FIRST (( SELECT edit_date FROM $br_table rbr WHERE rbr.id = b.id)) )
1929                 RANK
1930         } elsif (lc($sort) eq 'title') {
1931                 $rank = <<"             RANK";
1932                         ( FIRST ((
1933                                 SELECT  COALESCE(LTRIM(SUBSTR( frt.value, COALESCE(SUBSTRING(frt.ind2 FROM '\\\\d+'),'0')::INT )),'zzzzzzzz')
1934                                   FROM  $metabib_full_rec frt
1935                                   WHERE frt.record = b.id
1936                                         AND frt.tag = '245'
1937                                         AND frt.subfield = 'a'
1938                                   LIMIT 1
1939                         )) )
1940                 RANK
1941         } elsif (lc($sort) eq 'author') {
1942                 $rank = <<"             RANK";
1943                         ( FIRST((
1944                                 SELECT  COALESCE(LTRIM(fra.value),'zzzzzzzz')
1945                                   FROM  $metabib_full_rec fra
1946                                   WHERE fra.record = b.id
1947                                         AND fra.tag LIKE '1%'
1948                                         AND fra.subfield = 'a'
1949                                   ORDER BY fra.tag::text::int
1950                                   LIMIT 1
1951                         )) )
1952                 RANK
1953         } else {
1954                 push @bonus_values, @bonus_values;
1955                 $sort = undef;
1956         }
1957
1958
1959         my $select = <<"        SQL";
1960                 SELECT  b.id,
1961                         $relevance AS rel,
1962                         $rank AS rank
1963                 FROM    $search_table_list
1964                         $metabib_record_descriptor rd,
1965                         $br_table b
1966                 WHERE   rd.record = b.id
1967                         AND b.active IS TRUE
1968                         AND b.deleted IS FALSE
1969                         $fts_list
1970                         $join_table_list
1971                         $t_filter
1972                         $f_filter
1973                         $a_filter
1974                         $l_filter
1975                         $lf_filter
1976                 GROUP BY b.id
1977                 ORDER BY 3 $sort_dir
1978                 LIMIT 2000
1979         SQL
1980
1981         if ($self->api_name !~ /staff/o) {
1982                 $select = <<"           SQL";
1983
1984                         SELECT  s.*
1985                           FROM  ($select) s
1986                           WHERE EXISTS (
1987                                 SELECT  1
1988                                   FROM  $asset_call_number_table cn,
1989                                         $asset_copy_table cp,
1990                                         $cs_table cs,
1991                                         $cl_table cl,
1992                                         $descendants d
1993                                   WHERE cn.record = s.id
1994                                         AND cp.status = cs.id
1995                                         AND cp.location = cl.id
1996                                         AND cn.owning_lib = d.id
1997                                         AND cp.call_number = cn.id
1998                                         AND cp.opac_visible IS TRUE
1999                                         AND cs.holdable IS TRUE
2000                                         AND cl.opac_visible IS TRUE
2001                                         AND cp.deleted IS FALSE
2002                                         AND cn.deleted IS FALSE
2003                                   LIMIT 1
2004                                 )
2005                           ORDER BY 3 $sort_dir
2006                 SQL
2007         } else {
2008                 $select = <<"           SQL";
2009
2010                         SELECT  s.*
2011                           FROM  ($select) s
2012                           WHERE EXISTS (
2013                                 SELECT  1
2014                                   FROM  $asset_call_number_table cn,
2015                                         $descendants d
2016                                   WHERE cn.record = s.id
2017                                         AND cn.owning_lib = d.id
2018                                         AND cn.deleted IS FALSE
2019                                   LIMIT 1
2020                                 )
2021                                 OR NOT EXISTS (
2022                                 SELECT  1
2023                                   FROM  $asset_call_number_table cn
2024                                   WHERE cn.record = s.id
2025                                   LIMIT 1
2026                                 )
2027                           ORDER BY 3 $sort_dir
2028                 SQL
2029         }
2030
2031
2032         $log->debug("Field Search SQL :: [$select]",DEBUG);
2033
2034         my $recs = $_cdbi->{title}->db_Main->selectall_arrayref(
2035                         $select, {},
2036                         @bonus_values, @types, @forms, @aud, @lang, @lit_form
2037         );
2038
2039         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
2040
2041         my $max = 0;
2042         $max = 1 if (!@$recs);
2043         for (@$recs) {
2044                 $max = $$_[1] if ($$_[1] > $max);
2045         }
2046
2047         my $count = scalar(@$recs);
2048         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
2049                 next unless ($$rec[0]);
2050                 my ($mrid,$rank) = @$rec;
2051                 $client->respond( [$mrid, sprintf('%0.3f',$rank/$max), $count] );
2052         }
2053         return undef;
2054 }
2055
2056 __PACKAGE__->register_method(
2057         api_name        => "open-ils.storage.biblio.multiclass.search_fts.record",
2058         method          => 'biblio_search_multi_class_fts',
2059         api_level       => 1,
2060         stream          => 1,
2061         cachable        => 1,
2062 );
2063 __PACKAGE__->register_method(
2064         api_name        => "open-ils.storage.biblio.multiclass.search_fts.record.staff",
2065         method          => 'biblio_search_multi_class_fts',
2066         api_level       => 1,
2067         stream          => 1,
2068         cachable        => 1,
2069 );
2070
2071
2072
2073 __PACKAGE__->register_method(
2074         api_name        => "open-ils.storage.biblio.multiclass.search_fts",
2075         method          => 'biblio_search_multi_class_fts',
2076         api_level       => 1,
2077         stream          => 1,
2078         cachable        => 1,
2079 );
2080 __PACKAGE__->register_method(
2081         api_name        => "open-ils.storage.biblio.multiclass.search_fts.staff",
2082         method          => 'biblio_search_multi_class_fts',
2083         api_level       => 1,
2084         stream          => 1,
2085         cachable        => 1,
2086 );
2087
2088
2089 1;
2090