Open-ILS/src/perlmods/OpenILS/Application/Storage/Publisher/metabib.pm

   1 package OpenILS::Application::Storage::Publisher::metabib;
   2 use base qw/OpenILS::Application::Storage::Publisher/;
   3 use vars qw/$VERSION/;
   4 use OpenSRF::EX qw/:try/;
   5 use OpenILS::Application::Storage::FTS;
   6 use OpenILS::Utils::Fieldmapper;
   7 use OpenSRF::Utils::Logger qw/:level/;
   8 use OpenSRF::Utils::Cache;
   9 use Data::Dumper;
  10 use Digest::MD5 qw/md5_hex/;
  11
  12
  13 my $log = 'OpenSRF::Utils::Logger';
  14
  15 $VERSION = 1;
  16
  17 sub ordered_records_from_metarecord {
  18         my $self = shift;
  19         my $client = shift;
  20         my $mr = shift;
  21         my $formats = shift;
  22         my $org = shift || 1;
  23         my $depth = shift;
  24
  25         my (@types,@forms);
  26
  27         if ($formats) {
  28                 my ($t, $f) = split '-', $formats;
  29                 @types = split '', $t;
  30                 @forms = split '', $f;
  31         }
  32
  33         my $descendants =
  34                 defined($depth) ?
  35                         "actor.org_unit_descendants($org, $depth)" :
  36                         "actor.org_unit_descendants($org)" ;
  37
  38
  39         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
  40         $copies_visible = '' if ($self->api_name =~ /staff/o);
  41
  42         my $sm_table = metabib::metarecord_source_map->table;
  43         my $rd_table = metabib::record_descriptor->table;
  44         my $fr_table = metabib::full_rec->table;
  45         my $cn_table = asset::call_number->table;
  46         my $cl_table = asset::copy_location->table;
  47         my $cp_table = asset::copy->table;
  48         my $cs_table = config::copy_status->table;
  49         my $src_table = config::bib_source->table;
  50         my $out_table = actor::org_unit_type->table;
  51         my $br_table = biblio::record_entry->table;
  52
  53         my $sql = <<"   SQL";
  54                 SELECT  record,
  55                         item_type,
  56                         item_form,
  57                         quality,
  58                         FIRST(COALESCE(LTRIM(SUBSTR( value, COALESCE(SUBSTRING(ind2 FROM '\\\\d+'),'0')::INT )),'zzzzzzzz')) AS title
  59                 FROM    (
  60                         SELECT  rd.record,
  61                                 rd.item_type,
  62                                 rd.item_form,
  63                                 br.quality,
  64                                 fr.tag,
  65                                 fr.subfield,
  66                                 fr.value,
  67                                 fr.ind2
  68         SQL
  69
  70         if ($copies_visible) {
  71                 $sql .= <<"             SQL";
  72                           FROM  $sm_table sm,
  73                                 $br_table br,
  74                                 $fr_table fr,
  75                                 $rd_table rd
  76                           WHERE rd.record = sm.source
  77                                 AND fr.record = sm.source
  78                                 AND br.id = sm.source
  79                                 AND sm.metarecord = ?
  80                                 AND (EXISTS ((SELECT    1
  81                                                 FROM    $cp_table cp
  82                                                         JOIN $cn_table cn ON (cp.call_number = cn.id)
  83                                                         JOIN $cs_table cs ON (cp.status = cs.id)
  84                                                         JOIN $cl_table cl ON (cp.location = cl.id)
  85                                                         JOIN $descendants d ON (cp.circ_lib = d.id)
  86                                                 WHERE   cn.record = sm.source
  87                                                         $copies_visible
  88                                                 LIMIT 1))
  89                                         OR EXISTS ((
  90                                             SELECT      1
  91                                               FROM      $src_table src
  92                                               WHERE     src.id = br.source
  93                                                         AND src.transcendant IS TRUE))
  94                                 )
  95
  96                 SQL
  97         } else {
  98                 $sql .= <<"             SQL";
  99                           FROM  $sm_table sm
 100                                 JOIN $br_table br ON (sm.source = br.id)
 101                                 JOIN $fr_table fr ON (fr.record = br.id)
 102                                 JOIN $rd_table rd ON (rd.record = br.id)
 103                           WHERE sm.metarecord = ?
 104                                 AND ((  EXISTS (
 105                                                 SELECT  1
 106                                                   FROM  $cp_table cp,
 107                                                         $cn_table cn,
 108                                                         $descendants d
 109                                                   WHERE cn.record = br.id
 110                                                         AND cn.deleted = FALSE
 111                                                         AND cp.deleted = FALSE
 112                                                         AND cp.circ_lib = d.id
 113                                                         AND cn.id = cp.call_number
 114                                                   LIMIT 1
 115                                         ) OR NOT EXISTS (
 116                                                 SELECT  1
 117                                                   FROM  $cp_table cp,
 118                                                         $cn_table cn
 119                                                   WHERE cn.record = br.id
 120                                                         AND cn.deleted = FALSE
 121                                                         AND cp.deleted = FALSE
 122                                                         AND cn.id = cp.call_number
 123                                                   LIMIT 1
 124                                         ))
 125                                         OR EXISTS ((
 126                                             SELECT      1
 127                                               FROM      $src_table src
 128                                               WHERE     src.id = br.source
 129                                                         AND src.transcendant IS TRUE))
 130                                 )
 131                 SQL
 132         }
 133
 134         if (@types) {
 135                 $sql .= '                               AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 136         }
 137
 138         if (@forms) {
 139                 $sql .= '                               AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 140         }
 141
 142
 143
 144         $sql .= <<"     SQL";
 145                           OFFSET 0
 146                         ) AS x
 147           WHERE tag = '245'
 148                 AND subfield = 'a'
 149           GROUP BY record, item_type, item_form, quality
 150           ORDER BY
 151                 CASE
 152                         WHEN item_type IS NULL -- default
 153                                 THEN 0
 154                         WHEN item_type = '' -- default
 155                                 THEN 0
 156                         WHEN item_type IN ('a','t') -- books
 157                                 THEN 1
 158                         WHEN item_type = 'g' -- movies
 159                                 THEN 2
 160                         WHEN item_type IN ('i','j') -- sound recordings
 161                                 THEN 3
 162                         WHEN item_type = 'm' -- software
 163                                 THEN 4
 164                         WHEN item_type = 'k' -- images
 165                                 THEN 5
 166                         WHEN item_type IN ('e','f') -- maps
 167                                 THEN 6
 168                         WHEN item_type IN ('o','p') -- mixed
 169                                 THEN 7
 170                         WHEN item_type IN ('c','d') -- music
 171                                 THEN 8
 172                         WHEN item_type = 'r' -- 3d
 173                                 THEN 9
 174                 END,
 175                 title ASC,
 176                 quality DESC
 177         SQL
 178
 179         my $ids = metabib::metarecord_source_map->db_Main->selectcol_arrayref($sql, {}, "$mr", @types, @forms);
 180         return $ids if ($self->api_name =~ /atomic$/o);
 181
 182         $client->respond( $_ ) for ( @$ids );
 183         return undef;
 184
 185 }
 186 __PACKAGE__->register_method(
 187         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records',
 188         method          => 'ordered_records_from_metarecord',
 189         api_level       => 1,
 190         cachable        => 1,
 191 );
 192 __PACKAGE__->register_method(
 193         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records.staff',
 194         method          => 'ordered_records_from_metarecord',
 195         api_level       => 1,
 196         cachable        => 1,
 197 );
 198
 199 __PACKAGE__->register_method(
 200         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records.atomic',
 201         method          => 'ordered_records_from_metarecord',
 202         api_level       => 1,
 203         cachable        => 1,
 204 );
 205 __PACKAGE__->register_method(
 206         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records.staff.atomic',
 207         method          => 'ordered_records_from_metarecord',
 208         api_level       => 1,
 209         cachable        => 1,
 210 );
 211
 212 sub isxn_search {
 213         my $self = shift;
 214         my $client = shift;
 215         my $isxn = shift;
 216
 217         my $tag = ($self->api_name =~ /isbn/o) ? '020' : '022';
 218
 219         my $fr_table = metabib::full_rec->table;
 220
 221         my $sql = <<"   SQL";
 222                 SELECT  record
 223                   FROM  $fr_table
 224                   WHERE tag = ?
 225                         AND value LIKE ?
 226         SQL
 227
 228         my $list = metabib::metarecord_source_map->db_Main->selectcol_arrayref($sql, {}, $tag, "$isxn%");
 229         $client->respond($_) for (@$list);
 230         return undef;
 231 }
 232 __PACKAGE__->register_method(
 233         api_name        => 'open-ils.storage.id_list.biblio.record_entry.search.isbn',
 234         method          => 'isxn_search',
 235         api_level       => 1,
 236         stream          => 1,
 237 );
 238 __PACKAGE__->register_method(
 239         api_name        => 'open-ils.storage.id_list.biblio.record_entry.search.issn',
 240         method          => 'isxn_search',
 241         api_level       => 1,
 242         stream          => 1,
 243 );
 244
 245 sub metarecord_copy_count {
 246         my $self = shift;
 247         my $client = shift;
 248
 249         my %args = @_;
 250
 251         my $sm_table = metabib::metarecord_source_map->table;
 252         my $rd_table = metabib::record_descriptor->table;
 253         my $cn_table = asset::call_number->table;
 254         my $cp_table = asset::copy->table;
 255         my $br_table = biblio::record_entry->table;
 256         my $src_table = config::bib_source->table;
 257         my $cl_table = asset::copy_location->table;
 258         my $cs_table = config::copy_status->table;
 259         my $out_table = actor::org_unit_type->table;
 260         my $descendants = "actor.org_unit_descendants(u.id)";
 261         my $ancestors = "actor.org_unit_ancestors(?)";
 262
 263         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 264         $copies_visible = '' if ($self->api_name =~ /staff/o);
 265
 266         my (@types,@forms);
 267         my ($t_filter, $f_filter) = ('','');
 268
 269         if ($args{format}) {
 270                 my ($t, $f) = split '-', $args{format};
 271                 @types = split '', $t;
 272                 @forms = split '', $f;
 273                 if (@types) {
 274                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 275                 }
 276
 277                 if (@forms) {
 278                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 279                 }
 280         }
 281
 282         my $sql = <<"   SQL";
 283                 SELECT  t.depth,
 284                         u.id AS org_unit,
 285                         sum(
 286                                 (SELECT count(cp.id)
 287                                   FROM  $sm_table r
 288                                         JOIN $cn_table cn ON (cn.record = r.source)
 289                                         JOIN $rd_table rd ON (cn.record = rd.record)
 290                                         JOIN $cp_table cp ON (cn.id = cp.call_number)
 291                                         JOIN $cs_table cs ON (cp.status = cs.id)
 292                                         JOIN $cl_table cl ON (cp.location = cl.id)
 293                                         JOIN $descendants a ON (cp.circ_lib = a.id)
 294                                   WHERE r.metarecord = ?
 295                                         AND cn.deleted IS FALSE
 296                                         AND cp.deleted IS FALSE
 297                                         $copies_visible
 298                                         $t_filter
 299                                         $f_filter
 300                                 )
 301                         ) AS count,
 302                         sum(
 303                                 (SELECT count(cp.id)
 304                                   FROM  $sm_table r
 305                                         JOIN $cn_table cn ON (cn.record = r.source)
 306                                         JOIN $rd_table rd ON (cn.record = rd.record)
 307                                         JOIN $cp_table cp ON (cn.id = cp.call_number)
 308                                         JOIN $cs_table cs ON (cp.status = cs.id)
 309                                         JOIN $cl_table cl ON (cp.location = cl.id)
 310                                         JOIN $descendants a ON (cp.circ_lib = a.id)
 311                                   WHERE r.metarecord = ?
 312                                         AND cp.status = 0
 313                                         AND cn.deleted IS FALSE
 314                                         AND cp.deleted IS FALSE
 315                                         $copies_visible
 316                                         $t_filter
 317                                         $f_filter
 318                                 )
 319                         ) AS available,
 320                         sum(
 321                                 (SELECT count(cp.id) + sum(CASE WHEN src.transcendant IS TRUE THEN 1 ELSE 0 END)
 322                                   FROM  $sm_table r
 323                                         JOIN $cn_table cn ON (cn.record = r.source)
 324                                         JOIN $rd_table rd ON (cn.record = rd.record)
 325                                         JOIN $cp_table cp ON (cn.id = cp.call_number)
 326                                         JOIN $cs_table cs ON (cp.status = cs.id)
 327                                         JOIN $cl_table cl ON (cp.location = cl.id)
 328                                         JOIN $br_table br ON (br.id = r.source)
 329                                         LEFT JOIN $src_table src ON (src.id = br.source)
 330                                   WHERE r.metarecord = ?
 331                                         AND cn.deleted IS FALSE
 332                                         AND cp.deleted IS FALSE
 333                                         AND cp.opac_visible IS TRUE
 334                                         AND cs.holdable IS TRUE
 335                                         AND cl.opac_visible IS TRUE
 336                                         $t_filter
 337                                         $f_filter
 338                                 )
 339                         ) AS unshadow
 340
 341                   FROM  $ancestors u
 342                         JOIN $out_table t ON (u.ou_type = t.id)
 343                   GROUP BY 1,2
 344         SQL
 345
 346         my $sth = metabib::metarecord_source_map->db_Main->prepare_cached($sql);
 347         $sth->execute(  ''.$args{metarecord},
 348                         @types,
 349                         @forms,
 350                         ''.$args{metarecord},
 351                         @types,
 352                         @forms,
 353                         ''.$args{metarecord},
 354                         @types,
 355                         @forms,
 356                         ''.$args{org_unit},
 357         );
 358
 359         while ( my $row = $sth->fetchrow_hashref ) {
 360                 $client->respond( $row );
 361         }
 362         return undef;
 363 }
 364 __PACKAGE__->register_method(
 365         api_name        => 'open-ils.storage.metabib.metarecord.copy_count',
 366         method          => 'metarecord_copy_count',
 367         api_level       => 1,
 368         stream          => 1,
 369         cachable        => 1,
 370 );
 371 __PACKAGE__->register_method(
 372         api_name        => 'open-ils.storage.metabib.metarecord.copy_count.staff',
 373         method          => 'metarecord_copy_count',
 374         api_level       => 1,
 375         stream          => 1,
 376         cachable        => 1,
 377 );
 378
 379 sub biblio_multi_search_full_rec {
 380         my $self = shift;
 381         my $client = shift;
 382
 383         my %args = @_;
 384         my $class_join = $args{class_join} || 'AND';
 385         my $limit = $args{limit} || 100;
 386         my $offset = $args{offset} || 0;
 387         my $sort = $args{'sort'};
 388         my $sort_dir = $args{sort_dir} || 'DESC';
 389
 390         my @binds;
 391         my @selects;
 392
 393         for my $arg (@{ $args{searches} }) {
 394                 my $term = $$arg{term};
 395                 my $limiters = $$arg{restrict};
 396
 397                 my ($index_col) = metabib::full_rec->columns('FTS');
 398                 $index_col ||= 'value';
 399                 my $search_table = metabib::full_rec->table;
 400
 401                 my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
 402
 403                 my $fts_where = $fts->sql_where_clause();
 404                 my @fts_ranks = $fts->fts_rank;
 405
 406                 my $rank = join(' + ', @fts_ranks);
 407
 408                 my @wheres;
 409                 for my $limit (@$limiters) {
 410                         push @wheres, "( tag = ? AND subfield LIKE ? AND $fts_where )";
 411                         push @binds, $$limit{tag}, $$limit{subfield};
 412                         $log->debug("Limiting query using { tag => $$limit{tag}, subfield => $$limit{subfield} }", DEBUG);
 413                 }
 414                 my $where = join(' OR ', @wheres);
 415
 416                 push @selects, "SELECT id, record, $rank as sum FROM $search_table WHERE $where";
 417
 418         }
 419
 420         my $descendants = defined($args{depth}) ?
 421                                 "actor.org_unit_descendants($args{org_unit}, $args{depth})" :
 422                                 "actor.org_unit_descendants($args{org_unit})" ;
 423
 424
 425         my $metabib_record_descriptor = metabib::record_descriptor->table;
 426         my $metabib_full_rec = metabib::full_rec->table;
 427         my $asset_call_number_table = asset::call_number->table;
 428         my $asset_copy_table = asset::copy->table;
 429         my $cs_table = config::copy_status->table;
 430         my $cl_table = asset::copy_location->table;
 431         my $br_table = biblio::record_entry->table;
 432
 433         my $cj = 'HAVING COUNT(x.id) = ' . scalar(@selects) if ($class_join eq 'AND');
 434         my $search_table =
 435                 '(SELECT x.record, sum(x.sum) FROM (('.
 436                         join(') UNION ALL (', @selects).
 437                         ")) x GROUP BY 1 $cj ORDER BY 2 DESC )";
 438
 439         my $has_vols = 'AND cn.owning_lib = d.id';
 440         my $has_copies = 'AND cp.call_number = cn.id';
 441         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 442
 443         if ($self->api_name =~ /staff/o) {
 444                 $copies_visible = '';
 445                 $has_copies = '' if ($ou_type == 0);
 446                 $has_vols = '' if ($ou_type == 0);
 447         }
 448
 449         my ($t_filter, $f_filter) = ('','');
 450         my ($a_filter, $l_filter, $lf_filter) = ('','','');
 451
 452         if (my $a = $args{audience}) {
 453                 $a = [$a] if (!ref($a));
 454                 my @aud = @$a;
 455
 456                 $a_filter = ' AND rd.audience IN ('.join(',',map{'?'}@aud).')';
 457                 push @binds, @aud;
 458         }
 459
 460         if (my $l = $args{language}) {
 461                 $l = [$l] if (!ref($l));
 462                 my @lang = @$l;
 463
 464                 $l_filter = ' AND rd.item_lang IN ('.join(',',map{'?'}@lang).')';
 465                 push @binds, @lang;
 466         }
 467
 468         if (my $f = $args{lit_form}) {
 469                 $f = [$f] if (!ref($f));
 470                 my @lit_form = @$f;
 471
 472                 $lf_filter = ' AND rd.lit_form IN ('.join(',',map{'?'}@lit_form).')';
 473                 push @binds, @lit_form;
 474         }
 475
 476         if (my $f = $args{item_form}) {
 477                 $f = [$f] if (!ref($f));
 478                 my @forms = @$f;
 479
 480                 $f_filter = ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 481                 push @binds, @forms;
 482         }
 483
 484         if (my $t = $args{item_type}) {
 485                 $t = [$t] if (!ref($t));
 486                 my @types = @$t;
 487
 488                 $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 489                 push @binds, @types;
 490         }
 491
 492
 493         if ($args{format}) {
 494                 my ($t, $f) = split '-', $args{format};
 495                 my @types = split '', $t;
 496                 my @forms = split '', $f;
 497                 if (@types) {
 498                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 499                 }
 500
 501                 if (@forms) {
 502                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 503                 }
 504                 push @binds, @types, @forms;
 505         }
 506
 507         my $relevance = 'sum(f.sum)';
 508         $relevance = 1 if (!$copies_visible);
 509
 510         my $rank = $relevance;
 511         if (lc($sort) eq 'pubdate') {
 512                 $rank = <<"             RANK";
 513                         ( FIRST ((
 514                                 SELECT  COALESCE(SUBSTRING(frp.value FROM '\\\\d+'),'9999')::INT
 515                                   FROM  $metabib_full_rec frp
 516                                   WHERE frp.record = f.record
 517                                         AND frp.tag = '260'
 518                                         AND frp.subfield = 'c'
 519                                   LIMIT 1
 520                         )) )
 521                 RANK
 522         } elsif (lc($sort) eq 'create_date') {
 523                 $rank = <<"             RANK";
 524                         ( FIRST (( SELECT create_date FROM $br_table rbr WHERE rbr.id = f.record)) )
 525                 RANK
 526         } elsif (lc($sort) eq 'edit_date') {
 527                 $rank = <<"             RANK";
 528                         ( FIRST (( SELECT edit_date FROM $br_table rbr WHERE rbr.id = f.record)) )
 529                 RANK
 530         } elsif (lc($sort) eq 'title') {
 531                 $rank = <<"             RANK";
 532                         ( FIRST ((
 533                                 SELECT  COALESCE(LTRIM(SUBSTR( frt.value, COALESCE(SUBSTRING(frt.ind2 FROM '\\\\d+'),'0')::INT )),'zzzzzzzz')
 534                                   FROM  $metabib_full_rec frt
 535                                   WHERE frt.record = f.record
 536                                         AND frt.tag = '245'
 537                                         AND frt.subfield = 'a'
 538                                   LIMIT 1
 539                         )) )
 540                 RANK
 541         } elsif (lc($sort) eq 'author') {
 542                 $rank = <<"             RANK";
 543                         ( FIRST((
 544                                 SELECT  COALESCE(LTRIM(fra.value),'zzzzzzzz')
 545                                   FROM  $metabib_full_rec fra
 546                                   WHERE fra.record = f.record
 547                                         AND fra.tag LIKE '1%'
 548                                         AND fra.subfield = 'a'
 549                                   ORDER BY fra.tag::text::int
 550                                   LIMIT 1
 551                         )) )
 552                 RANK
 553         } else {
 554                 $sort = undef;
 555         }
 556
 557
 558         if ($copies_visible) {
 559                 $select = <<"           SQL";
 560                         SELECT  f.record, $relevance, count(DISTINCT cp.id), $rank
 561                         FROM    $search_table f,
 562                                 $asset_call_number_table cn,
 563                                 $asset_copy_table cp,
 564                                 $cs_table cs,
 565                                 $cl_table cl,
 566                                 $br_table br,
 567                                 $metabib_record_descriptor rd,
 568                                 $descendants d
 569                         WHERE   br.id = f.record
 570                                 AND cn.record = f.record
 571                                 AND rd.record = f.record
 572                                 AND cp.status = cs.id
 573                                 AND cp.location = cl.id
 574                                 AND br.deleted IS FALSE
 575                                 AND cn.deleted IS FALSE
 576                                 AND cp.deleted IS FALSE
 577                                 $has_vols
 578                                 $has_copies
 579                                 $copies_visible
 580                                 $t_filter
 581                                 $f_filter
 582                                 $a_filter
 583                                 $l_filter
 584                                 $lf_filter
 585                         GROUP BY f.record HAVING count(DISTINCT cp.id) > 0
 586                         ORDER BY 4 $sort_dir,3 DESC
 587                 SQL
 588         } else {
 589                 $select = <<"           SQL";
 590                         SELECT  f.record, 1, 1, $rank
 591                         FROM    $search_table f,
 592                                 $br_table br,
 593                                 $metabib_record_descriptor rd
 594                         WHERE   br.id = f.record
 595                                 AND rd.record = f.record
 596                                 AND br.deleted IS FALSE
 597                                 $t_filter
 598                                 $f_filter
 599                                 $a_filter
 600                                 $l_filter
 601                                 $lf_filter
 602                         GROUP BY 1,2,3
 603                         ORDER BY 4 $sort_dir
 604                 SQL
 605         }
 606
 607
 608         $log->debug("Search SQL :: [$select]",DEBUG);
 609
 610         my $recs = metabib::full_rec->db_Main->selectall_arrayref("$select;", {}, @binds);
 611         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
 612
 613         my $max = 0;
 614         $max = 1 if (!@$recs);
 615         for (@$recs) {
 616                 $max = $$_[1] if ($$_[1] > $max);
 617         }
 618
 619         my $count = @$recs;
 620         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
 621                 next unless ($$rec[0]);
 622                 my ($rid,$rank,$junk,$skip) = @$rec;
 623                 $client->respond( [$rid, sprintf('%0.3f',$rank/$max), $count] );
 624         }
 625         return undef;
 626 }
 627 __PACKAGE__->register_method(
 628         api_name        => 'open-ils.storage.biblio.full_rec.multi_search',
 629         method          => 'biblio_multi_search_full_rec',
 630         api_level       => 1,
 631         stream          => 1,
 632         cachable        => 1,
 633 );
 634 __PACKAGE__->register_method(
 635         api_name        => 'open-ils.storage.biblio.full_rec.multi_search.staff',
 636         method          => 'biblio_multi_search_full_rec',
 637         api_level       => 1,
 638         stream          => 1,
 639         cachable        => 1,
 640 );
 641
 642 sub search_full_rec {
 643         my $self = shift;
 644         my $client = shift;
 645
 646         my %args = @_;
 647
 648         my $term = $args{term};
 649         my $limiters = $args{restrict};
 650
 651         my ($index_col) = metabib::full_rec->columns('FTS');
 652         $index_col ||= 'value';
 653         my $search_table = metabib::full_rec->table;
 654
 655         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
 656
 657         my $fts_where = $fts->sql_where_clause();
 658         my @fts_ranks = $fts->fts_rank;
 659
 660         my $rank = join(' + ', @fts_ranks);
 661
 662         my @binds;
 663         my @wheres;
 664         for my $limit (@$limiters) {
 665                 push @wheres, "( tag = ? AND subfield LIKE ? AND $fts_where )";
 666                 push @binds, $$limit{tag}, $$limit{subfield};
 667                 $log->debug("Limiting query using { tag => $$limit{tag}, subfield => $$limit{subfield} }", DEBUG);
 668         }
 669         my $where = join(' OR ', @wheres);
 670
 671         my $select = "SELECT record, sum($rank) FROM $search_table WHERE $where GROUP BY 1 ORDER BY 2 DESC;";
 672
 673         $log->debug("Search SQL :: [$select]",DEBUG);
 674
 675         my $recs = metabib::full_rec->db_Main->selectall_arrayref($select, {}, @binds);
 676         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
 677
 678         $client->respond($_) for (@$recs);
 679         return undef;
 680 }
 681 __PACKAGE__->register_method(
 682         api_name        => 'open-ils.storage.direct.metabib.full_rec.search_fts.value',
 683         method          => 'search_full_rec',
 684         api_level       => 1,
 685         stream          => 1,
 686         cachable        => 1,
 687 );
 688 __PACKAGE__->register_method(
 689         api_name        => 'open-ils.storage.direct.metabib.full_rec.search_fts.index_vector',
 690         method          => 'search_full_rec',
 691         api_level       => 1,
 692         stream          => 1,
 693         cachable        => 1,
 694 );
 695
 696
 697 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
 698 sub search_class_fts {
 699         my $self = shift;
 700         my $client = shift;
 701         my %args = @_;
 702
 703         my $term = $args{term};
 704         my $ou = $args{org_unit};
 705         my $ou_type = $args{depth};
 706         my $limit = $args{limit};
 707         my $offset = $args{offset};
 708
 709         my $limit_clause = '';
 710         my $offset_clause = '';
 711
 712         $limit_clause = "LIMIT $limit" if (defined $limit and int($limit) > 0);
 713         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
 714
 715         my (@types,@forms);
 716         my ($t_filter, $f_filter) = ('','');
 717
 718         if ($args{format}) {
 719                 my ($t, $f) = split '-', $args{format};
 720                 @types = split '', $t;
 721                 @forms = split '', $f;
 722                 if (@types) {
 723                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 724                 }
 725
 726                 if (@forms) {
 727                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 728                 }
 729         }
 730
 731
 732
 733         my $descendants = defined($ou_type) ?
 734                                 "actor.org_unit_descendants($ou, $ou_type)" :
 735                                 "actor.org_unit_descendants($ou)";
 736
 737         my $class = $self->{cdbi};
 738         my $search_table = $class->table;
 739
 740         my $metabib_record_descriptor = metabib::record_descriptor->table;
 741         my $metabib_metarecord = metabib::metarecord->table;
 742         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
 743         my $asset_call_number_table = asset::call_number->table;
 744         my $asset_copy_table = asset::copy->table;
 745         my $cs_table = config::copy_status->table;
 746         my $cl_table = asset::copy_location->table;
 747
 748         my ($index_col) = $class->columns('FTS');
 749         $index_col ||= 'value';
 750
 751         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'f.value', "f.$index_col");
 752
 753         my $fts_where = $fts->sql_where_clause;
 754         my @fts_ranks = $fts->fts_rank;
 755
 756         my $rank = join(' + ', @fts_ranks);
 757
 758         my $has_vols = 'AND cn.owning_lib = d.id';
 759         my $has_copies = 'AND cp.call_number = cn.id';
 760         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 761
 762         my $visible_count = ', count(DISTINCT cp.id)';
 763         my $visible_count_test = 'HAVING count(DISTINCT cp.id) > 0';
 764
 765         if ($self->api_name =~ /staff/o) {
 766                 $copies_visible = '';
 767                 $visible_count_test = '';
 768                 $has_copies = '' if ($ou_type == 0);
 769                 $has_vols = '' if ($ou_type == 0);
 770         }
 771
 772         my $rank_calc = <<"     RANK";
 773                 , (SUM( $rank
 774                         * CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END -- phrase order
 775                         * CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END -- first word match
 776                         * CASE WHEN f.value ~* ? THEN 2 ELSE 1 END -- only word match
 777                 )/COUNT(m.source)), MIN(COALESCE(CHAR_LENGTH(f.value),1))
 778         RANK
 779
 780         $rank_calc = ',1 , 1' if ($self->api_name =~ /unordered/o);
 781
 782         if ($copies_visible) {
 783                 $select = <<"           SQL";
 784                         SELECT  m.metarecord $rank_calc $visible_count, CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
 785                         FROM    $search_table f,
 786                                 $metabib_metarecord_source_map_table m,
 787                                 $asset_call_number_table cn,
 788                                 $asset_copy_table cp,
 789                                 $cs_table cs,
 790                                 $cl_table cl,
 791                                 $metabib_record_descriptor rd,
 792                                 $descendants d
 793                         WHERE   $fts_where
 794                                 AND m.source = f.source
 795                                 AND cn.record = m.source
 796                                 AND rd.record = m.source
 797                                 AND cp.status = cs.id
 798                                 AND cp.location = cl.id
 799                                 $has_vols
 800                                 $has_copies
 801                                 $copies_visible
 802                                 $t_filter
 803                                 $f_filter
 804                         GROUP BY 1 $visible_count_test
 805                         ORDER BY 2 DESC,3
 806                         $limit_clause $offset_clause
 807                 SQL
 808         } else {
 809                 $select = <<"           SQL";
 810                         SELECT  m.metarecord $rank_calc, 0, CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
 811                         FROM    $search_table f,
 812                                 $metabib_metarecord_source_map_table m,
 813                                 $metabib_record_descriptor rd
 814                         WHERE   $fts_where
 815                                 AND m.source = f.source
 816                                 AND rd.record = m.source
 817                                 $t_filter
 818                                 $f_filter
 819                         GROUP BY 1, 4
 820                         ORDER BY 2 DESC,3
 821                         $limit_clause $offset_clause
 822                 SQL
 823         }
 824
 825         $log->debug("Field Search SQL :: [$select]",DEBUG);
 826
 827         my $SQLstring = join('%',$fts->words);
 828         my $REstring = join('\\s+',$fts->words);
 829         my $first_word = ($fts->words)[0].'%';
 830         my $recs = ($self->api_name =~ /unordered/o) ?
 831                         $class->db_Main->selectall_arrayref($select, {}, @types, @forms) :
 832                         $class->db_Main->selectall_arrayref($select, {},
 833                                 '%'.lc($SQLstring).'%',                 # phrase order match
 834                                 lc($first_word),                        # first word match
 835                                 '^\\s*'.lc($REstring).'\\s*/?\s*$',     # full exact match
 836                                 @types, @forms
 837                         );
 838
 839         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
 840
 841         $client->respond($_) for (map { [@$_[0,1,3,4]] } @$recs);
 842         return undef;
 843 }
 844
 845 for my $class ( qw/title author subject keyword series/ ) {
 846         __PACKAGE__->register_method(
 847                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord",
 848                 method          => 'search_class_fts',
 849                 api_level       => 1,
 850                 stream          => 1,
 851                 cdbi            => "metabib::${class}_field_entry",
 852                 cachable        => 1,
 853         );
 854         __PACKAGE__->register_method(
 855                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.unordered",
 856                 method          => 'search_class_fts',
 857                 api_level       => 1,
 858                 stream          => 1,
 859                 cdbi            => "metabib::${class}_field_entry",
 860                 cachable        => 1,
 861         );
 862         __PACKAGE__->register_method(
 863                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.staff",
 864                 method          => 'search_class_fts',
 865                 api_level       => 1,
 866                 stream          => 1,
 867                 cdbi            => "metabib::${class}_field_entry",
 868                 cachable        => 1,
 869         );
 870         __PACKAGE__->register_method(
 871                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.staff.unordered",
 872                 method          => 'search_class_fts',
 873                 api_level       => 1,
 874                 stream          => 1,
 875                 cdbi            => "metabib::${class}_field_entry",
 876                 cachable        => 1,
 877         );
 878 }
 879
 880 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
 881 sub search_class_fts_count {
 882         my $self = shift;
 883         my $client = shift;
 884         my %args = @_;
 885
 886         my $term = $args{term};
 887         my $ou = $args{org_unit};
 888         my $ou_type = $args{depth};
 889         my $limit = $args{limit} || 100;
 890         my $offset = $args{offset} || 0;
 891
 892         my $descendants = defined($ou_type) ?
 893                                 "actor.org_unit_descendants($ou, $ou_type)" :
 894                                 "actor.org_unit_descendants($ou)";
 895
 896         my (@types,@forms);
 897         my ($t_filter, $f_filter) = ('','');
 898
 899         if ($args{format}) {
 900                 my ($t, $f) = split '-', $args{format};
 901                 @types = split '', $t;
 902                 @forms = split '', $f;
 903                 if (@types) {
 904                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 905                 }
 906
 907                 if (@forms) {
 908                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 909                 }
 910         }
 911
 912
 913         (my $search_class = $self->api_name) =~ s/.*metabib.(\w+).search_fts.*/$1/o;
 914
 915         my $class = $self->{cdbi};
 916         my $search_table = $class->table;
 917
 918         my $metabib_record_descriptor = metabib::record_descriptor->table;
 919         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
 920         my $asset_call_number_table = asset::call_number->table;
 921         my $asset_copy_table = asset::copy->table;
 922         my $cs_table = config::copy_status->table;
 923         my $cl_table = asset::copy_location->table;
 924
 925         my ($index_col) = $class->columns('FTS');
 926         $index_col ||= 'value';
 927
 928         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
 929
 930         my $fts_where = $fts->sql_where_clause;
 931
 932         my $has_vols = 'AND cn.owning_lib = d.id';
 933         my $has_copies = 'AND cp.call_number = cn.id';
 934         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 935         if ($self->api_name =~ /staff/o) {
 936                 $copies_visible = '';
 937                 $has_vols = '' if ($ou_type == 0);
 938                 $has_copies = '' if ($ou_type == 0);
 939         }
 940
 941         # XXX test an "EXISTS version of descendant checking...
 942         my $select;
 943         if ($copies_visible) {
 944                 $select = <<"           SQL";
 945                 SELECT  count(distinct  m.metarecord)
 946                   FROM  $search_table f,
 947                         $metabib_metarecord_source_map_table m,
 948                         $metabib_metarecord_source_map_table mr,
 949                         $asset_call_number_table cn,
 950                         $asset_copy_table cp,
 951                         $cs_table cs,
 952                         $cl_table cl,
 953                         $metabib_record_descriptor rd,
 954                         $descendants d
 955                   WHERE $fts_where
 956                         AND mr.source = f.source
 957                         AND mr.metarecord = m.metarecord
 958                         AND cn.record = m.source
 959                         AND rd.record = m.source
 960                         AND cp.status = cs.id
 961                         AND cp.location = cl.id
 962                         $has_vols
 963                         $has_copies
 964                         $copies_visible
 965                         $t_filter
 966                         $f_filter
 967                 SQL
 968         } else {
 969                 $select = <<"           SQL";
 970                 SELECT  count(distinct  m.metarecord)
 971                   FROM  $search_table f,
 972                         $metabib_metarecord_source_map_table m,
 973                         $metabib_metarecord_source_map_table mr,
 974                         $metabib_record_descriptor rd
 975                   WHERE $fts_where
 976                         AND mr.source = f.source
 977                         AND mr.metarecord = m.metarecord
 978                         AND rd.record = m.source
 979                         $t_filter
 980                         $f_filter
 981                 SQL
 982         }
 983
 984         $log->debug("Field Search Count SQL :: [$select]",DEBUG);
 985
 986         my $recs = $class->db_Main->selectrow_arrayref($select, {}, @types, @forms)->[0];
 987
 988         $log->debug("Count Search yielded $recs results.",DEBUG);
 989
 990         return $recs;
 991
 992 }
 993 for my $class ( qw/title author subject keyword series/ ) {
 994         __PACKAGE__->register_method(
 995                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord_count",
 996                 method          => 'search_class_fts_count',
 997                 api_level       => 1,
 998                 stream          => 1,
 999                 cdbi            => "metabib::${class}_field_entry",
1000                 cachable        => 1,
1001         );
1002         __PACKAGE__->register_method(
1003                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord_count.staff",
1004                 method          => 'search_class_fts_count',
1005                 api_level       => 1,
1006                 stream          => 1,
1007                 cdbi            => "metabib::${class}_field_entry",
1008                 cachable        => 1,
1009         );
1010 }
1011
1012
1013 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
1014 sub postfilter_search_class_fts {
1015         my $self = shift;
1016         my $client = shift;
1017         my %args = @_;
1018
1019         my $term = $args{term};
1020         my $sort = $args{'sort'};
1021         my $sort_dir = $args{sort_dir} || 'DESC';
1022         my $ou = $args{org_unit};
1023         my $ou_type = $args{depth};
1024         my $limit = $args{limit} || 10;
1025         my $visiblity_limit = $args{visiblity_limit} || 5000;
1026         my $offset = $args{offset} || 0;
1027
1028         my $outer_limit = 1000;
1029
1030         my $limit_clause = '';
1031         my $offset_clause = '';
1032
1033         $limit_clause = "LIMIT $outer_limit";
1034         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
1035
1036         my (@types,@forms,@lang,@aud,@lit_form);
1037         my ($t_filter, $f_filter) = ('','');
1038         my ($a_filter, $l_filter, $lf_filter) = ('','','');
1039         my ($ot_filter, $of_filter) = ('','');
1040         my ($oa_filter, $ol_filter, $olf_filter) = ('','','');
1041
1042         if (my $a = $args{audience}) {
1043                 $a = [$a] if (!ref($a));
1044                 @aud = @$a;
1045
1046                 $a_filter = ' AND rd.audience IN ('.join(',',map{'?'}@aud).')';
1047                 $oa_filter = ' AND ord.audience IN ('.join(',',map{'?'}@aud).')';
1048         }
1049
1050         if (my $l = $args{language}) {
1051                 $l = [$l] if (!ref($l));
1052                 @lang = @$l;
1053
1054                 $l_filter = ' AND rd.item_lang IN ('.join(',',map{'?'}@lang).')';
1055                 $ol_filter = ' AND ord.item_lang IN ('.join(',',map{'?'}@lang).')';
1056         }
1057
1058         if (my $f = $args{lit_form}) {
1059                 $f = [$f] if (!ref($f));
1060                 @lit_form = @$f;
1061
1062                 $lf_filter = ' AND rd.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1063                 $olf_filter = ' AND ord.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1064         }
1065
1066         if ($args{format}) {
1067                 my ($t, $f) = split '-', $args{format};
1068                 @types = split '', $t;
1069                 @forms = split '', $f;
1070                 if (@types) {
1071                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1072                         $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1073                 }
1074
1075                 if (@forms) {
1076                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1077                         $of_filter .= ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1078                 }
1079         }
1080
1081
1082         my $descendants = defined($ou_type) ?
1083                                 "actor.org_unit_descendants($ou, $ou_type)" :
1084                                 "actor.org_unit_descendants($ou)";
1085
1086         my $class = $self->{cdbi};
1087         my $search_table = $class->table;
1088
1089         my $metabib_full_rec = metabib::full_rec->table;
1090         my $metabib_record_descriptor = metabib::record_descriptor->table;
1091         my $metabib_metarecord = metabib::metarecord->table;
1092         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
1093         my $asset_call_number_table = asset::call_number->table;
1094         my $asset_copy_table = asset::copy->table;
1095         my $cs_table = config::copy_status->table;
1096         my $cl_table = asset::copy_location->table;
1097         my $br_table = biblio::record_entry->table;
1098
1099         my ($index_col) = $class->columns('FTS');
1100         $index_col ||= 'value';
1101
1102         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'f.value', "f.$index_col");
1103
1104         my $SQLstring = join('%',map { lc($_) } $fts->words);
1105         my $REstring = '^' . join('\s+',map { lc($_) } $fts->words) . '\W*$';
1106         my $first_word = lc(($fts->words)[0]).'%';
1107
1108         my $fts_where = $fts->sql_where_clause;
1109         my @fts_ranks = $fts->fts_rank;
1110
1111         my %bonus = ();
1112         $bonus{'metabib::keyword_field_entry'} = [ { 'CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END' => $SQLstring } ];
1113         $bonus{'metabib::title_field_entry'} =
1114                 $bonus{'metabib::series_field_entry'} = [
1115                         { 'CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END' => $first_word },
1116                         { 'CASE WHEN f.value ~* ? THEN 2 ELSE 1 END' => $REstring },
1117                         @{ $bonus{'metabib::keyword_field_entry'} }
1118                 ];
1119
1120         my $bonus_list = join ' * ', map { keys %$_ } @{ $bonus{$class} };
1121         $bonus_list ||= '1';
1122
1123         my @bonus_values = map { values %$_ } @{ $bonus{$class} };
1124
1125         my $relevance = join(' + ', @fts_ranks);
1126         $relevance = <<"        RANK";
1127                         (SUM( ( $relevance )  * ( $bonus_list ) )/COUNT(m.source))
1128         RANK
1129
1130         my $rank = $relevance;
1131         if (lc($sort) eq 'pubdate') {
1132                 $rank = <<"             RANK";
1133                         ( FIRST ((
1134                                 SELECT  COALESCE(SUBSTRING(frp.value FROM '\\\\d+'),'9999')::INT
1135                                   FROM  $metabib_full_rec frp
1136                                   WHERE frp.record = mr.master_record
1137                                         AND frp.tag = '260'
1138                                         AND frp.subfield = 'c'
1139                                   LIMIT 1
1140                         )) )
1141                 RANK
1142         } elsif (lc($sort) eq 'create_date') {
1143                 $rank = <<"             RANK";
1144                         ( FIRST (( SELECT create_date FROM $br_table rbr WHERE rbr.id = mr.master_record)) )
1145                 RANK
1146         } elsif (lc($sort) eq 'edit_date') {
1147                 $rank = <<"             RANK";
1148                         ( FIRST (( SELECT edit_date FROM $br_table rbr WHERE rbr.id = mr.master_record)) )
1149                 RANK
1150         } elsif (lc($sort) eq 'title') {
1151                 $rank = <<"             RANK";
1152                         ( FIRST ((
1153                                 SELECT  COALESCE(LTRIM(SUBSTR( frt.value, COALESCE(SUBSTRING(frt.ind2 FROM '\\\\d+'),'0')::INT )),'zzzzzzzz')
1154                                   FROM  $metabib_full_rec frt
1155                                   WHERE frt.record = mr.master_record
1156                                         AND frt.tag = '245'
1157                                         AND frt.subfield = 'a'
1158                                   LIMIT 1
1159                         )) )
1160                 RANK
1161         } elsif (lc($sort) eq 'author') {
1162                 $rank = <<"             RANK";
1163                         ( FIRST((
1164                                 SELECT  COALESCE(LTRIM(fra.value),'zzzzzzzz')
1165                                   FROM  $metabib_full_rec fra
1166                                   WHERE fra.record = mr.master_record
1167                                         AND fra.tag LIKE '1%'
1168                                         AND fra.subfield = 'a'
1169                                   ORDER BY fra.tag::text::int
1170                                   LIMIT 1
1171                         )) )
1172                 RANK
1173         } else {
1174                 $sort = undef;
1175         }
1176
1177         my $select = <<"        SQL";
1178                 SELECT  m.metarecord,
1179                         $relevance,
1180                         CASE WHEN COUNT(DISTINCT smrs.source) = 1 THEN MIN(m.source) ELSE 0 END,
1181                         $rank
1182                 FROM    $search_table f,
1183                         $metabib_metarecord_source_map_table m,
1184                         $metabib_metarecord_source_map_table smrs,
1185                         $metabib_metarecord mr,
1186                         $metabib_record_descriptor rd
1187                 WHERE   $fts_where
1188                         AND smrs.metarecord = mr.id
1189                         AND m.source = f.source
1190                         AND m.metarecord = mr.id
1191                         AND rd.record = smrs.source
1192                         $t_filter
1193                         $f_filter
1194                         $a_filter
1195                         $l_filter
1196                         $lf_filter
1197                 GROUP BY m.metarecord
1198                 ORDER BY 4 $sort_dir, MIN(COALESCE(CHAR_LENGTH(f.value),1))
1199                 LIMIT $visiblity_limit
1200         SQL
1201
1202         if (0) {
1203                 $select = <<"           SQL";
1204
1205                         SELECT  DISTINCT s.*
1206                           FROM  $asset_call_number_table cn,
1207                                 $metabib_metarecord_source_map_table mrs,
1208                                 $asset_copy_table cp,
1209                                 $cs_table cs,
1210                                 $cl_table cl,
1211                                 $br_table br,
1212                                 $descendants d,
1213                                 $metabib_record_descriptor ord,
1214                                 ($select) s
1215                           WHERE mrs.metarecord = s.metarecord
1216                                 AND br.id = mrs.source
1217                                 AND cn.record = mrs.source
1218                                 AND cp.status = cs.id
1219                                 AND cp.location = cl.id
1220                                 AND cn.owning_lib = d.id
1221                                 AND cp.call_number = cn.id
1222                                 AND cp.opac_visible IS TRUE
1223                                 AND cs.holdable IS TRUE
1224                                 AND cl.opac_visible IS TRUE
1225                                 AND br.active IS TRUE
1226                                 AND br.deleted IS FALSE
1227                                 AND ord.record = mrs.source
1228                                 $ot_filter
1229                                 $of_filter
1230                                 $oa_filter
1231                                 $ol_filter
1232                                 $olf_filter
1233                           ORDER BY 4 $sort_dir
1234                 SQL
1235         } elsif ($self->api_name !~ /staff/o) {
1236                 $select = <<"           SQL";
1237
1238                         SELECT  DISTINCT s.*
1239                           FROM  ($select) s
1240                           WHERE EXISTS (
1241                                 SELECT  1
1242                                   FROM  $asset_call_number_table cn,
1243                                         $metabib_metarecord_source_map_table mrs,
1244                                         $asset_copy_table cp,
1245                                         $cs_table cs,
1246                                         $cl_table cl,
1247                                         $br_table br,
1248                                         $descendants d,
1249                                         $metabib_record_descriptor ord
1250
1251                                   WHERE mrs.metarecord = s.metarecord
1252                                         AND br.id = mrs.source
1253                                         AND cn.record = mrs.source
1254                                         AND cp.status = cs.id
1255                                         AND cp.location = cl.id
1256                                         AND cn.owning_lib = d.id
1257                                         AND cp.call_number = cn.id
1258                                         AND cp.opac_visible IS TRUE
1259                                         AND cs.holdable IS TRUE
1260                                         AND cl.opac_visible IS TRUE
1261                                         AND br.active IS TRUE
1262                                         AND br.deleted IS FALSE
1263                                         AND ord.record = mrs.source
1264                                         $ot_filter
1265                                         $of_filter
1266                                         $oa_filter
1267                                         $ol_filter
1268                                         $olf_filter
1269                                   LIMIT 1
1270                                 )
1271                           ORDER BY 4 $sort_dir
1272                 SQL
1273         } else {
1274                 $select = <<"           SQL";
1275
1276                         SELECT  DISTINCT s.*
1277                           FROM  ($select) s
1278                           WHERE EXISTS (
1279                                 SELECT  1
1280                                   FROM  $asset_call_number_table cn,
1281                                         $metabib_metarecord_source_map_table mrs,
1282                                         $br_table br,
1283                                         $descendants d,
1284                                         $metabib_record_descriptor ord
1285
1286                                   WHERE mrs.metarecord = s.metarecord
1287                                         AND br.id = mrs.source
1288                                         AND cn.record = mrs.source
1289                                         AND cn.owning_lib = d.id
1290                                         AND br.deleted IS FALSE
1291                                         AND ord.record = mrs.source
1292                                         $ot_filter
1293                                         $of_filter
1294                                         $oa_filter
1295                                         $ol_filter
1296                                         $olf_filter
1297                                   LIMIT 1
1298                                 )
1299                                 OR NOT EXISTS (
1300                                 SELECT  1
1301                                   FROM  $asset_call_number_table cn,
1302                                         $metabib_metarecord_source_map_table mrs,
1303                                         $metabib_record_descriptor ord
1304                                   WHERE mrs.metarecord = s.metarecord
1305                                         AND cn.record = mrs.source
1306                                         AND ord.record = mrs.source
1307                                         $ot_filter
1308                                         $of_filter
1309                                         $oa_filter
1310                                         $ol_filter
1311                                         $olf_filter
1312                                   LIMIT 1
1313                                 )
1314                           ORDER BY 4 $sort_dir
1315                 SQL
1316         }
1317
1318
1319         $log->debug("Field Search SQL :: [$select]",DEBUG);
1320
1321         my $recs = $class->db_Main->selectall_arrayref(
1322                         $select, {},
1323                         (@bonus_values > 0 ? @bonus_values : () ),
1324                         ( (!$sort && @bonus_values > 0) ? @bonus_values : () ),
1325                         @types, @forms, @aud, @lang, @lit_form,
1326                         @types, @forms, @aud, @lang, @lit_form,
1327                         ($self->api_name =~ /staff/o ? (@types, @forms, @aud, @lang, @lit_form) : () ) );
1328
1329         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
1330
1331         my $max = 0;
1332         $max = 1 if (!@$recs);
1333         for (@$recs) {
1334                 $max = $$_[1] if ($$_[1] > $max);
1335         }
1336
1337         my $count = scalar(@$recs);
1338         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
1339                 my ($mrid,$rank,$skip) = @$rec;
1340                 $client->respond( [$mrid, sprintf('%0.3f',$rank/$max), $skip, $count] );
1341         }
1342         return undef;
1343 }
1344
1345 for my $class ( qw/title author subject keyword series/ ) {
1346         __PACKAGE__->register_method(
1347                 api_name        => "open-ils.storage.metabib.$class.post_filter.search_fts.metarecord",
1348                 method          => 'postfilter_search_class_fts',
1349                 api_level       => 1,
1350                 stream          => 1,
1351                 cdbi            => "metabib::${class}_field_entry",
1352                 cachable        => 1,
1353         );
1354         __PACKAGE__->register_method(
1355                 api_name        => "open-ils.storage.metabib.$class.post_filter.search_fts.metarecord.staff",
1356                 method          => 'postfilter_search_class_fts',
1357                 api_level       => 1,
1358                 stream          => 1,
1359                 cdbi            => "metabib::${class}_field_entry",
1360                 cachable        => 1,
1361         );
1362 }
1363
1364
1365
1366 my $_cdbi = {   title   => "metabib::title_field_entry",
1367                 author  => "metabib::author_field_entry",
1368                 subject => "metabib::subject_field_entry",
1369                 keyword => "metabib::keyword_field_entry",
1370                 series  => "metabib::series_field_entry",
1371 };
1372
1373 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
1374 sub postfilter_search_multi_class_fts {
1375         my $self = shift;
1376         my $client = shift;
1377         my %args = @_;
1378
1379         my $sort = $args{'sort'};
1380         my $sort_dir = $args{sort_dir} || 'DESC';
1381         my $ou = $args{org_unit};
1382         my $ou_type = $args{depth};
1383         my $limit = $args{limit} || 10;;
1384         my $visiblity_limit = $args{visiblity_limit} || 5000;;
1385         my $offset = $args{offset} || 0;
1386
1387         if (!$ou) {
1388                 $ou = actor::org_unit->search( { parent_ou => undef } )->next->id;
1389         }
1390
1391         if (!defined($args{org_unit})) {
1392                 die "No target organizational unit passed to ".$self->api_name;
1393         }
1394
1395         if (! scalar( keys %{$args{searches}} )) {
1396                 die "No search arguments were passed to ".$self->api_name;
1397         }
1398
1399         my $outer_limit = 1000;
1400
1401         my $limit_clause = '';
1402         my $offset_clause = '';
1403
1404         $limit_clause = "LIMIT $outer_limit";
1405         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
1406
1407         my (@types,@forms,@lang,@aud,@lit_form);
1408         my ($t_filter, $f_filter) = ('','');
1409         my ($a_filter, $l_filter, $lf_filter) = ('','','');
1410         my ($ot_filter, $of_filter) = ('','');
1411         my ($oa_filter, $ol_filter, $olf_filter) = ('','','');
1412
1413         if (my $a = $args{audience}) {
1414                 $a = [$a] if (!ref($a));
1415                 @aud = @$a;
1416
1417                 $a_filter = ' AND rd.audience IN ('.join(',',map{'?'}@aud).')';
1418                 $oa_filter = ' AND ord.audience IN ('.join(',',map{'?'}@aud).')';
1419         }
1420
1421         if (my $l = $args{language}) {
1422                 $l = [$l] if (!ref($l));
1423                 @lang = @$l;
1424
1425                 $l_filter = ' AND rd.item_lang IN ('.join(',',map{'?'}@lang).')';
1426                 $ol_filter = ' AND ord.item_lang IN ('.join(',',map{'?'}@lang).')';
1427         }
1428
1429         if (my $f = $args{lit_form}) {
1430                 $f = [$f] if (!ref($f));
1431                 @lit_form = @$f;
1432
1433                 $lf_filter = ' AND rd.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1434                 $olf_filter = ' AND ord.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1435         }
1436
1437         if (my $f = $args{item_form}) {
1438                 $f = [$f] if (!ref($f));
1439                 @forms = @$f;
1440
1441                 $f_filter = ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1442                 $of_filter = ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1443         }
1444
1445         if (my $t = $args{item_type}) {
1446                 $t = [$t] if (!ref($t));
1447                 @types = @$t;
1448
1449                 $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1450                 $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1451         }
1452
1453
1454         # XXX legacy format and item type support
1455         if ($args{format}) {
1456                 my ($t, $f) = split '-', $args{format};
1457                 @types = split '', $t;
1458                 @forms = split '', $f;
1459                 if (@types) {
1460                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1461                         $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1462                 }
1463
1464                 if (@forms) {
1465                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1466                         $of_filter .= ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1467                 }
1468         }
1469
1470
1471
1472         my $descendants = defined($ou_type) ?
1473                                 "actor.org_unit_descendants($ou, $ou_type)" :
1474                                 "actor.org_unit_descendants($ou)";
1475
1476         my $search_table_list = '';
1477         my $fts_list = '';
1478         my $join_table_list = '';
1479         my @rank_list;
1480
1481         my @bonus_lists;
1482         my @bonus_values;
1483         my $prev_search_class;
1484         my $curr_search_class;
1485         for my $search_class (sort keys %{$args{searches}}) {
1486                 $prev_search_class = $curr_search_class if ($curr_search_class);
1487
1488                 $curr_search_class = $search_class;
1489
1490                 my $class = $_cdbi->{$search_class};
1491                 my $search_table = $class->table;
1492
1493                 my ($index_col) = $class->columns('FTS');
1494                 $index_col ||= 'value';
1495
1496
1497                 my $fts = OpenILS::Application::Storage::FTS->compile($args{searches}{$search_class}{term}, $search_class.'.value', "$search_class.$index_col");
1498
1499                 my $fts_where = $fts->sql_where_clause;
1500                 my @fts_ranks = $fts->fts_rank;
1501
1502                 my $SQLstring = join('%',map { lc($_) } $fts->words);
1503                 my $REstring = '^' . join('\s+',map { lc($_) } $fts->words) . '\W*$';
1504                 my $first_word = lc(($fts->words)[0]).'%';
1505
1506                 my $rank = join(' + ', @fts_ranks);
1507
1508                 my %bonus = ();
1509                 $bonus{'keyword'} = [ { "CASE WHEN $search_class.value LIKE ? THEN 10 ELSE 1 END" => $SQLstring } ];
1510
1511                 $bonus{'series'} = [
1512                         { "CASE WHEN $search_class.value LIKE ? THEN 1.5 ELSE 1 END" => $first_word },
1513                         { "CASE WHEN $search_class.value ~ ? THEN 20 ELSE 1 END" => $REstring },
1514                 ];
1515
1516                 $bonus{'title'} = [ @{ $bonus{'series'} }, @{ $bonus{'keyword'} } ];
1517
1518                 my $bonus_list = join ' * ', map { keys %$_ } @{ $bonus{$search_class} };
1519                 $bonus_list ||= '1';
1520
1521                 push @bonus_lists, $bonus_list;
1522                 push @bonus_values, map { values %$_ } @{ $bonus{$search_class} };
1523
1524
1525                 #---------------------
1526
1527                 $search_table_list .= "$search_table $search_class, ";
1528                 push @rank_list,$rank;
1529                 $fts_list .= " AND $fts_where AND m.source = $search_class.source";
1530
1531                 if ($prev_search_class) {
1532                         $join_table_list .= " AND $prev_search_class.source = $curr_search_class.source";
1533                 }
1534         }
1535
1536         my $metabib_record_descriptor = metabib::record_descriptor->table;
1537         my $metabib_full_rec = metabib::full_rec->table;
1538         my $metabib_metarecord = metabib::metarecord->table;
1539         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
1540         my $asset_call_number_table = asset::call_number->table;
1541         my $asset_copy_table = asset::copy->table;
1542         my $cs_table = config::copy_status->table;
1543         my $cl_table = asset::copy_location->table;
1544         my $br_table = biblio::record_entry->table;
1545         my $source_table = config::bib_source->table;
1546
1547         my $bonuses = join (' * ', @bonus_lists);
1548         my $relevance = join (' + ', @rank_list);
1549         $relevance = "SUM( ($relevance) * ($bonuses) )/COUNT(DISTINCT smrs.source)";
1550
1551
1552         my $secondary_sort = <<"        SORT";
1553                 ( FIRST ((
1554                         SELECT  COALESCE(LTRIM(SUBSTR( sfrt.value, COALESCE(SUBSTRING(sfrt.ind2 FROM '\\\\d+'),'0')::INT )),'zzzzzzzz')
1555                           FROM  $metabib_full_rec sfrt,
1556                                 $metabib_metarecord mr
1557                           WHERE sfrt.record = mr.master_record
1558                                 AND sfrt.tag = '245'
1559                                 AND sfrt.subfield = 'a'
1560                           LIMIT 1
1561                 )) )
1562         SORT
1563
1564         my $rank = $relevance;
1565         if (lc($sort) eq 'pubdate') {
1566                 $rank = <<"             RANK";
1567                         ( FIRST ((
1568                                 SELECT  COALESCE(SUBSTRING(frp.value FROM '\\\\d+'),'9999')::INT
1569                                   FROM  $metabib_full_rec frp
1570                                   WHERE frp.record = mr.master_record
1571                                         AND frp.tag = '260'
1572                                         AND frp.subfield = 'c'
1573                                   LIMIT 1
1574                         )) )
1575                 RANK
1576         } elsif (lc($sort) eq 'create_date') {
1577                 $rank = <<"             RANK";
1578                         ( FIRST (( SELECT create_date FROM $br_table rbr WHERE rbr.id = mr.master_record)) )
1579                 RANK
1580         } elsif (lc($sort) eq 'edit_date') {
1581                 $rank = <<"             RANK";
1582                         ( FIRST (( SELECT edit_date FROM $br_table rbr WHERE rbr.id = mr.master_record)) )
1583                 RANK
1584         } elsif (lc($sort) eq 'title') {
1585                 $rank = <<"             RANK";
1586                         ( FIRST ((
1587                                 SELECT  COALESCE(LTRIM(SUBSTR( frt.value, COALESCE(SUBSTRING(frt.ind2 FROM '\\\\d+'),'0')::INT )),'zzzzzzzz')
1588                                   FROM  $metabib_full_rec frt
1589                                   WHERE frt.record = mr.master_record
1590                                         AND frt.tag = '245'
1591                                         AND frt.subfield = 'a'
1592                                   LIMIT 1
1593                         )) )
1594                 RANK
1595                 $secondary_sort = <<"           SORT";
1596                         ( FIRST ((
1597                                 SELECT  COALESCE(SUBSTRING(sfrp.value FROM '\\\\d+'),'9999')::INT
1598                                   FROM  $metabib_full_rec sfrp
1599                                   WHERE sfrp.record = mr.master_record
1600                                         AND sfrp.tag = '260'
1601                                         AND sfrp.subfield = 'c'
1602                                   LIMIT 1
1603                         )) )
1604                 SORT
1605         } elsif (lc($sort) eq 'author') {
1606                 $rank = <<"             RANK";
1607                         ( FIRST((
1608                                 SELECT  COALESCE(LTRIM(fra.value),'zzzzzzzz')
1609                                   FROM  $metabib_full_rec fra
1610                                   WHERE fra.record = mr.master_record
1611                                         AND fra.tag LIKE '1%'
1612                                         AND fra.subfield = 'a'
1613                                   ORDER BY fra.tag::text::int
1614                                   LIMIT 1
1615                         )) )
1616                 RANK
1617         } else {
1618                 push @bonus_values, @bonus_values;
1619                 $sort = undef;
1620         }
1621
1622
1623         my $select = <<"        SQL";
1624                 SELECT  m.metarecord,
1625                         $relevance,
1626                         CASE WHEN COUNT(DISTINCT smrs.source) = 1 THEN FIRST(m.source) ELSE 0 END,
1627                         $rank,
1628                         $secondary_sort
1629                 FROM    $search_table_list
1630                         $metabib_metarecord mr,
1631                         $metabib_metarecord_source_map_table m,
1632                         $metabib_metarecord_source_map_table smrs
1633                 WHERE   m.metarecord = smrs.metarecord
1634                         AND mr.id = m.metarecord
1635                         $fts_list
1636                         $join_table_list
1637                 GROUP BY m.metarecord
1638                 -- ORDER BY 4 $sort_dir
1639                 LIMIT $visiblity_limit
1640         SQL
1641
1642         if ($self->api_name !~ /staff/o) {
1643                 $select = <<"           SQL";
1644
1645                         SELECT  s.*
1646                           FROM  ($select) s
1647                           WHERE EXISTS (
1648                                 SELECT  1
1649                                   FROM  $asset_call_number_table cn,
1650                                         $metabib_metarecord_source_map_table mrs,
1651                                         $asset_copy_table cp,
1652                                         $cs_table cs,
1653                                         $cl_table cl,
1654                                         $br_table br,
1655                                         $descendants d,
1656                                         $metabib_record_descriptor ord
1657                                   WHERE mrs.metarecord = s.metarecord
1658                                         AND br.id = mrs.source
1659                                         AND cn.record = mrs.source
1660                                         AND cp.status = cs.id
1661                                         AND cp.location = cl.id
1662                                         AND cn.owning_lib = d.id
1663                                         AND cp.call_number = cn.id
1664                                         AND cp.opac_visible IS TRUE
1665                                         AND cs.holdable IS TRUE
1666                                         AND cl.opac_visible IS TRUE
1667                                         AND br.active IS TRUE
1668                                         AND br.deleted IS FALSE
1669                                         AND cp.deleted IS FALSE
1670                                         AND cn.deleted IS FALSE
1671                                         AND ord.record = mrs.source
1672                                         $ot_filter
1673                                         $of_filter
1674                                         $oa_filter
1675                                         $ol_filter
1676                                         $olf_filter
1677                                   LIMIT 1
1678                                 )
1679                                 OR EXISTS (
1680                                 SELECT  1
1681                                   FROM  $br_table br,
1682                                         $metabib_metarecord_source_map_table mrs,
1683                                         $metabib_record_descriptor ord,
1684                                         $source_table src
1685                                   WHERE mrs.metarecord = s.metarecord
1686                                         AND ord.record = mrs.source
1687                                         AND br.id = mrs.source
1688                                         AND br.source = src.id
1689                                         AND src.transcendant IS TRUE
1690                                         $ot_filter
1691                                         $of_filter
1692                                         $oa_filter
1693                                         $ol_filter
1694                                         $olf_filter
1695                                 )
1696                           ORDER BY 4 $sort_dir, 5
1697                 SQL
1698         } else {
1699                 $select = <<"           SQL";
1700
1701                         SELECT  DISTINCT s.*
1702                           FROM  ($select) s,
1703                                 $metabib_metarecord_source_map_table omrs,
1704                                 $metabib_record_descriptor ord
1705                           WHERE omrs.metarecord = s.metarecord
1706                                 AND ord.record = omrs.source
1707                                 AND (   EXISTS (
1708                                                 SELECT  1
1709                                                   FROM  $asset_call_number_table cn,
1710                                                         $descendants d,
1711                                                         $br_table br
1712                                                   WHERE br.id = omrs.source
1713                                                         AND cn.record = omrs.source
1714                                                         AND cn.owning_lib = d.id
1715                                                         AND br.deleted IS FALSE
1716                                                         AND cn.deleted IS FALSE
1717                                                   LIMIT 1
1718                                         )
1719                                         OR NOT EXISTS (
1720                                                 SELECT  1
1721                                                   FROM  $asset_call_number_table cn
1722                                                   WHERE cn.record = omrs.source
1723                                                         AND cn.deleted IS FALSE
1724                                                   LIMIT 1
1725                                         )
1726                                         OR EXISTS (
1727                                         SELECT  1
1728                                           FROM  $br_table br,
1729                                                 $metabib_metarecord_source_map_table mrs,
1730                                                 $metabib_record_descriptor ord,
1731                                                 $source_table src
1732                                           WHERE mrs.metarecord = s.metarecord
1733                                                 AND br.id = mrs.source
1734                                                 AND br.source = src.id
1735                                                 AND src.transcendant IS TRUE
1736                                                 $ot_filter
1737                                                 $of_filter
1738                                                 $oa_filter
1739                                                 $ol_filter
1740                                                 $olf_filter
1741                                         )
1742                                 )
1743                                 $ot_filter
1744                                 $of_filter
1745                                 $oa_filter
1746                                 $ol_filter
1747                                 $olf_filter
1748
1749                           ORDER BY 4 $sort_dir, 5
1750                 SQL
1751         }
1752
1753
1754         $log->debug("Field Search SQL :: [$select]",DEBUG);
1755
1756         my $recs = $_cdbi->{title}->db_Main->selectall_arrayref(
1757                         $select, {},
1758                         @bonus_values,
1759                         @types, @forms, @aud, @lang, @lit_form,
1760                         @types, @forms, @aud, @lang, @lit_form,
1761                         # ($self->api_name =~ /staff/o ? (@types, @forms, @aud, @lang, @lit_form) : () )
1762         );
1763
1764         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
1765
1766         my $max = 0;
1767         $max = 1 if (!@$recs);
1768         for (@$recs) {
1769                 $max = $$_[1] if ($$_[1] > $max);
1770         }
1771
1772         my $count = scalar(@$recs);
1773         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
1774                 next unless ($$rec[0]);
1775                 my ($mrid,$rank,$skip) = @$rec;
1776                 $client->respond( [$mrid, sprintf('%0.3f',$rank/$max), $skip, $count] );
1777         }
1778         return undef;
1779 }
1780
1781 __PACKAGE__->register_method(
1782         api_name        => "open-ils.storage.metabib.post_filter.multiclass.search_fts.metarecord",
1783         method          => 'postfilter_search_multi_class_fts',
1784         api_level       => 1,
1785         stream          => 1,
1786         cachable        => 1,
1787 );
1788 __PACKAGE__->register_method(
1789         api_name        => "open-ils.storage.metabib.post_filter.multiclass.search_fts.metarecord.staff",
1790         method          => 'postfilter_search_multi_class_fts',
1791         api_level       => 1,
1792         stream          => 1,
1793         cachable        => 1,
1794 );
1795
1796 __PACKAGE__->register_method(
1797         api_name        => "open-ils.storage.metabib.multiclass.search_fts",
1798         method          => 'postfilter_search_multi_class_fts',
1799         api_level       => 1,
1800         stream          => 1,
1801         cachable        => 1,
1802 );
1803 __PACKAGE__->register_method(
1804         api_name        => "open-ils.storage.metabib.multiclass.search_fts.staff",
1805         method          => 'postfilter_search_multi_class_fts',
1806         api_level       => 1,
1807         stream          => 1,
1808         cachable        => 1,
1809 );
1810
1811 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
1812 sub biblio_search_multi_class_fts {
1813         my $self = shift;
1814         my $client = shift;
1815         my %args = @_;
1816
1817         my $sort = $args{'sort'};
1818         my $sort_dir = $args{sort_dir} || 'DESC';
1819         my $ou = $args{org_unit};
1820         my $ou_type = $args{depth};
1821         my $limit = $args{limit} || 10;
1822         my $visiblity_limit = $args{visiblity_limit} || 5000;
1823         my $offset = $args{offset} || 0;
1824
1825         if (!$ou) {
1826                 $ou = actor::org_unit->search( { parent_ou => undef } )->next->id;
1827         }
1828
1829         if (!defined($args{org_unit})) {
1830                 die "No target organizational unit passed to ".$self->api_name;
1831         }
1832
1833         if (! scalar( keys %{$args{searches}} )) {
1834                 die "No search arguments were passed to ".$self->api_name;
1835         }
1836
1837         my $outer_limit = 1000;
1838
1839         my $limit_clause = '';
1840         my $offset_clause = '';
1841
1842         $limit_clause = "LIMIT $outer_limit";
1843         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
1844
1845         my (@types,@forms,@lang,@aud,@lit_form);
1846         my ($t_filter, $f_filter) = ('','');
1847         my ($a_filter, $l_filter, $lf_filter) = ('','','');
1848         my ($ot_filter, $of_filter) = ('','');
1849         my ($oa_filter, $ol_filter, $olf_filter) = ('','','');
1850
1851         if (my $a = $args{audience}) {
1852                 $a = [$a] if (!ref($a));
1853                 @aud = @$a;
1854
1855                 $a_filter = ' AND rd.audience IN ('.join(',',map{'?'}@aud).')';
1856                 $oa_filter = ' AND ord.audience IN ('.join(',',map{'?'}@aud).')';
1857         }
1858
1859         if (my $l = $args{language}) {
1860                 $l = [$l] if (!ref($l));
1861                 @lang = @$l;
1862
1863                 $l_filter = ' AND rd.item_lang IN ('.join(',',map{'?'}@lang).')';
1864                 $ol_filter = ' AND ord.item_lang IN ('.join(',',map{'?'}@lang).')';
1865         }
1866
1867         if (my $f = $args{lit_form}) {
1868                 $f = [$f] if (!ref($f));
1869                 @lit_form = @$f;
1870
1871                 $lf_filter = ' AND rd.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1872                 $olf_filter = ' AND ord.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1873         }
1874
1875         if (my $f = $args{item_form}) {
1876                 $f = [$f] if (!ref($f));
1877                 @forms = @$f;
1878
1879                 $f_filter = ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1880                 $of_filter = ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1881         }
1882
1883         if (my $t = $args{item_type}) {
1884                 $t = [$t] if (!ref($t));
1885                 @types = @$t;
1886
1887                 $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1888                 $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1889         }
1890
1891
1892         # XXX legacy format and item type support
1893         if ($args{format}) {
1894                 my ($t, $f) = split '-', $args{format};
1895                 @types = split '', $t;
1896                 @forms = split '', $f;
1897                 if (@types) {
1898                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1899                         $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1900                 }
1901
1902                 if (@forms) {
1903                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1904                         $of_filter .= ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1905                 }
1906         }
1907
1908
1909         my $descendants = defined($ou_type) ?
1910                                 "actor.org_unit_descendants($ou, $ou_type)" :
1911                                 "actor.org_unit_descendants($ou)";
1912
1913         my $search_table_list = '';
1914         my $fts_list = '';
1915         my $join_table_list = '';
1916         my @rank_list;
1917
1918
1919         my @bonus_lists;
1920         my @bonus_values;
1921         my $prev_search_class;
1922         my $curr_search_class;
1923         for my $search_class (sort keys %{$args{searches}}) {
1924                 $prev_search_class = $curr_search_class if ($curr_search_class);
1925
1926                 $curr_search_class = $search_class;
1927
1928                 my $class = $_cdbi->{$search_class};
1929                 my $search_table = $class->table;
1930
1931                 my ($index_col) = $class->columns('FTS');
1932                 $index_col ||= 'value';
1933
1934
1935                 my $fts = OpenILS::Application::Storage::FTS->compile($args{searches}{$search_class}{term}, $search_class.'.value', "$search_class.$index_col");
1936
1937                 my $fts_where = $fts->sql_where_clause;
1938                 my @fts_ranks = $fts->fts_rank;
1939
1940                 my $SQLstring = join('%',map { lc($_) } $fts->words);
1941                 my $REstring = '^' . join('\s+',map { lc($_) } $fts->words) . '\W*$';
1942                 my $first_word = lc(($fts->words)[0]).'%';
1943
1944                 my $rank = join(' + ', @fts_ranks);
1945
1946                 my %bonus = ();
1947                 $bonus{'keyword'} = [ { "CASE WHEN $search_class.value ILIKE ? THEN 1.2 ELSE 1 END" => $SQLstring } ];
1948
1949                 $bonus{'series'} = [
1950                         { "CASE WHEN $search_class.value ILIKE ? THEN 1.5 ELSE 1 END" => $first_word },
1951                         { "CASE WHEN $search_class.value ~ ? THEN 200 ELSE 1 END" => $REstring },
1952                 ];
1953
1954                 $bonus{'title'} = [ @{ $bonus{'series'} }, @{ $bonus{'keyword'} } ];
1955
1956                 my $bonus_list = join ' * ', map { keys %$_ } @{ $bonus{$search_class} };
1957                 $bonus_list ||= '1';
1958
1959                 push @bonus_lists, $bonus_list;
1960                 push @bonus_values, map { values %$_ } @{ $bonus{$search_class} };
1961
1962                 #---------------------
1963
1964                 $search_table_list .= "$search_table $search_class, ";
1965                 push @rank_list,$rank;
1966                 $fts_list .= " AND $fts_where AND b.id = $search_class.source";
1967
1968                 if ($prev_search_class) {
1969                         $join_table_list .= " AND $prev_search_class.source = $curr_search_class.source";
1970                 }
1971         }
1972
1973         my $metabib_record_descriptor = metabib::record_descriptor->table;
1974         my $metabib_full_rec = metabib::full_rec->table;
1975         my $metabib_metarecord = metabib::metarecord->table;
1976         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
1977         my $asset_call_number_table = asset::call_number->table;
1978         my $asset_copy_table = asset::copy->table;
1979         my $cs_table = config::copy_status->table;
1980         my $cl_table = asset::copy_location->table;
1981         my $br_table = biblio::record_entry->table;
1982         my $source_table = config::bib_source->table;
1983
1984
1985         my $bonuses = join (' * ', @bonus_lists);
1986         my $relevance = join (' + ', @rank_list);
1987         $relevance = "AVG( ($relevance) * ($bonuses) )";
1988
1989
1990         my $rank = $relevance;
1991         if (lc($sort) eq 'pubdate') {
1992                 $rank = <<"             RANK";
1993                         ( FIRST ((
1994                                 SELECT  COALESCE(SUBSTRING(frp.value FROM '\\\\d{4}'),'9999')::INT
1995                                   FROM  $metabib_full_rec frp
1996                                   WHERE frp.record = b.id
1997                                         AND frp.tag = '260'
1998                                         AND frp.subfield = 'c'
1999                                   LIMIT 1
2000                         )) )
2001                 RANK
2002         } elsif (lc($sort) eq 'create_date') {
2003                 $rank = <<"             RANK";
2004                         ( FIRST (( SELECT create_date FROM $br_table rbr WHERE rbr.id = b.id)) )
2005                 RANK
2006         } elsif (lc($sort) eq 'edit_date') {
2007                 $rank = <<"             RANK";
2008                         ( FIRST (( SELECT edit_date FROM $br_table rbr WHERE rbr.id = b.id)) )
2009                 RANK
2010         } elsif (lc($sort) eq 'title') {
2011                 $rank = <<"             RANK";
2012                         ( FIRST ((
2013                                 SELECT  COALESCE(LTRIM(SUBSTR( frt.value, COALESCE(SUBSTRING(frt.ind2 FROM '\\\\d+'),'0')::INT )),'zzzzzzzz')
2014                                   FROM  $metabib_full_rec frt
2015                                   WHERE frt.record = b.id
2016                                         AND frt.tag = '245'
2017                                         AND frt.subfield = 'a'
2018                                   LIMIT 1
2019                         )) )
2020                 RANK
2021         } elsif (lc($sort) eq 'author') {
2022                 $rank = <<"             RANK";
2023                         ( FIRST((
2024                                 SELECT  COALESCE(LTRIM(fra.value),'zzzzzzzz')
2025                                   FROM  $metabib_full_rec fra
2026                                   WHERE fra.record = b.id
2027                                         AND fra.tag LIKE '1%'
2028                                         AND fra.subfield = 'a'
2029                                   ORDER BY fra.tag::text::int
2030                                   LIMIT 1
2031                         )) )
2032                 RANK
2033         } else {
2034                 push @bonus_values, @bonus_values;
2035                 $sort = undef;
2036         }
2037
2038
2039         my $select = <<"        SQL";
2040                 SELECT  b.id,
2041                         $relevance AS rel,
2042                         $rank AS rank,
2043                         b.source
2044                 FROM    $search_table_list
2045                         $metabib_record_descriptor rd,
2046                         $source_table src,
2047                         $br_table b
2048                 WHERE   rd.record = b.id
2049                         AND b.active IS TRUE
2050                         AND b.deleted IS FALSE
2051                         $fts_list
2052                         $join_table_list
2053                         $t_filter
2054                         $f_filter
2055                         $a_filter
2056                         $l_filter
2057                         $lf_filter
2058                 GROUP BY b.id, b.source
2059                 ORDER BY 3 $sort_dir
2060                 LIMIT $visiblity_limit
2061         SQL
2062
2063         if ($self->api_name !~ /staff/o) {
2064                 $select = <<"           SQL";
2065
2066                         SELECT  s.*
2067                           FROM  ($select) s
2068                                 LEFT OUTER JOIN $source_table src ON (s.source = src.id)
2069                           WHERE EXISTS (
2070                                 SELECT  1
2071                                   FROM  $asset_call_number_table cn,
2072                                         $asset_copy_table cp,
2073                                         $cs_table cs,
2074                                         $cl_table cl,
2075                                         $descendants d
2076                                   WHERE cn.record = s.id
2077                                         AND cp.status = cs.id
2078                                         AND cp.location = cl.id
2079                                         AND cn.owning_lib = d.id
2080                                         AND cp.call_number = cn.id
2081                                         AND cp.opac_visible IS TRUE
2082                                         AND cs.holdable IS TRUE
2083                                         AND cl.opac_visible IS TRUE
2084                                         AND cp.deleted IS FALSE
2085                                         AND cn.deleted IS FALSE
2086                                   LIMIT 1
2087                                 )
2088                                 OR src.transcendant IS TRUE
2089                           ORDER BY 3 $sort_dir
2090                 SQL
2091         } else {
2092                 $select = <<"           SQL";
2093
2094                         SELECT  s.*
2095                           FROM  ($select) s
2096                                 LEFT OUTER JOIN $source_table src ON (s.source = src.id)
2097                           WHERE EXISTS (
2098                                 SELECT  1
2099                                   FROM  $asset_call_number_table cn,
2100                                         $descendants d
2101                                   WHERE cn.record = s.id
2102                                         AND cn.owning_lib = d.id
2103                                         AND cn.deleted IS FALSE
2104                                   LIMIT 1
2105                                 )
2106                                 OR NOT EXISTS (
2107                                 SELECT  1
2108                                   FROM  $asset_call_number_table cn
2109                                   WHERE cn.record = s.id
2110                                   LIMIT 1
2111                                 )
2112                                 OR src.transcendant IS TRUE
2113                           ORDER BY 3 $sort_dir
2114                 SQL
2115         }
2116
2117
2118         $log->debug("Field Search SQL :: [$select]",DEBUG);
2119
2120         my $recs = $_cdbi->{title}->db_Main->selectall_arrayref(
2121                         $select, {},
2122                         @bonus_values, @types, @forms, @aud, @lang, @lit_form
2123         );
2124
2125         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
2126
2127         my $max = 0;
2128         $max = 1 if (!@$recs);
2129         for (@$recs) {
2130                 $max = $$_[1] if ($$_[1] > $max);
2131         }
2132
2133         my $count = scalar(@$recs);
2134         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
2135                 next unless ($$rec[0]);
2136                 my ($mrid,$rank) = @$rec;
2137                 $client->respond( [$mrid, sprintf('%0.3f',$rank/$max), $count] );
2138         }
2139         return undef;
2140 }
2141
2142 __PACKAGE__->register_method(
2143         api_name        => "open-ils.storage.biblio.multiclass.search_fts.record",
2144         method          => 'biblio_search_multi_class_fts',
2145         api_level       => 1,
2146         stream          => 1,
2147         cachable        => 1,
2148 );
2149 __PACKAGE__->register_method(
2150         api_name        => "open-ils.storage.biblio.multiclass.search_fts.record.staff",
2151         method          => 'biblio_search_multi_class_fts',
2152         api_level       => 1,
2153         stream          => 1,
2154         cachable        => 1,
2155 );
2156
2157
2158
2159 __PACKAGE__->register_method(
2160         api_name        => "open-ils.storage.biblio.multiclass.search_fts",
2161         method          => 'biblio_search_multi_class_fts',
2162         api_level       => 1,
2163         stream          => 1,
2164         cachable        => 1,
2165 );
2166 __PACKAGE__->register_method(
2167         api_name        => "open-ils.storage.biblio.multiclass.search_fts.staff",
2168         method          => 'biblio_search_multi_class_fts',
2169         api_level       => 1,
2170         stream          => 1,
2171         cachable        => 1,
2172 );
2173
2174
2175 1;
2176