Open-ILS/src/perlmods/OpenILS/Application/Storage/Publisher/metabib.pm

   1 package OpenILS::Application::Storage::Publisher::metabib;
   2 use base qw/OpenILS::Application::Storage::Publisher/;
   3 use vars qw/$VERSION/;
   4 use OpenSRF::EX qw/:try/;
   5 use OpenILS::Application::Storage::FTS;
   6 use OpenILS::Utils::Fieldmapper;
   7 use OpenSRF::Utils::Logger qw/:level/;
   8 use OpenSRF::Utils::Cache;
   9 use Data::Dumper;
  10 use Digest::MD5 qw/md5_hex/;
  11
  12
  13 my $log = 'OpenSRF::Utils::Logger';
  14
  15 $VERSION = 1;
  16
  17 sub ordered_records_from_metarecord {
  18         my $self = shift;
  19         my $client = shift;
  20         my $mr = shift;
  21         my $formats = shift;
  22         my $org = shift || 1;
  23         my $depth = shift;
  24
  25         my (@types,@forms);
  26
  27         if ($formats) {
  28                 my ($t, $f) = split '-', $formats;
  29                 @types = split '', $t;
  30                 @forms = split '', $f;
  31         }
  32
  33         my $descendants =
  34                 defined($depth) ?
  35                         "actor.org_unit_descendants($org, $depth)" :
  36                         "actor.org_unit_descendants($org)" ;
  37
  38
  39         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
  40         $copies_visible = '' if ($self->api_name =~ /staff/o);
  41
  42         my $sm_table = metabib::metarecord_source_map->table;
  43         my $rd_table = metabib::record_descriptor->table;
  44         my $fr_table = metabib::full_rec->table;
  45         my $cn_table = asset::call_number->table;
  46         my $cl_table = asset::copy_location->table;
  47         my $cp_table = asset::copy->table;
  48         my $cs_table = config::copy_status->table;
  49         my $src_table = config::bib_source->table;
  50         my $out_table = actor::org_unit_type->table;
  51         my $br_table = biblio::record_entry->table;
  52
  53         my $sql = <<"   SQL";
  54                 SELECT  record,
  55                         item_type,
  56                         item_form,
  57                         quality,
  58                         FIRST(COALESCE(LTRIM(SUBSTR( value, COALESCE(SUBSTRING(ind2 FROM '\\\\d+'),'0')::INT )),'zzzzzzzz')) AS title
  59                 FROM    (
  60                         SELECT  rd.record,
  61                                 rd.item_type,
  62                                 rd.item_form,
  63                                 br.quality,
  64                                 fr.tag,
  65                                 fr.subfield,
  66                                 fr.value,
  67                                 fr.ind2
  68         SQL
  69
  70         if ($copies_visible) {
  71                 $sql .= <<"             SQL";
  72                           FROM  $sm_table sm,
  73                                 $br_table br,
  74                                 $fr_table fr,
  75                                 $rd_table rd
  76                           WHERE rd.record = sm.source
  77                                 AND fr.record = sm.source
  78                                 AND br.id = sm.source
  79                                 AND sm.metarecord = ?
  80                                 AND (EXISTS ((SELECT    1
  81                                                 FROM    $cp_table cp
  82                                                         JOIN $cn_table cn ON (cp.call_number = cn.id)
  83                                                         JOIN $cs_table cs ON (cp.status = cs.id)
  84                                                         JOIN $cl_table cl ON (cp.location = cl.id)
  85                                                         JOIN $descendants d ON (cp.circ_lib = d.id)
  86                                                 WHERE   cn.record = sm.source
  87                                                         $copies_visible
  88                                                 LIMIT 1))
  89                                         OR EXISTS ((
  90                                             SELECT      1
  91                                               FROM      $src_table src
  92                                               WHERE     src.id = br.source
  93                                                         AND src.transcendant IS TRUE))
  94                                 )
  95
  96                 SQL
  97         } else {
  98                 $sql .= <<"             SQL";
  99                           FROM  $sm_table sm
 100                                 JOIN $br_table br ON (sm.source = br.id)
 101                                 JOIN $fr_table fr ON (fr.record = br.id)
 102                                 JOIN $rd_table rd ON (rd.record = br.id)
 103                           WHERE sm.metarecord = ?
 104                                 AND ((  EXISTS (
 105                                                 SELECT  1
 106                                                   FROM  $cp_table cp,
 107                                                         $cn_table cn,
 108                                                         $descendants d
 109                                                   WHERE cn.record = br.id
 110                                                         AND cn.deleted = FALSE
 111                                                         AND cp.deleted = FALSE
 112                                                         AND cp.circ_lib = d.id
 113                                                         AND cn.id = cp.call_number
 114                                                   LIMIT 1
 115                                         ) OR NOT EXISTS (
 116                                                 SELECT  1
 117                                                   FROM  $cp_table cp,
 118                                                         $cn_table cn
 119                                                   WHERE cn.record = br.id
 120                                                         AND cn.deleted = FALSE
 121                                                         AND cp.deleted = FALSE
 122                                                         AND cn.id = cp.call_number
 123                                                   LIMIT 1
 124                                         ))
 125                                         OR EXISTS ((
 126                                             SELECT      1
 127                                               FROM      $src_table src
 128                                               WHERE     src.id = br.source
 129                                                         AND src.transcendant IS TRUE))
 130                                 )
 131                 SQL
 132         }
 133
 134         if (@types) {
 135                 $sql .= '                               AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 136         }
 137
 138         if (@forms) {
 139                 $sql .= '                               AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 140         }
 141
 142
 143
 144         $sql .= <<"     SQL";
 145                           OFFSET 0
 146                         ) AS x
 147           WHERE tag = '245'
 148                 AND subfield = 'a'
 149           GROUP BY record, item_type, item_form, quality
 150           ORDER BY
 151                 CASE
 152                         WHEN item_type IS NULL -- default
 153                                 THEN 0
 154                         WHEN item_type = '' -- default
 155                                 THEN 0
 156                         WHEN item_type IN ('a','t') -- books
 157                                 THEN 1
 158                         WHEN item_type = 'g' -- movies
 159                                 THEN 2
 160                         WHEN item_type IN ('i','j') -- sound recordings
 161                                 THEN 3
 162                         WHEN item_type = 'm' -- software
 163                                 THEN 4
 164                         WHEN item_type = 'k' -- images
 165                                 THEN 5
 166                         WHEN item_type IN ('e','f') -- maps
 167                                 THEN 6
 168                         WHEN item_type IN ('o','p') -- mixed
 169                                 THEN 7
 170                         WHEN item_type IN ('c','d') -- music
 171                                 THEN 8
 172                         WHEN item_type = 'r' -- 3d
 173                                 THEN 9
 174                 END,
 175                 title ASC,
 176                 quality DESC
 177         SQL
 178
 179         my $ids = metabib::metarecord_source_map->db_Main->selectcol_arrayref($sql, {}, "$mr", @types, @forms);
 180         return $ids if ($self->api_name =~ /atomic$/o);
 181
 182         $client->respond( $_ ) for ( @$ids );
 183         return undef;
 184
 185 }
 186 __PACKAGE__->register_method(
 187         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records',
 188         method          => 'ordered_records_from_metarecord',
 189         api_level       => 1,
 190         cachable        => 1,
 191 );
 192 __PACKAGE__->register_method(
 193         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records.staff',
 194         method          => 'ordered_records_from_metarecord',
 195         api_level       => 1,
 196         cachable        => 1,
 197 );
 198
 199 __PACKAGE__->register_method(
 200         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records.atomic',
 201         method          => 'ordered_records_from_metarecord',
 202         api_level       => 1,
 203         cachable        => 1,
 204 );
 205 __PACKAGE__->register_method(
 206         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records.staff.atomic',
 207         method          => 'ordered_records_from_metarecord',
 208         api_level       => 1,
 209         cachable        => 1,
 210 );
 211
 212 sub isxn_search {
 213         my $self = shift;
 214         my $client = shift;
 215         my $isxn = shift;
 216
 217         my $tag = ($self->api_name =~ /isbn/o) ? '020' : '022';
 218
 219         my $fr_table = metabib::full_rec->table;
 220
 221         my $sql = <<"   SQL";
 222                 SELECT  record
 223                   FROM  $fr_table
 224                   WHERE tag = ?
 225                         AND value LIKE ?
 226         SQL
 227
 228         my $list = metabib::metarecord_source_map->db_Main->selectcol_arrayref($sql, {}, $tag, "$isxn%");
 229         $client->respond($_) for (@$list);
 230         return undef;
 231 }
 232 __PACKAGE__->register_method(
 233         api_name        => 'open-ils.storage.id_list.biblio.record_entry.search.isbn',
 234         method          => 'isxn_search',
 235         api_level       => 1,
 236         stream          => 1,
 237 );
 238 __PACKAGE__->register_method(
 239         api_name        => 'open-ils.storage.id_list.biblio.record_entry.search.issn',
 240         method          => 'isxn_search',
 241         api_level       => 1,
 242         stream          => 1,
 243 );
 244
 245 sub metarecord_copy_count {
 246         my $self = shift;
 247         my $client = shift;
 248
 249         my %args = @_;
 250
 251         my $sm_table = metabib::metarecord_source_map->table;
 252         my $rd_table = metabib::record_descriptor->table;
 253         my $cn_table = asset::call_number->table;
 254         my $cp_table = asset::copy->table;
 255         my $cl_table = asset::copy_location->table;
 256         my $cs_table = config::copy_status->table;
 257         my $out_table = actor::org_unit_type->table;
 258         my $descendants = "actor.org_unit_descendants(u.id)";
 259         my $ancestors = "actor.org_unit_ancestors(?)";
 260
 261         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 262         $copies_visible = '' if ($self->api_name =~ /staff/o);
 263
 264         my (@types,@forms);
 265         my ($t_filter, $f_filter) = ('','');
 266
 267         if ($args{format}) {
 268                 my ($t, $f) = split '-', $args{format};
 269                 @types = split '', $t;
 270                 @forms = split '', $f;
 271                 if (@types) {
 272                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 273                 }
 274
 275                 if (@forms) {
 276                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 277                 }
 278         }
 279
 280         my $sql = <<"   SQL";
 281                 SELECT  t.depth,
 282                         u.id AS org_unit,
 283                         sum(
 284                                 (SELECT count(cp.id)
 285                                   FROM  $sm_table r
 286                                         JOIN $cn_table cn ON (cn.record = r.source)
 287                                         JOIN $rd_table rd ON (cn.record = rd.record)
 288                                         JOIN $cp_table cp ON (cn.id = cp.call_number)
 289                                         JOIN $cs_table cs ON (cp.status = cs.id)
 290                                         JOIN $cl_table cl ON (cp.location = cl.id)
 291                                         JOIN $descendants a ON (cp.circ_lib = a.id)
 292                                   WHERE r.metarecord = ?
 293                                         AND cn.deleted IS FALSE
 294                                         AND cp.deleted IS FALSE
 295                                         $copies_visible
 296                                         $t_filter
 297                                         $f_filter
 298                                 )
 299                         ) AS count,
 300                         sum(
 301                                 (SELECT count(cp.id)
 302                                   FROM  $sm_table r
 303                                         JOIN $cn_table cn ON (cn.record = r.source)
 304                                         JOIN $rd_table rd ON (cn.record = rd.record)
 305                                         JOIN $cp_table cp ON (cn.id = cp.call_number)
 306                                         JOIN $cs_table cs ON (cp.status = cs.id)
 307                                         JOIN $cl_table cl ON (cp.location = cl.id)
 308                                         JOIN $descendants a ON (cp.circ_lib = a.id)
 309                                   WHERE r.metarecord = ?
 310                                         AND cp.status = 0
 311                                         AND cn.deleted IS FALSE
 312                                         AND cp.deleted IS FALSE
 313                                         $copies_visible
 314                                         $t_filter
 315                                         $f_filter
 316                                 )
 317                         ) AS available,
 318                         sum(
 319                                 (SELECT count(cp.id)
 320                                   FROM  $sm_table r
 321                                         JOIN $cn_table cn ON (cn.record = r.source)
 322                                         JOIN $rd_table rd ON (cn.record = rd.record)
 323                                         JOIN $cp_table cp ON (cn.id = cp.call_number)
 324                                         JOIN $cs_table cs ON (cp.status = cs.id)
 325                                         JOIN $cl_table cl ON (cp.location = cl.id)
 326                                   WHERE r.metarecord = ?
 327                                         AND cn.deleted IS FALSE
 328                                         AND cp.deleted IS FALSE
 329                                         AND cp.opac_visible IS TRUE
 330                                         AND cs.holdable IS TRUE
 331                                         AND cl.opac_visible IS TRUE
 332                                         $t_filter
 333                                         $f_filter
 334                                 )
 335                         ) AS unshadow
 336
 337                   FROM  $ancestors u
 338                         JOIN $out_table t ON (u.ou_type = t.id)
 339                   GROUP BY 1,2
 340         SQL
 341
 342         my $sth = metabib::metarecord_source_map->db_Main->prepare_cached($sql);
 343         $sth->execute(  ''.$args{metarecord},
 344                         @types,
 345                         @forms,
 346                         ''.$args{metarecord},
 347                         @types,
 348                         @forms,
 349                         ''.$args{metarecord},
 350                         @types,
 351                         @forms,
 352                         ''.$args{org_unit},
 353         );
 354
 355         while ( my $row = $sth->fetchrow_hashref ) {
 356                 $client->respond( $row );
 357         }
 358         return undef;
 359 }
 360 __PACKAGE__->register_method(
 361         api_name        => 'open-ils.storage.metabib.metarecord.copy_count',
 362         method          => 'metarecord_copy_count',
 363         api_level       => 1,
 364         stream          => 1,
 365         cachable        => 1,
 366 );
 367 __PACKAGE__->register_method(
 368         api_name        => 'open-ils.storage.metabib.metarecord.copy_count.staff',
 369         method          => 'metarecord_copy_count',
 370         api_level       => 1,
 371         stream          => 1,
 372         cachable        => 1,
 373 );
 374
 375 sub biblio_multi_search_full_rec {
 376         my $self = shift;
 377         my $client = shift;
 378
 379         my %args = @_;
 380         my $class_join = $args{class_join} || 'AND';
 381         my $limit = $args{limit} || 100;
 382         my $offset = $args{offset} || 0;
 383         my $sort = $args{'sort'};
 384         my $sort_dir = $args{sort_dir} || 'DESC';
 385
 386         my @binds;
 387         my @selects;
 388
 389         for my $arg (@{ $args{searches} }) {
 390                 my $term = $$arg{term};
 391                 my $limiters = $$arg{restrict};
 392
 393                 my ($index_col) = metabib::full_rec->columns('FTS');
 394                 $index_col ||= 'value';
 395                 my $search_table = metabib::full_rec->table;
 396
 397                 my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
 398
 399                 my $fts_where = $fts->sql_where_clause();
 400                 my @fts_ranks = $fts->fts_rank;
 401
 402                 my $rank = join(' + ', @fts_ranks);
 403
 404                 my @wheres;
 405                 for my $limit (@$limiters) {
 406                         push @wheres, "( tag = ? AND subfield LIKE ? AND $fts_where )";
 407                         push @binds, $$limit{tag}, $$limit{subfield};
 408                         $log->debug("Limiting query using { tag => $$limit{tag}, subfield => $$limit{subfield} }", DEBUG);
 409                 }
 410                 my $where = join(' OR ', @wheres);
 411
 412                 push @selects, "SELECT id, record, $rank as sum FROM $search_table WHERE $where";
 413
 414         }
 415
 416         my $descendants = defined($args{depth}) ?
 417                                 "actor.org_unit_descendants($args{org_unit}, $args{depth})" :
 418                                 "actor.org_unit_descendants($args{org_unit})" ;
 419
 420
 421         my $metabib_record_descriptor = metabib::record_descriptor->table;
 422         my $metabib_full_rec = metabib::full_rec->table;
 423         my $asset_call_number_table = asset::call_number->table;
 424         my $asset_copy_table = asset::copy->table;
 425         my $cs_table = config::copy_status->table;
 426         my $cl_table = asset::copy_location->table;
 427         my $br_table = biblio::record_entry->table;
 428
 429         my $cj = 'HAVING COUNT(x.id) = ' . scalar(@selects) if ($class_join eq 'AND');
 430         my $search_table =
 431                 '(SELECT x.record, sum(x.sum) FROM (('.
 432                         join(') UNION ALL (', @selects).
 433                         ")) x GROUP BY 1 $cj ORDER BY 2 DESC )";
 434
 435         my $has_vols = 'AND cn.owning_lib = d.id';
 436         my $has_copies = 'AND cp.call_number = cn.id';
 437         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 438
 439         if ($self->api_name =~ /staff/o) {
 440                 $copies_visible = '';
 441                 $has_copies = '' if ($ou_type == 0);
 442                 $has_vols = '' if ($ou_type == 0);
 443         }
 444
 445         my ($t_filter, $f_filter) = ('','');
 446         my ($a_filter, $l_filter, $lf_filter) = ('','','');
 447
 448         if (my $a = $args{audience}) {
 449                 $a = [$a] if (!ref($a));
 450                 my @aud = @$a;
 451
 452                 $a_filter = ' AND rd.audience IN ('.join(',',map{'?'}@aud).')';
 453                 push @binds, @aud;
 454         }
 455
 456         if (my $l = $args{language}) {
 457                 $l = [$l] if (!ref($l));
 458                 my @lang = @$l;
 459
 460                 $l_filter = ' AND rd.item_lang IN ('.join(',',map{'?'}@lang).')';
 461                 push @binds, @lang;
 462         }
 463
 464         if (my $f = $args{lit_form}) {
 465                 $f = [$f] if (!ref($f));
 466                 my @lit_form = @$f;
 467
 468                 $lf_filter = ' AND rd.lit_form IN ('.join(',',map{'?'}@lit_form).')';
 469                 push @binds, @lit_form;
 470         }
 471
 472         if (my $f = $args{item_form}) {
 473                 $f = [$f] if (!ref($f));
 474                 my @forms = @$f;
 475
 476                 $f_filter = ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 477                 push @binds, @forms;
 478         }
 479
 480         if (my $t = $args{item_type}) {
 481                 $t = [$t] if (!ref($t));
 482                 my @types = @$t;
 483
 484                 $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 485                 push @binds, @types;
 486         }
 487
 488
 489         if ($args{format}) {
 490                 my ($t, $f) = split '-', $args{format};
 491                 my @types = split '', $t;
 492                 my @forms = split '', $f;
 493                 if (@types) {
 494                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 495                 }
 496
 497                 if (@forms) {
 498                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 499                 }
 500                 push @binds, @types, @forms;
 501         }
 502
 503         my $relevance = 'sum(f.sum)';
 504         $relevance = 1 if (!$copies_visible);
 505
 506         my $rank = $relevance;
 507         if (lc($sort) eq 'pubdate') {
 508                 $rank = <<"             RANK";
 509                         ( FIRST ((
 510                                 SELECT  COALESCE(SUBSTRING(frp.value FROM '\\\\d+'),'9999')::INT
 511                                   FROM  $metabib_full_rec frp
 512                                   WHERE frp.record = f.record
 513                                         AND frp.tag = '260'
 514                                         AND frp.subfield = 'c'
 515                                   LIMIT 1
 516                         )) )
 517                 RANK
 518         } elsif (lc($sort) eq 'create_date') {
 519                 $rank = <<"             RANK";
 520                         ( FIRST (( SELECT create_date FROM $br_table rbr WHERE rbr.id = f.record)) )
 521                 RANK
 522         } elsif (lc($sort) eq 'edit_date') {
 523                 $rank = <<"             RANK";
 524                         ( FIRST (( SELECT edit_date FROM $br_table rbr WHERE rbr.id = f.record)) )
 525                 RANK
 526         } elsif (lc($sort) eq 'title') {
 527                 $rank = <<"             RANK";
 528                         ( FIRST ((
 529                                 SELECT  COALESCE(LTRIM(SUBSTR( frt.value, COALESCE(SUBSTRING(frt.ind2 FROM '\\\\d+'),'0')::INT )),'zzzzzzzz')
 530                                   FROM  $metabib_full_rec frt
 531                                   WHERE frt.record = f.record
 532                                         AND frt.tag = '245'
 533                                         AND frt.subfield = 'a'
 534                                   LIMIT 1
 535                         )) )
 536                 RANK
 537         } elsif (lc($sort) eq 'author') {
 538                 $rank = <<"             RANK";
 539                         ( FIRST((
 540                                 SELECT  COALESCE(LTRIM(fra.value),'zzzzzzzz')
 541                                   FROM  $metabib_full_rec fra
 542                                   WHERE fra.record = f.record
 543                                         AND fra.tag LIKE '1%'
 544                                         AND fra.subfield = 'a'
 545                                   ORDER BY fra.tag::text::int
 546                                   LIMIT 1
 547                         )) )
 548                 RANK
 549         } else {
 550                 $sort = undef;
 551         }
 552
 553
 554         if ($copies_visible) {
 555                 $select = <<"           SQL";
 556                         SELECT  f.record, $relevance, count(DISTINCT cp.id), $rank
 557                         FROM    $search_table f,
 558                                 $asset_call_number_table cn,
 559                                 $asset_copy_table cp,
 560                                 $cs_table cs,
 561                                 $cl_table cl,
 562                                 $br_table br,
 563                                 $metabib_record_descriptor rd,
 564                                 $descendants d
 565                         WHERE   br.id = f.record
 566                                 AND cn.record = f.record
 567                                 AND rd.record = f.record
 568                                 AND cp.status = cs.id
 569                                 AND cp.location = cl.id
 570                                 AND br.deleted IS FALSE
 571                                 AND cn.deleted IS FALSE
 572                                 AND cp.deleted IS FALSE
 573                                 $has_vols
 574                                 $has_copies
 575                                 $copies_visible
 576                                 $t_filter
 577                                 $f_filter
 578                                 $a_filter
 579                                 $l_filter
 580                                 $lf_filter
 581                         GROUP BY f.record HAVING count(DISTINCT cp.id) > 0
 582                         ORDER BY 4 $sort_dir,3 DESC
 583                 SQL
 584         } else {
 585                 $select = <<"           SQL";
 586                         SELECT  f.record, 1, 1, $rank
 587                         FROM    $search_table f,
 588                                 $br_table br,
 589                                 $metabib_record_descriptor rd
 590                         WHERE   br.id = f.record
 591                                 AND rd.record = f.record
 592                                 AND br.deleted IS FALSE
 593                                 $t_filter
 594                                 $f_filter
 595                                 $a_filter
 596                                 $l_filter
 597                                 $lf_filter
 598                         GROUP BY 1,2,3
 599                         ORDER BY 4 $sort_dir
 600                 SQL
 601         }
 602
 603
 604         $log->debug("Search SQL :: [$select]",DEBUG);
 605
 606         my $recs = metabib::full_rec->db_Main->selectall_arrayref("$select;", {}, @binds);
 607         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
 608
 609         my $max = 0;
 610         $max = 1 if (!@$recs);
 611         for (@$recs) {
 612                 $max = $$_[1] if ($$_[1] > $max);
 613         }
 614
 615         my $count = @$recs;
 616         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
 617                 next unless ($$rec[0]);
 618                 my ($rid,$rank,$junk,$skip) = @$rec;
 619                 $client->respond( [$rid, sprintf('%0.3f',$rank/$max), $count] );
 620         }
 621         return undef;
 622 }
 623 __PACKAGE__->register_method(
 624         api_name        => 'open-ils.storage.biblio.full_rec.multi_search',
 625         method          => 'biblio_multi_search_full_rec',
 626         api_level       => 1,
 627         stream          => 1,
 628         cachable        => 1,
 629 );
 630 __PACKAGE__->register_method(
 631         api_name        => 'open-ils.storage.biblio.full_rec.multi_search.staff',
 632         method          => 'biblio_multi_search_full_rec',
 633         api_level       => 1,
 634         stream          => 1,
 635         cachable        => 1,
 636 );
 637
 638 sub search_full_rec {
 639         my $self = shift;
 640         my $client = shift;
 641
 642         my %args = @_;
 643
 644         my $term = $args{term};
 645         my $limiters = $args{restrict};
 646
 647         my ($index_col) = metabib::full_rec->columns('FTS');
 648         $index_col ||= 'value';
 649         my $search_table = metabib::full_rec->table;
 650
 651         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
 652
 653         my $fts_where = $fts->sql_where_clause();
 654         my @fts_ranks = $fts->fts_rank;
 655
 656         my $rank = join(' + ', @fts_ranks);
 657
 658         my @binds;
 659         my @wheres;
 660         for my $limit (@$limiters) {
 661                 push @wheres, "( tag = ? AND subfield LIKE ? AND $fts_where )";
 662                 push @binds, $$limit{tag}, $$limit{subfield};
 663                 $log->debug("Limiting query using { tag => $$limit{tag}, subfield => $$limit{subfield} }", DEBUG);
 664         }
 665         my $where = join(' OR ', @wheres);
 666
 667         my $select = "SELECT record, sum($rank) FROM $search_table WHERE $where GROUP BY 1 ORDER BY 2 DESC;";
 668
 669         $log->debug("Search SQL :: [$select]",DEBUG);
 670
 671         my $recs = metabib::full_rec->db_Main->selectall_arrayref($select, {}, @binds);
 672         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
 673
 674         $client->respond($_) for (@$recs);
 675         return undef;
 676 }
 677 __PACKAGE__->register_method(
 678         api_name        => 'open-ils.storage.direct.metabib.full_rec.search_fts.value',
 679         method          => 'search_full_rec',
 680         api_level       => 1,
 681         stream          => 1,
 682         cachable        => 1,
 683 );
 684 __PACKAGE__->register_method(
 685         api_name        => 'open-ils.storage.direct.metabib.full_rec.search_fts.index_vector',
 686         method          => 'search_full_rec',
 687         api_level       => 1,
 688         stream          => 1,
 689         cachable        => 1,
 690 );
 691
 692
 693 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
 694 sub search_class_fts {
 695         my $self = shift;
 696         my $client = shift;
 697         my %args = @_;
 698
 699         my $term = $args{term};
 700         my $ou = $args{org_unit};
 701         my $ou_type = $args{depth};
 702         my $limit = $args{limit};
 703         my $offset = $args{offset};
 704
 705         my $limit_clause = '';
 706         my $offset_clause = '';
 707
 708         $limit_clause = "LIMIT $limit" if (defined $limit and int($limit) > 0);
 709         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
 710
 711         my (@types,@forms);
 712         my ($t_filter, $f_filter) = ('','');
 713
 714         if ($args{format}) {
 715                 my ($t, $f) = split '-', $args{format};
 716                 @types = split '', $t;
 717                 @forms = split '', $f;
 718                 if (@types) {
 719                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 720                 }
 721
 722                 if (@forms) {
 723                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 724                 }
 725         }
 726
 727
 728
 729         my $descendants = defined($ou_type) ?
 730                                 "actor.org_unit_descendants($ou, $ou_type)" :
 731                                 "actor.org_unit_descendants($ou)";
 732
 733         my $class = $self->{cdbi};
 734         my $search_table = $class->table;
 735
 736         my $metabib_record_descriptor = metabib::record_descriptor->table;
 737         my $metabib_metarecord = metabib::metarecord->table;
 738         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
 739         my $asset_call_number_table = asset::call_number->table;
 740         my $asset_copy_table = asset::copy->table;
 741         my $cs_table = config::copy_status->table;
 742         my $cl_table = asset::copy_location->table;
 743
 744         my ($index_col) = $class->columns('FTS');
 745         $index_col ||= 'value';
 746
 747         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'f.value', "f.$index_col");
 748
 749         my $fts_where = $fts->sql_where_clause;
 750         my @fts_ranks = $fts->fts_rank;
 751
 752         my $rank = join(' + ', @fts_ranks);
 753
 754         my $has_vols = 'AND cn.owning_lib = d.id';
 755         my $has_copies = 'AND cp.call_number = cn.id';
 756         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 757
 758         my $visible_count = ', count(DISTINCT cp.id)';
 759         my $visible_count_test = 'HAVING count(DISTINCT cp.id) > 0';
 760
 761         if ($self->api_name =~ /staff/o) {
 762                 $copies_visible = '';
 763                 $visible_count_test = '';
 764                 $has_copies = '' if ($ou_type == 0);
 765                 $has_vols = '' if ($ou_type == 0);
 766         }
 767
 768         my $rank_calc = <<"     RANK";
 769                 , (SUM( $rank
 770                         * CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END -- phrase order
 771                         * CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END -- first word match
 772                         * CASE WHEN f.value ~* ? THEN 2 ELSE 1 END -- only word match
 773                 )/COUNT(m.source)), MIN(COALESCE(CHAR_LENGTH(f.value),1))
 774         RANK
 775
 776         $rank_calc = ',1 , 1' if ($self->api_name =~ /unordered/o);
 777
 778         if ($copies_visible) {
 779                 $select = <<"           SQL";
 780                         SELECT  m.metarecord $rank_calc $visible_count, CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
 781                         FROM    $search_table f,
 782                                 $metabib_metarecord_source_map_table m,
 783                                 $asset_call_number_table cn,
 784                                 $asset_copy_table cp,
 785                                 $cs_table cs,
 786                                 $cl_table cl,
 787                                 $metabib_record_descriptor rd,
 788                                 $descendants d
 789                         WHERE   $fts_where
 790                                 AND m.source = f.source
 791                                 AND cn.record = m.source
 792                                 AND rd.record = m.source
 793                                 AND cp.status = cs.id
 794                                 AND cp.location = cl.id
 795                                 $has_vols
 796                                 $has_copies
 797                                 $copies_visible
 798                                 $t_filter
 799                                 $f_filter
 800                         GROUP BY 1 $visible_count_test
 801                         ORDER BY 2 DESC,3
 802                         $limit_clause $offset_clause
 803                 SQL
 804         } else {
 805                 $select = <<"           SQL";
 806                         SELECT  m.metarecord $rank_calc, 0, CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
 807                         FROM    $search_table f,
 808                                 $metabib_metarecord_source_map_table m,
 809                                 $metabib_record_descriptor rd
 810                         WHERE   $fts_where
 811                                 AND m.source = f.source
 812                                 AND rd.record = m.source
 813                                 $t_filter
 814                                 $f_filter
 815                         GROUP BY 1, 4
 816                         ORDER BY 2 DESC,3
 817                         $limit_clause $offset_clause
 818                 SQL
 819         }
 820
 821         $log->debug("Field Search SQL :: [$select]",DEBUG);
 822
 823         my $SQLstring = join('%',$fts->words);
 824         my $REstring = join('\\s+',$fts->words);
 825         my $first_word = ($fts->words)[0].'%';
 826         my $recs = ($self->api_name =~ /unordered/o) ?
 827                         $class->db_Main->selectall_arrayref($select, {}, @types, @forms) :
 828                         $class->db_Main->selectall_arrayref($select, {},
 829                                 '%'.lc($SQLstring).'%',                 # phrase order match
 830                                 lc($first_word),                        # first word match
 831                                 '^\\s*'.lc($REstring).'\\s*/?\s*$',     # full exact match
 832                                 @types, @forms
 833                         );
 834
 835         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
 836
 837         $client->respond($_) for (map { [@$_[0,1,3,4]] } @$recs);
 838         return undef;
 839 }
 840
 841 for my $class ( qw/title author subject keyword series/ ) {
 842         __PACKAGE__->register_method(
 843                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord",
 844                 method          => 'search_class_fts',
 845                 api_level       => 1,
 846                 stream          => 1,
 847                 cdbi            => "metabib::${class}_field_entry",
 848                 cachable        => 1,
 849         );
 850         __PACKAGE__->register_method(
 851                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.unordered",
 852                 method          => 'search_class_fts',
 853                 api_level       => 1,
 854                 stream          => 1,
 855                 cdbi            => "metabib::${class}_field_entry",
 856                 cachable        => 1,
 857         );
 858         __PACKAGE__->register_method(
 859                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.staff",
 860                 method          => 'search_class_fts',
 861                 api_level       => 1,
 862                 stream          => 1,
 863                 cdbi            => "metabib::${class}_field_entry",
 864                 cachable        => 1,
 865         );
 866         __PACKAGE__->register_method(
 867                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.staff.unordered",
 868                 method          => 'search_class_fts',
 869                 api_level       => 1,
 870                 stream          => 1,
 871                 cdbi            => "metabib::${class}_field_entry",
 872                 cachable        => 1,
 873         );
 874 }
 875
 876 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
 877 sub search_class_fts_count {
 878         my $self = shift;
 879         my $client = shift;
 880         my %args = @_;
 881
 882         my $term = $args{term};
 883         my $ou = $args{org_unit};
 884         my $ou_type = $args{depth};
 885         my $limit = $args{limit} || 100;
 886         my $offset = $args{offset} || 0;
 887
 888         my $descendants = defined($ou_type) ?
 889                                 "actor.org_unit_descendants($ou, $ou_type)" :
 890                                 "actor.org_unit_descendants($ou)";
 891
 892         my (@types,@forms);
 893         my ($t_filter, $f_filter) = ('','');
 894
 895         if ($args{format}) {
 896                 my ($t, $f) = split '-', $args{format};
 897                 @types = split '', $t;
 898                 @forms = split '', $f;
 899                 if (@types) {
 900                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 901                 }
 902
 903                 if (@forms) {
 904                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 905                 }
 906         }
 907
 908
 909         (my $search_class = $self->api_name) =~ s/.*metabib.(\w+).search_fts.*/$1/o;
 910
 911         my $class = $self->{cdbi};
 912         my $search_table = $class->table;
 913
 914         my $metabib_record_descriptor = metabib::record_descriptor->table;
 915         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
 916         my $asset_call_number_table = asset::call_number->table;
 917         my $asset_copy_table = asset::copy->table;
 918         my $cs_table = config::copy_status->table;
 919         my $cl_table = asset::copy_location->table;
 920
 921         my ($index_col) = $class->columns('FTS');
 922         $index_col ||= 'value';
 923
 924         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
 925
 926         my $fts_where = $fts->sql_where_clause;
 927
 928         my $has_vols = 'AND cn.owning_lib = d.id';
 929         my $has_copies = 'AND cp.call_number = cn.id';
 930         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 931         if ($self->api_name =~ /staff/o) {
 932                 $copies_visible = '';
 933                 $has_vols = '' if ($ou_type == 0);
 934                 $has_copies = '' if ($ou_type == 0);
 935         }
 936
 937         # XXX test an "EXISTS version of descendant checking...
 938         my $select;
 939         if ($copies_visible) {
 940                 $select = <<"           SQL";
 941                 SELECT  count(distinct  m.metarecord)
 942                   FROM  $search_table f,
 943                         $metabib_metarecord_source_map_table m,
 944                         $metabib_metarecord_source_map_table mr,
 945                         $asset_call_number_table cn,
 946                         $asset_copy_table cp,
 947                         $cs_table cs,
 948                         $cl_table cl,
 949                         $metabib_record_descriptor rd,
 950                         $descendants d
 951                   WHERE $fts_where
 952                         AND mr.source = f.source
 953                         AND mr.metarecord = m.metarecord
 954                         AND cn.record = m.source
 955                         AND rd.record = m.source
 956                         AND cp.status = cs.id
 957                         AND cp.location = cl.id
 958                         $has_vols
 959                         $has_copies
 960                         $copies_visible
 961                         $t_filter
 962                         $f_filter
 963                 SQL
 964         } else {
 965                 $select = <<"           SQL";
 966                 SELECT  count(distinct  m.metarecord)
 967                   FROM  $search_table f,
 968                         $metabib_metarecord_source_map_table m,
 969                         $metabib_metarecord_source_map_table mr,
 970                         $metabib_record_descriptor rd
 971                   WHERE $fts_where
 972                         AND mr.source = f.source
 973                         AND mr.metarecord = m.metarecord
 974                         AND rd.record = m.source
 975                         $t_filter
 976                         $f_filter
 977                 SQL
 978         }
 979
 980         $log->debug("Field Search Count SQL :: [$select]",DEBUG);
 981
 982         my $recs = $class->db_Main->selectrow_arrayref($select, {}, @types, @forms)->[0];
 983
 984         $log->debug("Count Search yielded $recs results.",DEBUG);
 985
 986         return $recs;
 987
 988 }
 989 for my $class ( qw/title author subject keyword series/ ) {
 990         __PACKAGE__->register_method(
 991                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord_count",
 992                 method          => 'search_class_fts_count',
 993                 api_level       => 1,
 994                 stream          => 1,
 995                 cdbi            => "metabib::${class}_field_entry",
 996                 cachable        => 1,
 997         );
 998         __PACKAGE__->register_method(
 999                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord_count.staff",
1000                 method          => 'search_class_fts_count',
1001                 api_level       => 1,
1002                 stream          => 1,
1003                 cdbi            => "metabib::${class}_field_entry",
1004                 cachable        => 1,
1005         );
1006 }
1007
1008
1009 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
1010 sub postfilter_search_class_fts {
1011         my $self = shift;
1012         my $client = shift;
1013         my %args = @_;
1014
1015         my $term = $args{term};
1016         my $sort = $args{'sort'};
1017         my $sort_dir = $args{sort_dir} || 'DESC';
1018         my $ou = $args{org_unit};
1019         my $ou_type = $args{depth};
1020         my $limit = $args{limit} || 10;
1021         my $visiblity_limit = $args{visiblity_limit} || 5000;
1022         my $offset = $args{offset} || 0;
1023
1024         my $outer_limit = 1000;
1025
1026         my $limit_clause = '';
1027         my $offset_clause = '';
1028
1029         $limit_clause = "LIMIT $outer_limit";
1030         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
1031
1032         my (@types,@forms,@lang,@aud,@lit_form);
1033         my ($t_filter, $f_filter) = ('','');
1034         my ($a_filter, $l_filter, $lf_filter) = ('','','');
1035         my ($ot_filter, $of_filter) = ('','');
1036         my ($oa_filter, $ol_filter, $olf_filter) = ('','','');
1037
1038         if (my $a = $args{audience}) {
1039                 $a = [$a] if (!ref($a));
1040                 @aud = @$a;
1041
1042                 $a_filter = ' AND rd.audience IN ('.join(',',map{'?'}@aud).')';
1043                 $oa_filter = ' AND ord.audience IN ('.join(',',map{'?'}@aud).')';
1044         }
1045
1046         if (my $l = $args{language}) {
1047                 $l = [$l] if (!ref($l));
1048                 @lang = @$l;
1049
1050                 $l_filter = ' AND rd.item_lang IN ('.join(',',map{'?'}@lang).')';
1051                 $ol_filter = ' AND ord.item_lang IN ('.join(',',map{'?'}@lang).')';
1052         }
1053
1054         if (my $f = $args{lit_form}) {
1055                 $f = [$f] if (!ref($f));
1056                 @lit_form = @$f;
1057
1058                 $lf_filter = ' AND rd.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1059                 $olf_filter = ' AND ord.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1060         }
1061
1062         if ($args{format}) {
1063                 my ($t, $f) = split '-', $args{format};
1064                 @types = split '', $t;
1065                 @forms = split '', $f;
1066                 if (@types) {
1067                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1068                         $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1069                 }
1070
1071                 if (@forms) {
1072                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1073                         $of_filter .= ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1074                 }
1075         }
1076
1077
1078         my $descendants = defined($ou_type) ?
1079                                 "actor.org_unit_descendants($ou, $ou_type)" :
1080                                 "actor.org_unit_descendants($ou)";
1081
1082         my $class = $self->{cdbi};
1083         my $search_table = $class->table;
1084
1085         my $metabib_full_rec = metabib::full_rec->table;
1086         my $metabib_record_descriptor = metabib::record_descriptor->table;
1087         my $metabib_metarecord = metabib::metarecord->table;
1088         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
1089         my $asset_call_number_table = asset::call_number->table;
1090         my $asset_copy_table = asset::copy->table;
1091         my $cs_table = config::copy_status->table;
1092         my $cl_table = asset::copy_location->table;
1093         my $br_table = biblio::record_entry->table;
1094
1095         my ($index_col) = $class->columns('FTS');
1096         $index_col ||= 'value';
1097
1098         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'f.value', "f.$index_col");
1099
1100         my $SQLstring = join('%',map { lc($_) } $fts->words);
1101         my $REstring = '^' . join('\s+',map { lc($_) } $fts->words) . '\W*$';
1102         my $first_word = lc(($fts->words)[0]).'%';
1103
1104         my $fts_where = $fts->sql_where_clause;
1105         my @fts_ranks = $fts->fts_rank;
1106
1107         my %bonus = ();
1108         $bonus{'metabib::keyword_field_entry'} = [ { 'CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END' => $SQLstring } ];
1109         $bonus{'metabib::title_field_entry'} =
1110                 $bonus{'metabib::series_field_entry'} = [
1111                         { 'CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END' => $first_word },
1112                         { 'CASE WHEN f.value ~* ? THEN 2 ELSE 1 END' => $REstring },
1113                         @{ $bonus{'metabib::keyword_field_entry'} }
1114                 ];
1115
1116         my $bonus_list = join ' * ', map { keys %$_ } @{ $bonus{$class} };
1117         $bonus_list ||= '1';
1118
1119         my @bonus_values = map { values %$_ } @{ $bonus{$class} };
1120
1121         my $relevance = join(' + ', @fts_ranks);
1122         $relevance = <<"        RANK";
1123                         (SUM( ( $relevance )  * ( $bonus_list ) )/COUNT(m.source))
1124         RANK
1125
1126         my $rank = $relevance;
1127         if (lc($sort) eq 'pubdate') {
1128                 $rank = <<"             RANK";
1129                         ( FIRST ((
1130                                 SELECT  COALESCE(SUBSTRING(frp.value FROM '\\\\d+'),'9999')::INT
1131                                   FROM  $metabib_full_rec frp
1132                                   WHERE frp.record = mr.master_record
1133                                         AND frp.tag = '260'
1134                                         AND frp.subfield = 'c'
1135                                   LIMIT 1
1136                         )) )
1137                 RANK
1138         } elsif (lc($sort) eq 'create_date') {
1139                 $rank = <<"             RANK";
1140                         ( FIRST (( SELECT create_date FROM $br_table rbr WHERE rbr.id = mr.master_record)) )
1141                 RANK
1142         } elsif (lc($sort) eq 'edit_date') {
1143                 $rank = <<"             RANK";
1144                         ( FIRST (( SELECT edit_date FROM $br_table rbr WHERE rbr.id = mr.master_record)) )
1145                 RANK
1146         } elsif (lc($sort) eq 'title') {
1147                 $rank = <<"             RANK";
1148                         ( FIRST ((
1149                                 SELECT  COALESCE(LTRIM(SUBSTR( frt.value, COALESCE(SUBSTRING(frt.ind2 FROM '\\\\d+'),'0')::INT )),'zzzzzzzz')
1150                                   FROM  $metabib_full_rec frt
1151                                   WHERE frt.record = mr.master_record
1152                                         AND frt.tag = '245'
1153                                         AND frt.subfield = 'a'
1154                                   LIMIT 1
1155                         )) )
1156                 RANK
1157         } elsif (lc($sort) eq 'author') {
1158                 $rank = <<"             RANK";
1159                         ( FIRST((
1160                                 SELECT  COALESCE(LTRIM(fra.value),'zzzzzzzz')
1161                                   FROM  $metabib_full_rec fra
1162                                   WHERE fra.record = mr.master_record
1163                                         AND fra.tag LIKE '1%'
1164                                         AND fra.subfield = 'a'
1165                                   ORDER BY fra.tag::text::int
1166                                   LIMIT 1
1167                         )) )
1168                 RANK
1169         } else {
1170                 $sort = undef;
1171         }
1172
1173         my $select = <<"        SQL";
1174                 SELECT  m.metarecord,
1175                         $relevance,
1176                         CASE WHEN COUNT(DISTINCT smrs.source) = 1 THEN MIN(m.source) ELSE 0 END,
1177                         $rank
1178                 FROM    $search_table f,
1179                         $metabib_metarecord_source_map_table m,
1180                         $metabib_metarecord_source_map_table smrs,
1181                         $metabib_metarecord mr,
1182                         $metabib_record_descriptor rd
1183                 WHERE   $fts_where
1184                         AND smrs.metarecord = mr.id
1185                         AND m.source = f.source
1186                         AND m.metarecord = mr.id
1187                         AND rd.record = smrs.source
1188                         $t_filter
1189                         $f_filter
1190                         $a_filter
1191                         $l_filter
1192                         $lf_filter
1193                 GROUP BY m.metarecord
1194                 ORDER BY 4 $sort_dir, MIN(COALESCE(CHAR_LENGTH(f.value),1))
1195                 LIMIT $visiblity_limit
1196         SQL
1197
1198         if (0) {
1199                 $select = <<"           SQL";
1200
1201                         SELECT  DISTINCT s.*
1202                           FROM  $asset_call_number_table cn,
1203                                 $metabib_metarecord_source_map_table mrs,
1204                                 $asset_copy_table cp,
1205                                 $cs_table cs,
1206                                 $cl_table cl,
1207                                 $br_table br,
1208                                 $descendants d,
1209                                 $metabib_record_descriptor ord,
1210                                 ($select) s
1211                           WHERE mrs.metarecord = s.metarecord
1212                                 AND br.id = mrs.source
1213                                 AND cn.record = mrs.source
1214                                 AND cp.status = cs.id
1215                                 AND cp.location = cl.id
1216                                 AND cn.owning_lib = d.id
1217                                 AND cp.call_number = cn.id
1218                                 AND cp.opac_visible IS TRUE
1219                                 AND cs.holdable IS TRUE
1220                                 AND cl.opac_visible IS TRUE
1221                                 AND br.active IS TRUE
1222                                 AND br.deleted IS FALSE
1223                                 AND ord.record = mrs.source
1224                                 $ot_filter
1225                                 $of_filter
1226                                 $oa_filter
1227                                 $ol_filter
1228                                 $olf_filter
1229                           ORDER BY 4 $sort_dir
1230                 SQL
1231         } elsif ($self->api_name !~ /staff/o) {
1232                 $select = <<"           SQL";
1233
1234                         SELECT  DISTINCT s.*
1235                           FROM  ($select) s
1236                           WHERE EXISTS (
1237                                 SELECT  1
1238                                   FROM  $asset_call_number_table cn,
1239                                         $metabib_metarecord_source_map_table mrs,
1240                                         $asset_copy_table cp,
1241                                         $cs_table cs,
1242                                         $cl_table cl,
1243                                         $br_table br,
1244                                         $descendants d,
1245                                         $metabib_record_descriptor ord
1246
1247                                   WHERE mrs.metarecord = s.metarecord
1248                                         AND br.id = mrs.source
1249                                         AND cn.record = mrs.source
1250                                         AND cp.status = cs.id
1251                                         AND cp.location = cl.id
1252                                         AND cn.owning_lib = d.id
1253                                         AND cp.call_number = cn.id
1254                                         AND cp.opac_visible IS TRUE
1255                                         AND cs.holdable IS TRUE
1256                                         AND cl.opac_visible IS TRUE
1257                                         AND br.active IS TRUE
1258                                         AND br.deleted IS FALSE
1259                                         AND ord.record = mrs.source
1260                                         $ot_filter
1261                                         $of_filter
1262                                         $oa_filter
1263                                         $ol_filter
1264                                         $olf_filter
1265                                   LIMIT 1
1266                                 )
1267                           ORDER BY 4 $sort_dir
1268                 SQL
1269         } else {
1270                 $select = <<"           SQL";
1271
1272                         SELECT  DISTINCT s.*
1273                           FROM  ($select) s
1274                           WHERE EXISTS (
1275                                 SELECT  1
1276                                   FROM  $asset_call_number_table cn,
1277                                         $metabib_metarecord_source_map_table mrs,
1278                                         $br_table br,
1279                                         $descendants d,
1280                                         $metabib_record_descriptor ord
1281
1282                                   WHERE mrs.metarecord = s.metarecord
1283                                         AND br.id = mrs.source
1284                                         AND cn.record = mrs.source
1285                                         AND cn.owning_lib = d.id
1286                                         AND br.deleted IS FALSE
1287                                         AND ord.record = mrs.source
1288                                         $ot_filter
1289                                         $of_filter
1290                                         $oa_filter
1291                                         $ol_filter
1292                                         $olf_filter
1293                                   LIMIT 1
1294                                 )
1295                                 OR NOT EXISTS (
1296                                 SELECT  1
1297                                   FROM  $asset_call_number_table cn,
1298                                         $metabib_metarecord_source_map_table mrs,
1299                                         $metabib_record_descriptor ord
1300                                   WHERE mrs.metarecord = s.metarecord
1301                                         AND cn.record = mrs.source
1302                                         AND ord.record = mrs.source
1303                                         $ot_filter
1304                                         $of_filter
1305                                         $oa_filter
1306                                         $ol_filter
1307                                         $olf_filter
1308                                   LIMIT 1
1309                                 )
1310                           ORDER BY 4 $sort_dir
1311                 SQL
1312         }
1313
1314
1315         $log->debug("Field Search SQL :: [$select]",DEBUG);
1316
1317         my $recs = $class->db_Main->selectall_arrayref(
1318                         $select, {},
1319                         (@bonus_values > 0 ? @bonus_values : () ),
1320                         ( (!$sort && @bonus_values > 0) ? @bonus_values : () ),
1321                         @types, @forms, @aud, @lang, @lit_form,
1322                         @types, @forms, @aud, @lang, @lit_form,
1323                         ($self->api_name =~ /staff/o ? (@types, @forms, @aud, @lang, @lit_form) : () ) );
1324
1325         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
1326
1327         my $max = 0;
1328         $max = 1 if (!@$recs);
1329         for (@$recs) {
1330                 $max = $$_[1] if ($$_[1] > $max);
1331         }
1332
1333         my $count = scalar(@$recs);
1334         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
1335                 my ($mrid,$rank,$skip) = @$rec;
1336                 $client->respond( [$mrid, sprintf('%0.3f',$rank/$max), $skip, $count] );
1337         }
1338         return undef;
1339 }
1340
1341 for my $class ( qw/title author subject keyword series/ ) {
1342         __PACKAGE__->register_method(
1343                 api_name        => "open-ils.storage.metabib.$class.post_filter.search_fts.metarecord",
1344                 method          => 'postfilter_search_class_fts',
1345                 api_level       => 1,
1346                 stream          => 1,
1347                 cdbi            => "metabib::${class}_field_entry",
1348                 cachable        => 1,
1349         );
1350         __PACKAGE__->register_method(
1351                 api_name        => "open-ils.storage.metabib.$class.post_filter.search_fts.metarecord.staff",
1352                 method          => 'postfilter_search_class_fts',
1353                 api_level       => 1,
1354                 stream          => 1,
1355                 cdbi            => "metabib::${class}_field_entry",
1356                 cachable        => 1,
1357         );
1358 }
1359
1360
1361
1362 my $_cdbi = {   title   => "metabib::title_field_entry",
1363                 author  => "metabib::author_field_entry",
1364                 subject => "metabib::subject_field_entry",
1365                 keyword => "metabib::keyword_field_entry",
1366                 series  => "metabib::series_field_entry",
1367 };
1368
1369 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
1370 sub postfilter_search_multi_class_fts {
1371         my $self = shift;
1372         my $client = shift;
1373         my %args = @_;
1374
1375         my $sort = $args{'sort'};
1376         my $sort_dir = $args{sort_dir} || 'DESC';
1377         my $ou = $args{org_unit};
1378         my $ou_type = $args{depth};
1379         my $limit = $args{limit} || 10;;
1380         my $visiblity_limit = $args{visiblity_limit} || 5000;;
1381         my $offset = $args{offset} || 0;
1382
1383         if (!$ou) {
1384                 $ou = actor::org_unit->search( { parent_ou => undef } )->next->id;
1385         }
1386
1387         if (!defined($args{org_unit})) {
1388                 die "No target organizational unit passed to ".$self->api_name;
1389         }
1390
1391         if (! scalar( keys %{$args{searches}} )) {
1392                 die "No search arguments were passed to ".$self->api_name;
1393         }
1394
1395         my $outer_limit = 1000;
1396
1397         my $limit_clause = '';
1398         my $offset_clause = '';
1399
1400         $limit_clause = "LIMIT $outer_limit";
1401         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
1402
1403         my (@types,@forms,@lang,@aud,@lit_form);
1404         my ($t_filter, $f_filter) = ('','');
1405         my ($a_filter, $l_filter, $lf_filter) = ('','','');
1406         my ($ot_filter, $of_filter) = ('','');
1407         my ($oa_filter, $ol_filter, $olf_filter) = ('','','');
1408
1409         if (my $a = $args{audience}) {
1410                 $a = [$a] if (!ref($a));
1411                 @aud = @$a;
1412
1413                 $a_filter = ' AND rd.audience IN ('.join(',',map{'?'}@aud).')';
1414                 $oa_filter = ' AND ord.audience IN ('.join(',',map{'?'}@aud).')';
1415         }
1416
1417         if (my $l = $args{language}) {
1418                 $l = [$l] if (!ref($l));
1419                 @lang = @$l;
1420
1421                 $l_filter = ' AND rd.item_lang IN ('.join(',',map{'?'}@lang).')';
1422                 $ol_filter = ' AND ord.item_lang IN ('.join(',',map{'?'}@lang).')';
1423         }
1424
1425         if (my $f = $args{lit_form}) {
1426                 $f = [$f] if (!ref($f));
1427                 @lit_form = @$f;
1428
1429                 $lf_filter = ' AND rd.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1430                 $olf_filter = ' AND ord.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1431         }
1432
1433         if (my $f = $args{item_form}) {
1434                 $f = [$f] if (!ref($f));
1435                 @forms = @$f;
1436
1437                 $f_filter = ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1438                 $of_filter = ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1439         }
1440
1441         if (my $t = $args{item_type}) {
1442                 $t = [$t] if (!ref($t));
1443                 @types = @$t;
1444
1445                 $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1446                 $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1447         }
1448
1449
1450         # XXX legacy format and item type support
1451         if ($args{format}) {
1452                 my ($t, $f) = split '-', $args{format};
1453                 @types = split '', $t;
1454                 @forms = split '', $f;
1455                 if (@types) {
1456                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1457                         $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1458                 }
1459
1460                 if (@forms) {
1461                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1462                         $of_filter .= ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1463                 }
1464         }
1465
1466
1467
1468         my $descendants = defined($ou_type) ?
1469                                 "actor.org_unit_descendants($ou, $ou_type)" :
1470                                 "actor.org_unit_descendants($ou)";
1471
1472         my $search_table_list = '';
1473         my $fts_list = '';
1474         my $join_table_list = '';
1475         my @rank_list;
1476
1477         my @bonus_lists;
1478         my @bonus_values;
1479         my $prev_search_class;
1480         my $curr_search_class;
1481         for my $search_class (sort keys %{$args{searches}}) {
1482                 $prev_search_class = $curr_search_class if ($curr_search_class);
1483
1484                 $curr_search_class = $search_class;
1485
1486                 my $class = $_cdbi->{$search_class};
1487                 my $search_table = $class->table;
1488
1489                 my ($index_col) = $class->columns('FTS');
1490                 $index_col ||= 'value';
1491
1492
1493                 my $fts = OpenILS::Application::Storage::FTS->compile($args{searches}{$search_class}{term}, $search_class.'.value', "$search_class.$index_col");
1494
1495                 my $fts_where = $fts->sql_where_clause;
1496                 my @fts_ranks = $fts->fts_rank;
1497
1498                 my $SQLstring = join('%',map { lc($_) } $fts->words);
1499                 my $REstring = '^' . join('\s+',map { lc($_) } $fts->words) . '\W*$';
1500                 my $first_word = lc(($fts->words)[0]).'%';
1501
1502                 my $rank = join(' + ', @fts_ranks);
1503
1504                 my %bonus = ();
1505                 $bonus{'keyword'} = [ { "CASE WHEN $search_class.value LIKE ? THEN 10 ELSE 1 END" => $SQLstring } ];
1506
1507                 $bonus{'series'} = [
1508                         { "CASE WHEN $search_class.value LIKE ? THEN 1.5 ELSE 1 END" => $first_word },
1509                         { "CASE WHEN $search_class.value ~ ? THEN 20 ELSE 1 END" => $REstring },
1510                 ];
1511
1512                 $bonus{'title'} = [ @{ $bonus{'series'} }, @{ $bonus{'keyword'} } ];
1513
1514                 my $bonus_list = join ' * ', map { keys %$_ } @{ $bonus{$search_class} };
1515                 $bonus_list ||= '1';
1516
1517                 push @bonus_lists, $bonus_list;
1518                 push @bonus_values, map { values %$_ } @{ $bonus{$search_class} };
1519
1520
1521                 #---------------------
1522
1523                 $search_table_list .= "$search_table $search_class, ";
1524                 push @rank_list,$rank;
1525                 $fts_list .= " AND $fts_where AND m.source = $search_class.source";
1526
1527                 if ($prev_search_class) {
1528                         $join_table_list .= " AND $prev_search_class.source = $curr_search_class.source";
1529                 }
1530         }
1531
1532         my $metabib_record_descriptor = metabib::record_descriptor->table;
1533         my $metabib_full_rec = metabib::full_rec->table;
1534         my $metabib_metarecord = metabib::metarecord->table;
1535         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
1536         my $asset_call_number_table = asset::call_number->table;
1537         my $asset_copy_table = asset::copy->table;
1538         my $cs_table = config::copy_status->table;
1539         my $cl_table = asset::copy_location->table;
1540         my $br_table = biblio::record_entry->table;
1541         my $source_table = config::bib_source->table;
1542
1543         my $bonuses = join (' * ', @bonus_lists);
1544         my $relevance = join (' + ', @rank_list);
1545         $relevance = "SUM( ($relevance) * ($bonuses) )/COUNT(DISTINCT smrs.source)";
1546
1547
1548         my $secondary_sort = <<"        SORT";
1549                 ( FIRST ((
1550                         SELECT  COALESCE(LTRIM(SUBSTR( sfrt.value, COALESCE(SUBSTRING(sfrt.ind2 FROM '\\\\d+'),'0')::INT )),'zzzzzzzz')
1551                           FROM  $metabib_full_rec sfrt,
1552                                 $metabib_metarecord mr
1553                           WHERE sfrt.record = mr.master_record
1554                                 AND sfrt.tag = '245'
1555                                 AND sfrt.subfield = 'a'
1556                           LIMIT 1
1557                 )) )
1558         SORT
1559
1560         my $rank = $relevance;
1561         if (lc($sort) eq 'pubdate') {
1562                 $rank = <<"             RANK";
1563                         ( FIRST ((
1564                                 SELECT  COALESCE(SUBSTRING(frp.value FROM '\\\\d+'),'9999')::INT
1565                                   FROM  $metabib_full_rec frp
1566                                   WHERE frp.record = mr.master_record
1567                                         AND frp.tag = '260'
1568                                         AND frp.subfield = 'c'
1569                                   LIMIT 1
1570                         )) )
1571                 RANK
1572         } elsif (lc($sort) eq 'create_date') {
1573                 $rank = <<"             RANK";
1574                         ( FIRST (( SELECT create_date FROM $br_table rbr WHERE rbr.id = mr.master_record)) )
1575                 RANK
1576         } elsif (lc($sort) eq 'edit_date') {
1577                 $rank = <<"             RANK";
1578                         ( FIRST (( SELECT edit_date FROM $br_table rbr WHERE rbr.id = mr.master_record)) )
1579                 RANK
1580         } elsif (lc($sort) eq 'title') {
1581                 $rank = <<"             RANK";
1582                         ( FIRST ((
1583                                 SELECT  COALESCE(LTRIM(SUBSTR( frt.value, COALESCE(SUBSTRING(frt.ind2 FROM '\\\\d+'),'0')::INT )),'zzzzzzzz')
1584                                   FROM  $metabib_full_rec frt
1585                                   WHERE frt.record = mr.master_record
1586                                         AND frt.tag = '245'
1587                                         AND frt.subfield = 'a'
1588                                   LIMIT 1
1589                         )) )
1590                 RANK
1591                 $secondary_sort = <<"           SORT";
1592                         ( FIRST ((
1593                                 SELECT  COALESCE(SUBSTRING(sfrp.value FROM '\\\\d+'),'9999')::INT
1594                                   FROM  $metabib_full_rec sfrp
1595                                   WHERE sfrp.record = mr.master_record
1596                                         AND sfrp.tag = '260'
1597                                         AND sfrp.subfield = 'c'
1598                                   LIMIT 1
1599                         )) )
1600                 SORT
1601         } elsif (lc($sort) eq 'author') {
1602                 $rank = <<"             RANK";
1603                         ( FIRST((
1604                                 SELECT  COALESCE(LTRIM(fra.value),'zzzzzzzz')
1605                                   FROM  $metabib_full_rec fra
1606                                   WHERE fra.record = mr.master_record
1607                                         AND fra.tag LIKE '1%'
1608                                         AND fra.subfield = 'a'
1609                                   ORDER BY fra.tag::text::int
1610                                   LIMIT 1
1611                         )) )
1612                 RANK
1613         } else {
1614                 push @bonus_values, @bonus_values;
1615                 $sort = undef;
1616         }
1617
1618
1619         my $select = <<"        SQL";
1620                 SELECT  m.metarecord,
1621                         $relevance,
1622                         CASE WHEN COUNT(DISTINCT smrs.source) = 1 THEN FIRST(m.source) ELSE 0 END,
1623                         $rank,
1624                         $secondary_sort
1625                 FROM    $search_table_list
1626                         $metabib_metarecord mr,
1627                         $metabib_metarecord_source_map_table m,
1628                         $metabib_metarecord_source_map_table smrs
1629                 WHERE   m.metarecord = smrs.metarecord
1630                         AND mr.id = m.metarecord
1631                         $fts_list
1632                         $join_table_list
1633                 GROUP BY m.metarecord
1634                 -- ORDER BY 4 $sort_dir
1635                 LIMIT $visiblity_limit
1636         SQL
1637
1638         if ($self->api_name !~ /staff/o) {
1639                 $select = <<"           SQL";
1640
1641                         SELECT  s.*
1642                           FROM  ($select) s
1643                           WHERE EXISTS (
1644                                 SELECT  1
1645                                   FROM  $asset_call_number_table cn,
1646                                         $metabib_metarecord_source_map_table mrs,
1647                                         $asset_copy_table cp,
1648                                         $cs_table cs,
1649                                         $cl_table cl,
1650                                         $br_table br,
1651                                         $descendants d,
1652                                         $metabib_record_descriptor ord
1653                                   WHERE mrs.metarecord = s.metarecord
1654                                         AND br.id = mrs.source
1655                                         AND cn.record = mrs.source
1656                                         AND cp.status = cs.id
1657                                         AND cp.location = cl.id
1658                                         AND cn.owning_lib = d.id
1659                                         AND cp.call_number = cn.id
1660                                         AND cp.opac_visible IS TRUE
1661                                         AND cs.holdable IS TRUE
1662                                         AND cl.opac_visible IS TRUE
1663                                         AND br.active IS TRUE
1664                                         AND br.deleted IS FALSE
1665                                         AND cp.deleted IS FALSE
1666                                         AND cn.deleted IS FALSE
1667                                         AND ord.record = mrs.source
1668                                         $ot_filter
1669                                         $of_filter
1670                                         $oa_filter
1671                                         $ol_filter
1672                                         $olf_filter
1673                                   LIMIT 1
1674                                 )
1675                                 OR EXISTS (
1676                                 SELECT  1
1677                                   FROM  $br_table br,
1678                                         $metabib_metarecord_source_map_table mrs,
1679                                         $metabib_record_descriptor ord,
1680                                         $source_table src
1681                                   WHERE mrs.metarecord = s.metarecord
1682                                         AND ord.record = mrs.source
1683                                         AND br.id = mrs.source
1684                                         AND br.source = src.id
1685                                         AND src.transcendant IS TRUE
1686                                         $ot_filter
1687                                         $of_filter
1688                                         $oa_filter
1689                                         $ol_filter
1690                                         $olf_filter
1691                                 )
1692                           ORDER BY 4 $sort_dir, 5
1693                 SQL
1694         } else {
1695                 $select = <<"           SQL";
1696
1697                         SELECT  DISTINCT s.*
1698                           FROM  ($select) s,
1699                                 $metabib_metarecord_source_map_table omrs,
1700                                 $metabib_record_descriptor ord
1701                           WHERE omrs.metarecord = s.metarecord
1702                                 AND ord.record = omrs.source
1703                                 AND (   EXISTS (
1704                                                 SELECT  1
1705                                                   FROM  $asset_call_number_table cn,
1706                                                         $descendants d,
1707                                                         $br_table br
1708                                                   WHERE br.id = omrs.source
1709                                                         AND cn.record = omrs.source
1710                                                         AND cn.owning_lib = d.id
1711                                                         AND br.deleted IS FALSE
1712                                                         AND cn.deleted IS FALSE
1713                                                   LIMIT 1
1714                                         )
1715                                         OR NOT EXISTS (
1716                                                 SELECT  1
1717                                                   FROM  $asset_call_number_table cn
1718                                                   WHERE cn.record = omrs.source
1719                                                         AND cn.deleted IS FALSE
1720                                                   LIMIT 1
1721                                         )
1722                                         OR EXISTS (
1723                                         SELECT  1
1724                                           FROM  $br_table br,
1725                                                 $metabib_metarecord_source_map_table mrs,
1726                                                 $metabib_record_descriptor ord,
1727                                                 $source_table src
1728                                           WHERE mrs.metarecord = s.metarecord
1729                                                 AND br.id = mrs.source
1730                                                 AND br.source = src.id
1731                                                 AND src.transcendant IS TRUE
1732                                                 $ot_filter
1733                                                 $of_filter
1734                                                 $oa_filter
1735                                                 $ol_filter
1736                                                 $olf_filter
1737                                         )
1738                                 )
1739                                 $ot_filter
1740                                 $of_filter
1741                                 $oa_filter
1742                                 $ol_filter
1743                                 $olf_filter
1744
1745                           ORDER BY 4 $sort_dir, 5
1746                 SQL
1747         }
1748
1749
1750         $log->debug("Field Search SQL :: [$select]",DEBUG);
1751
1752         my $recs = $_cdbi->{title}->db_Main->selectall_arrayref(
1753                         $select, {},
1754                         @bonus_values,
1755                         @types, @forms, @aud, @lang, @lit_form,
1756                         @types, @forms, @aud, @lang, @lit_form,
1757                         # ($self->api_name =~ /staff/o ? (@types, @forms, @aud, @lang, @lit_form) : () )
1758         );
1759
1760         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
1761
1762         my $max = 0;
1763         $max = 1 if (!@$recs);
1764         for (@$recs) {
1765                 $max = $$_[1] if ($$_[1] > $max);
1766         }
1767
1768         my $count = scalar(@$recs);
1769         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
1770                 next unless ($$rec[0]);
1771                 my ($mrid,$rank,$skip) = @$rec;
1772                 $client->respond( [$mrid, sprintf('%0.3f',$rank/$max), $skip, $count] );
1773         }
1774         return undef;
1775 }
1776
1777 __PACKAGE__->register_method(
1778         api_name        => "open-ils.storage.metabib.post_filter.multiclass.search_fts.metarecord",
1779         method          => 'postfilter_search_multi_class_fts',
1780         api_level       => 1,
1781         stream          => 1,
1782         cachable        => 1,
1783 );
1784 __PACKAGE__->register_method(
1785         api_name        => "open-ils.storage.metabib.post_filter.multiclass.search_fts.metarecord.staff",
1786         method          => 'postfilter_search_multi_class_fts',
1787         api_level       => 1,
1788         stream          => 1,
1789         cachable        => 1,
1790 );
1791
1792 __PACKAGE__->register_method(
1793         api_name        => "open-ils.storage.metabib.multiclass.search_fts",
1794         method          => 'postfilter_search_multi_class_fts',
1795         api_level       => 1,
1796         stream          => 1,
1797         cachable        => 1,
1798 );
1799 __PACKAGE__->register_method(
1800         api_name        => "open-ils.storage.metabib.multiclass.search_fts.staff",
1801         method          => 'postfilter_search_multi_class_fts',
1802         api_level       => 1,
1803         stream          => 1,
1804         cachable        => 1,
1805 );
1806
1807 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
1808 sub biblio_search_multi_class_fts {
1809         my $self = shift;
1810         my $client = shift;
1811         my %args = @_;
1812
1813         my $sort = $args{'sort'};
1814         my $sort_dir = $args{sort_dir} || 'DESC';
1815         my $ou = $args{org_unit};
1816         my $ou_type = $args{depth};
1817         my $limit = $args{limit} || 10;
1818         my $visiblity_limit = $args{visiblity_limit} || 5000;
1819         my $offset = $args{offset} || 0;
1820
1821         if (!$ou) {
1822                 $ou = actor::org_unit->search( { parent_ou => undef } )->next->id;
1823         }
1824
1825         if (!defined($args{org_unit})) {
1826                 die "No target organizational unit passed to ".$self->api_name;
1827         }
1828
1829         if (! scalar( keys %{$args{searches}} )) {
1830                 die "No search arguments were passed to ".$self->api_name;
1831         }
1832
1833         my $outer_limit = 1000;
1834
1835         my $limit_clause = '';
1836         my $offset_clause = '';
1837
1838         $limit_clause = "LIMIT $outer_limit";
1839         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
1840
1841         my (@types,@forms,@lang,@aud,@lit_form);
1842         my ($t_filter, $f_filter) = ('','');
1843         my ($a_filter, $l_filter, $lf_filter) = ('','','');
1844         my ($ot_filter, $of_filter) = ('','');
1845         my ($oa_filter, $ol_filter, $olf_filter) = ('','','');
1846
1847         if (my $a = $args{audience}) {
1848                 $a = [$a] if (!ref($a));
1849                 @aud = @$a;
1850
1851                 $a_filter = ' AND rd.audience IN ('.join(',',map{'?'}@aud).')';
1852                 $oa_filter = ' AND ord.audience IN ('.join(',',map{'?'}@aud).')';
1853         }
1854
1855         if (my $l = $args{language}) {
1856                 $l = [$l] if (!ref($l));
1857                 @lang = @$l;
1858
1859                 $l_filter = ' AND rd.item_lang IN ('.join(',',map{'?'}@lang).')';
1860                 $ol_filter = ' AND ord.item_lang IN ('.join(',',map{'?'}@lang).')';
1861         }
1862
1863         if (my $f = $args{lit_form}) {
1864                 $f = [$f] if (!ref($f));
1865                 @lit_form = @$f;
1866
1867                 $lf_filter = ' AND rd.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1868                 $olf_filter = ' AND ord.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1869         }
1870
1871         if (my $f = $args{item_form}) {
1872                 $f = [$f] if (!ref($f));
1873                 @forms = @$f;
1874
1875                 $f_filter = ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1876                 $of_filter = ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1877         }
1878
1879         if (my $t = $args{item_type}) {
1880                 $t = [$t] if (!ref($t));
1881                 @types = @$t;
1882
1883                 $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1884                 $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1885         }
1886
1887
1888         # XXX legacy format and item type support
1889         if ($args{format}) {
1890                 my ($t, $f) = split '-', $args{format};
1891                 @types = split '', $t;
1892                 @forms = split '', $f;
1893                 if (@types) {
1894                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1895                         $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1896                 }
1897
1898                 if (@forms) {
1899                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1900                         $of_filter .= ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1901                 }
1902         }
1903
1904
1905         my $descendants = defined($ou_type) ?
1906                                 "actor.org_unit_descendants($ou, $ou_type)" :
1907                                 "actor.org_unit_descendants($ou)";
1908
1909         my $search_table_list = '';
1910         my $fts_list = '';
1911         my $join_table_list = '';
1912         my @rank_list;
1913
1914
1915         my @bonus_lists;
1916         my @bonus_values;
1917         my $prev_search_class;
1918         my $curr_search_class;
1919         for my $search_class (sort keys %{$args{searches}}) {
1920                 $prev_search_class = $curr_search_class if ($curr_search_class);
1921
1922                 $curr_search_class = $search_class;
1923
1924                 my $class = $_cdbi->{$search_class};
1925                 my $search_table = $class->table;
1926
1927                 my ($index_col) = $class->columns('FTS');
1928                 $index_col ||= 'value';
1929
1930
1931                 my $fts = OpenILS::Application::Storage::FTS->compile($args{searches}{$search_class}{term}, $search_class.'.value', "$search_class.$index_col");
1932
1933                 my $fts_where = $fts->sql_where_clause;
1934                 my @fts_ranks = $fts->fts_rank;
1935
1936                 my $SQLstring = join('%',map { lc($_) } $fts->words);
1937                 my $REstring = '^' . join('\s+',map { lc($_) } $fts->words) . '\W*$';
1938                 my $first_word = lc(($fts->words)[0]).'%';
1939
1940                 my $rank = join(' + ', @fts_ranks);
1941
1942                 my %bonus = ();
1943                 $bonus{'keyword'} = [ { "CASE WHEN $search_class.value ILIKE ? THEN 1.2 ELSE 1 END" => $SQLstring } ];
1944
1945                 $bonus{'series'} = [
1946                         { "CASE WHEN $search_class.value ILIKE ? THEN 1.5 ELSE 1 END" => $first_word },
1947                         { "CASE WHEN $search_class.value ~ ? THEN 200 ELSE 1 END" => $REstring },
1948                 ];
1949
1950                 $bonus{'title'} = [ @{ $bonus{'series'} }, @{ $bonus{'keyword'} } ];
1951
1952                 my $bonus_list = join ' * ', map { keys %$_ } @{ $bonus{$search_class} };
1953                 $bonus_list ||= '1';
1954
1955                 push @bonus_lists, $bonus_list;
1956                 push @bonus_values, map { values %$_ } @{ $bonus{$search_class} };
1957
1958                 #---------------------
1959
1960                 $search_table_list .= "$search_table $search_class, ";
1961                 push @rank_list,$rank;
1962                 $fts_list .= " AND $fts_where AND b.id = $search_class.source";
1963
1964                 if ($prev_search_class) {
1965                         $join_table_list .= " AND $prev_search_class.source = $curr_search_class.source";
1966                 }
1967         }
1968
1969         my $metabib_record_descriptor = metabib::record_descriptor->table;
1970         my $metabib_full_rec = metabib::full_rec->table;
1971         my $metabib_metarecord = metabib::metarecord->table;
1972         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
1973         my $asset_call_number_table = asset::call_number->table;
1974         my $asset_copy_table = asset::copy->table;
1975         my $cs_table = config::copy_status->table;
1976         my $cl_table = asset::copy_location->table;
1977         my $br_table = biblio::record_entry->table;
1978         my $source_table = config::bib_source->table;
1979
1980
1981         my $bonuses = join (' * ', @bonus_lists);
1982         my $relevance = join (' + ', @rank_list);
1983         $relevance = "AVG( ($relevance) * ($bonuses) )";
1984
1985
1986         my $rank = $relevance;
1987         if (lc($sort) eq 'pubdate') {
1988                 $rank = <<"             RANK";
1989                         ( FIRST ((
1990                                 SELECT  COALESCE(SUBSTRING(frp.value FROM '\\\\d{4}'),'9999')::INT
1991                                   FROM  $metabib_full_rec frp
1992                                   WHERE frp.record = b.id
1993                                         AND frp.tag = '260'
1994                                         AND frp.subfield = 'c'
1995                                   LIMIT 1
1996                         )) )
1997                 RANK
1998         } elsif (lc($sort) eq 'create_date') {
1999                 $rank = <<"             RANK";
2000                         ( FIRST (( SELECT create_date FROM $br_table rbr WHERE rbr.id = b.id)) )
2001                 RANK
2002         } elsif (lc($sort) eq 'edit_date') {
2003                 $rank = <<"             RANK";
2004                         ( FIRST (( SELECT edit_date FROM $br_table rbr WHERE rbr.id = b.id)) )
2005                 RANK
2006         } elsif (lc($sort) eq 'title') {
2007                 $rank = <<"             RANK";
2008                         ( FIRST ((
2009                                 SELECT  COALESCE(LTRIM(SUBSTR( frt.value, COALESCE(SUBSTRING(frt.ind2 FROM '\\\\d+'),'0')::INT )),'zzzzzzzz')
2010                                   FROM  $metabib_full_rec frt
2011                                   WHERE frt.record = b.id
2012                                         AND frt.tag = '245'
2013                                         AND frt.subfield = 'a'
2014                                   LIMIT 1
2015                         )) )
2016                 RANK
2017         } elsif (lc($sort) eq 'author') {
2018                 $rank = <<"             RANK";
2019                         ( FIRST((
2020                                 SELECT  COALESCE(LTRIM(fra.value),'zzzzzzzz')
2021                                   FROM  $metabib_full_rec fra
2022                                   WHERE fra.record = b.id
2023                                         AND fra.tag LIKE '1%'
2024                                         AND fra.subfield = 'a'
2025                                   ORDER BY fra.tag::text::int
2026                                   LIMIT 1
2027                         )) )
2028                 RANK
2029         } else {
2030                 push @bonus_values, @bonus_values;
2031                 $sort = undef;
2032         }
2033
2034
2035         my $select = <<"        SQL";
2036                 SELECT  b.id,
2037                         $relevance AS rel,
2038                         $rank AS rank,
2039                         b.source
2040                 FROM    $search_table_list
2041                         $metabib_record_descriptor rd,
2042                         $source_table src,
2043                         $br_table b
2044                 WHERE   rd.record = b.id
2045                         AND b.active IS TRUE
2046                         AND b.deleted IS FALSE
2047                         $fts_list
2048                         $join_table_list
2049                         $t_filter
2050                         $f_filter
2051                         $a_filter
2052                         $l_filter
2053                         $lf_filter
2054                 GROUP BY b.id, b.source
2055                 ORDER BY 3 $sort_dir
2056                 LIMIT $visiblity_limit
2057         SQL
2058
2059         if ($self->api_name !~ /staff/o) {
2060                 $select = <<"           SQL";
2061
2062                         SELECT  s.*
2063                           FROM  ($select) s
2064                                 LEFT OUTER JOIN $source_table src ON (s.source = src.id)
2065                           WHERE EXISTS (
2066                                 SELECT  1
2067                                   FROM  $asset_call_number_table cn,
2068                                         $asset_copy_table cp,
2069                                         $cs_table cs,
2070                                         $cl_table cl,
2071                                         $descendants d
2072                                   WHERE cn.record = s.id
2073                                         AND cp.status = cs.id
2074                                         AND cp.location = cl.id
2075                                         AND cn.owning_lib = d.id
2076                                         AND cp.call_number = cn.id
2077                                         AND cp.opac_visible IS TRUE
2078                                         AND cs.holdable IS TRUE
2079                                         AND cl.opac_visible IS TRUE
2080                                         AND cp.deleted IS FALSE
2081                                         AND cn.deleted IS FALSE
2082                                   LIMIT 1
2083                                 )
2084                                 OR src.transcendant IS TRUE
2085                           ORDER BY 3 $sort_dir
2086                 SQL
2087         } else {
2088                 $select = <<"           SQL";
2089
2090                         SELECT  s.*
2091                           FROM  ($select) s
2092                                 LEFT OUTER JOIN $source_table src ON (s.source = src.id)
2093                           WHERE EXISTS (
2094                                 SELECT  1
2095                                   FROM  $asset_call_number_table cn,
2096                                         $descendants d
2097                                   WHERE cn.record = s.id
2098                                         AND cn.owning_lib = d.id
2099                                         AND cn.deleted IS FALSE
2100                                   LIMIT 1
2101                                 )
2102                                 OR NOT EXISTS (
2103                                 SELECT  1
2104                                   FROM  $asset_call_number_table cn
2105                                   WHERE cn.record = s.id
2106                                   LIMIT 1
2107                                 )
2108                                 OR src.transcendant IS TRUE
2109                           ORDER BY 3 $sort_dir
2110                 SQL
2111         }
2112
2113
2114         $log->debug("Field Search SQL :: [$select]",DEBUG);
2115
2116         my $recs = $_cdbi->{title}->db_Main->selectall_arrayref(
2117                         $select, {},
2118                         @bonus_values, @types, @forms, @aud, @lang, @lit_form
2119         );
2120
2121         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
2122
2123         my $max = 0;
2124         $max = 1 if (!@$recs);
2125         for (@$recs) {
2126                 $max = $$_[1] if ($$_[1] > $max);
2127         }
2128
2129         my $count = scalar(@$recs);
2130         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
2131                 next unless ($$rec[0]);
2132                 my ($mrid,$rank) = @$rec;
2133                 $client->respond( [$mrid, sprintf('%0.3f',$rank/$max), $count] );
2134         }
2135         return undef;
2136 }
2137
2138 __PACKAGE__->register_method(
2139         api_name        => "open-ils.storage.biblio.multiclass.search_fts.record",
2140         method          => 'biblio_search_multi_class_fts',
2141         api_level       => 1,
2142         stream          => 1,
2143         cachable        => 1,
2144 );
2145 __PACKAGE__->register_method(
2146         api_name        => "open-ils.storage.biblio.multiclass.search_fts.record.staff",
2147         method          => 'biblio_search_multi_class_fts',
2148         api_level       => 1,
2149         stream          => 1,
2150         cachable        => 1,
2151 );
2152
2153
2154
2155 __PACKAGE__->register_method(
2156         api_name        => "open-ils.storage.biblio.multiclass.search_fts",
2157         method          => 'biblio_search_multi_class_fts',
2158         api_level       => 1,
2159         stream          => 1,
2160         cachable        => 1,
2161 );
2162 __PACKAGE__->register_method(
2163         api_name        => "open-ils.storage.biblio.multiclass.search_fts.staff",
2164         method          => 'biblio_search_multi_class_fts',
2165         api_level       => 1,
2166         stream          => 1,
2167         cachable        => 1,
2168 );
2169
2170
2171 1;
2172