Open-ILS/src/perlmods/OpenILS/Application/Storage/Publisher/metabib.pm

   1 package OpenILS::Application::Storage::Publisher::metabib;
   2 use base qw/OpenILS::Application::Storage::Publisher/;
   3 use vars qw/$VERSION/;
   4 use OpenSRF::EX qw/:try/;
   5 use OpenILS::Application::Storage::FTS;
   6 use OpenILS::Utils::Fieldmapper;
   7 use OpenSRF::Utils::Logger qw/:level/;
   8 use OpenSRF::Utils::Cache;
   9 use Data::Dumper;
  10 use Digest::MD5 qw/md5_hex/;
  11
  12
  13 my $log = 'OpenSRF::Utils::Logger';
  14
  15 $VERSION = 1;
  16
  17 sub ordered_records_from_metarecord {
  18         my $self = shift;
  19         my $client = shift;
  20         my $mr = shift;
  21         my $formats = shift;
  22         my $org = shift || 1;
  23         my $depth = shift;
  24
  25         my (@types,@forms);
  26
  27         if ($formats) {
  28                 my ($t, $f) = split '-', $formats;
  29                 @types = split '', $t;
  30                 @forms = split '', $f;
  31         }
  32
  33         my $descendants =
  34                 defined($depth) ?
  35                         "actor.org_unit_descendants($org, $depth)" :
  36                         "actor.org_unit_descendants($org)" ;
  37
  38
  39         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
  40         $copies_visible = '' if ($self->api_name =~ /staff/o);
  41
  42         my $sm_table = metabib::metarecord_source_map->table;
  43         my $rd_table = metabib::record_descriptor->table;
  44         my $fr_table = metabib::full_rec->table;
  45         my $cn_table = asset::call_number->table;
  46         my $cl_table = asset::copy_location->table;
  47         my $cp_table = asset::copy->table;
  48         my $cs_table = config::copy_status->table;
  49         my $src_table = config::bib_source->table;
  50         my $out_table = actor::org_unit_type->table;
  51         my $br_table = biblio::record_entry->table;
  52
  53         my $sql = <<"   SQL";
  54                 SELECT  record,
  55                         item_type,
  56                         item_form,
  57                         quality,
  58                         FIRST(COALESCE(LTRIM(SUBSTR( value, COALESCE(SUBSTRING(ind2 FROM '\\\\d+'),'0')::INT + 1 )),'zzzzzzzz')) AS title
  59                 FROM    (
  60                         SELECT  rd.record,
  61                                 rd.item_type,
  62                                 rd.item_form,
  63                                 br.quality,
  64                                 fr.tag,
  65                                 fr.subfield,
  66                                 fr.value,
  67                                 fr.ind2
  68         SQL
  69
  70         if ($copies_visible) {
  71                 $sql .= <<"             SQL";
  72                           FROM  $sm_table sm,
  73                                 $br_table br,
  74                                 $fr_table fr,
  75                                 $rd_table rd
  76                           WHERE rd.record = sm.source
  77                                 AND fr.record = sm.source
  78                                 AND br.id = sm.source
  79                                 AND sm.metarecord = ?
  80                                 AND (EXISTS ((SELECT    1
  81                                                 FROM    $cp_table cp
  82                                                         JOIN $cn_table cn ON (cp.call_number = cn.id)
  83                                                         JOIN $cs_table cs ON (cp.status = cs.id)
  84                                                         JOIN $cl_table cl ON (cp.location = cl.id)
  85                                                         JOIN $descendants d ON (cp.circ_lib = d.id)
  86                                                 WHERE   cn.record = sm.source
  87                                                         $copies_visible
  88                                                 LIMIT 1))
  89                                         OR EXISTS ((
  90                                             SELECT      1
  91                                               FROM      $src_table src
  92                                               WHERE     src.id = br.source
  93                                                         AND src.transcendant IS TRUE))
  94                                 )
  95
  96                 SQL
  97         } else {
  98                 $sql .= <<"             SQL";
  99                           FROM  $sm_table sm
 100                                 JOIN $br_table br ON (sm.source = br.id)
 101                                 JOIN $fr_table fr ON (fr.record = br.id)
 102                                 JOIN $rd_table rd ON (rd.record = br.id)
 103                           WHERE sm.metarecord = ?
 104                                 AND ((  EXISTS (
 105                                                 SELECT  1
 106                                                   FROM  $cp_table cp,
 107                                                         $cn_table cn,
 108                                                         $descendants d
 109                                                   WHERE cn.record = br.id
 110                                                         AND cn.deleted = FALSE
 111                                                         AND cp.deleted = FALSE
 112                                                         AND cp.circ_lib = d.id
 113                                                         AND cn.id = cp.call_number
 114                                                   LIMIT 1
 115                                         ) OR NOT EXISTS (
 116                                                 SELECT  1
 117                                                   FROM  $cp_table cp,
 118                                                         $cn_table cn
 119                                                   WHERE cn.record = br.id
 120                                                         AND cn.deleted = FALSE
 121                                                         AND cp.deleted = FALSE
 122                                                         AND cn.id = cp.call_number
 123                                                   LIMIT 1
 124                                         ))
 125                                         OR EXISTS ((
 126                                             SELECT      1
 127                                               FROM      $src_table src
 128                                               WHERE     src.id = br.source
 129                                                         AND src.transcendant IS TRUE))
 130                                 )
 131                 SQL
 132         }
 133
 134         if (@types) {
 135                 $sql .= '                               AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 136         }
 137
 138         if (@forms) {
 139                 $sql .= '                               AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 140         }
 141
 142
 143
 144         $sql .= <<"     SQL";
 145                           OFFSET 0
 146                         ) AS x
 147           WHERE tag = '245'
 148                 AND subfield = 'a'
 149           GROUP BY record, item_type, item_form, quality
 150           ORDER BY
 151                 CASE
 152                         WHEN item_type IS NULL -- default
 153                                 THEN 0
 154                         WHEN item_type = '' -- default
 155                                 THEN 0
 156                         WHEN item_type IN ('a','t') -- books
 157                                 THEN 1
 158                         WHEN item_type = 'g' -- movies
 159                                 THEN 2
 160                         WHEN item_type IN ('i','j') -- sound recordings
 161                                 THEN 3
 162                         WHEN item_type = 'm' -- software
 163                                 THEN 4
 164                         WHEN item_type = 'k' -- images
 165                                 THEN 5
 166                         WHEN item_type IN ('e','f') -- maps
 167                                 THEN 6
 168                         WHEN item_type IN ('o','p') -- mixed
 169                                 THEN 7
 170                         WHEN item_type IN ('c','d') -- music
 171                                 THEN 8
 172                         WHEN item_type = 'r' -- 3d
 173                                 THEN 9
 174                 END,
 175                 title ASC,
 176                 quality DESC
 177         SQL
 178
 179         my $ids = metabib::metarecord_source_map->db_Main->selectcol_arrayref($sql, {}, "$mr", @types, @forms);
 180         return $ids if ($self->api_name =~ /atomic$/o);
 181
 182         $client->respond( $_ ) for ( @$ids );
 183         return undef;
 184
 185 }
 186 __PACKAGE__->register_method(
 187         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records',
 188         method          => 'ordered_records_from_metarecord',
 189         api_level       => 1,
 190         cachable        => 1,
 191 );
 192 __PACKAGE__->register_method(
 193         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records.staff',
 194         method          => 'ordered_records_from_metarecord',
 195         api_level       => 1,
 196         cachable        => 1,
 197 );
 198
 199 __PACKAGE__->register_method(
 200         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records.atomic',
 201         method          => 'ordered_records_from_metarecord',
 202         api_level       => 1,
 203         cachable        => 1,
 204 );
 205 __PACKAGE__->register_method(
 206         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records.staff.atomic',
 207         method          => 'ordered_records_from_metarecord',
 208         api_level       => 1,
 209         cachable        => 1,
 210 );
 211
 212 sub isxn_search {
 213         my $self = shift;
 214         my $client = shift;
 215         my $isxn = lc(shift());
 216
 217         $isxn =~ s/^\s*//o;
 218         $isxn =~ s/\s*$//o;
 219         $isxn =~ s/-//o if ($self->api_name =~ /isbn/o);
 220
 221         my $tag = ($self->api_name =~ /isbn/o) ? "'020' OR tag = '024'" : "'022'";
 222
 223         my $fr_table = metabib::full_rec->table;
 224
 225         my $sql = <<"   SQL";
 226                 SELECT  DISTINCT record
 227                   FROM  $fr_table
 228                   WHERE (tag = $tag)
 229                         AND value LIKE ?
 230         SQL
 231
 232         my $list = metabib::metarecord_source_map->db_Main->selectcol_arrayref($sql, {}, "$isxn%");
 233         $client->respond($_) for (@$list);
 234         return undef;
 235 }
 236 __PACKAGE__->register_method(
 237         api_name        => 'open-ils.storage.id_list.biblio.record_entry.search.isbn',
 238         method          => 'isxn_search',
 239         api_level       => 1,
 240         stream          => 1,
 241 );
 242 __PACKAGE__->register_method(
 243         api_name        => 'open-ils.storage.id_list.biblio.record_entry.search.issn',
 244         method          => 'isxn_search',
 245         api_level       => 1,
 246         stream          => 1,
 247 );
 248
 249 sub metarecord_copy_count {
 250         my $self = shift;
 251         my $client = shift;
 252
 253         my %args = @_;
 254
 255         my $sm_table = metabib::metarecord_source_map->table;
 256         my $rd_table = metabib::record_descriptor->table;
 257         my $cn_table = asset::call_number->table;
 258         my $cp_table = asset::copy->table;
 259         my $br_table = biblio::record_entry->table;
 260         my $src_table = config::bib_source->table;
 261         my $cl_table = asset::copy_location->table;
 262         my $cs_table = config::copy_status->table;
 263         my $out_table = actor::org_unit_type->table;
 264         my $descendants = "actor.org_unit_descendants(u.id)";
 265         my $ancestors = "actor.org_unit_ancestors(?)";
 266
 267         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 268         $copies_visible = '' if ($self->api_name =~ /staff/o);
 269
 270         my (@types,@forms);
 271         my ($t_filter, $f_filter) = ('','');
 272
 273         if ($args{format}) {
 274                 my ($t, $f) = split '-', $args{format};
 275                 @types = split '', $t;
 276                 @forms = split '', $f;
 277                 if (@types) {
 278                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 279                 }
 280
 281                 if (@forms) {
 282                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 283                 }
 284         }
 285
 286         my $sql = <<"   SQL";
 287                 SELECT  t.depth,
 288                         u.id AS org_unit,
 289                         sum(
 290                                 (SELECT count(cp.id)
 291                                   FROM  $sm_table r
 292                                         JOIN $cn_table cn ON (cn.record = r.source)
 293                                         JOIN $rd_table rd ON (cn.record = rd.record)
 294                                         JOIN $cp_table cp ON (cn.id = cp.call_number)
 295                                         JOIN $cs_table cs ON (cp.status = cs.id)
 296                                         JOIN $cl_table cl ON (cp.location = cl.id)
 297                                         JOIN $descendants a ON (cp.circ_lib = a.id)
 298                                   WHERE r.metarecord = ?
 299                                         AND cn.deleted IS FALSE
 300                                         AND cp.deleted IS FALSE
 301                                         $copies_visible
 302                                         $t_filter
 303                                         $f_filter
 304                                 )
 305                         ) AS count,
 306                         sum(
 307                                 (SELECT count(cp.id)
 308                                   FROM  $sm_table r
 309                                         JOIN $cn_table cn ON (cn.record = r.source)
 310                                         JOIN $rd_table rd ON (cn.record = rd.record)
 311                                         JOIN $cp_table cp ON (cn.id = cp.call_number)
 312                                         JOIN $cs_table cs ON (cp.status = cs.id)
 313                                         JOIN $cl_table cl ON (cp.location = cl.id)
 314                                         JOIN $descendants a ON (cp.circ_lib = a.id)
 315                                   WHERE r.metarecord = ?
 316                                         AND cp.status IN (0,7)
 317                                         AND cn.deleted IS FALSE
 318                                         AND cp.deleted IS FALSE
 319                                         $copies_visible
 320                                         $t_filter
 321                                         $f_filter
 322                                 )
 323                         ) AS available,
 324                         sum(
 325                                 (SELECT count(cp.id)
 326                                   FROM  $sm_table r
 327                                         JOIN $cn_table cn ON (cn.record = r.source)
 328                                         JOIN $rd_table rd ON (cn.record = rd.record)
 329                                         JOIN $cp_table cp ON (cn.id = cp.call_number)
 330                                         JOIN $cs_table cs ON (cp.status = cs.id)
 331                                         JOIN $cl_table cl ON (cp.location = cl.id)
 332                                   WHERE r.metarecord = ?
 333                                         AND cn.deleted IS FALSE
 334                                         AND cp.deleted IS FALSE
 335                                         AND cp.opac_visible IS TRUE
 336                                         AND cs.holdable IS TRUE
 337                                         AND cl.opac_visible IS TRUE
 338                                         $t_filter
 339                                         $f_filter
 340                                 )
 341                         ) AS unshadow,
 342                         sum(
 343                                 (SELECT sum(1)
 344                                   FROM  $sm_table r
 345                                         JOIN $br_table br ON (br.id = r.source)
 346                                         JOIN $src_table src ON (src.id = br.source)
 347                                   WHERE r.metarecord = ?
 348                                         AND src.transcendant IS TRUE
 349                                 )
 350                         ) AS transcendant
 351
 352                   FROM  $ancestors u
 353                         JOIN $out_table t ON (u.ou_type = t.id)
 354                   GROUP BY 1,2
 355         SQL
 356
 357         my $sth = metabib::metarecord_source_map->db_Main->prepare_cached($sql);
 358         $sth->execute(  ''.$args{metarecord},
 359                         @types,
 360                         @forms,
 361                         ''.$args{metarecord},
 362                         @types,
 363                         @forms,
 364                         ''.$args{metarecord},
 365                         @types,
 366                         @forms,
 367                         ''.$args{metarecord},
 368                         ''.$args{org_unit},
 369         );
 370
 371         while ( my $row = $sth->fetchrow_hashref ) {
 372                 $client->respond( $row );
 373         }
 374         return undef;
 375 }
 376 __PACKAGE__->register_method(
 377         api_name        => 'open-ils.storage.metabib.metarecord.copy_count',
 378         method          => 'metarecord_copy_count',
 379         api_level       => 1,
 380         stream          => 1,
 381         cachable        => 1,
 382 );
 383 __PACKAGE__->register_method(
 384         api_name        => 'open-ils.storage.metabib.metarecord.copy_count.staff',
 385         method          => 'metarecord_copy_count',
 386         api_level       => 1,
 387         stream          => 1,
 388         cachable        => 1,
 389 );
 390
 391 sub biblio_multi_search_full_rec {
 392         my $self = shift;
 393         my $client = shift;
 394
 395         my %args = @_;
 396         my $class_join = $args{class_join} || 'AND';
 397         my $limit = $args{limit} || 100;
 398         my $offset = $args{offset} || 0;
 399         my $sort = $args{'sort'};
 400         my $sort_dir = $args{sort_dir} || 'DESC';
 401
 402         my @binds;
 403         my @selects;
 404
 405         for my $arg (@{ $args{searches} }) {
 406                 my $term = $$arg{term};
 407                 my $limiters = $$arg{restrict};
 408
 409                 my ($index_col) = metabib::full_rec->columns('FTS');
 410                 $index_col ||= 'value';
 411                 my $search_table = metabib::full_rec->table;
 412
 413                 my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
 414
 415                 my $fts_where = $fts->sql_where_clause();
 416                 my @fts_ranks = $fts->fts_rank;
 417
 418                 my $rank = join(' + ', @fts_ranks);
 419
 420                 my @wheres;
 421                 for my $limit (@$limiters) {
 422                         push @wheres, "( tag = ? AND subfield LIKE ? AND $fts_where )";
 423                         push @binds, $$limit{tag}, $$limit{subfield};
 424                         $log->debug("Limiting query using { tag => $$limit{tag}, subfield => $$limit{subfield} }", DEBUG);
 425                 }
 426                 my $where = join(' OR ', @wheres);
 427
 428                 push @selects, "SELECT id, record, $rank as sum FROM $search_table WHERE $where";
 429
 430         }
 431
 432         my $descendants = defined($args{depth}) ?
 433                                 "actor.org_unit_descendants($args{org_unit}, $args{depth})" :
 434                                 "actor.org_unit_descendants($args{org_unit})" ;
 435
 436
 437         my $metabib_record_descriptor = metabib::record_descriptor->table;
 438         my $metabib_full_rec = metabib::full_rec->table;
 439         my $asset_call_number_table = asset::call_number->table;
 440         my $asset_copy_table = asset::copy->table;
 441         my $cs_table = config::copy_status->table;
 442         my $cl_table = asset::copy_location->table;
 443         my $br_table = biblio::record_entry->table;
 444
 445         my $cj = 'HAVING COUNT(x.id) = ' . scalar(@selects) if ($class_join eq 'AND');
 446         my $search_table =
 447                 '(SELECT x.record, sum(x.sum) FROM (('.
 448                         join(') UNION ALL (', @selects).
 449                         ")) x GROUP BY 1 $cj ORDER BY 2 DESC )";
 450
 451         my $has_vols = 'AND cn.owning_lib = d.id';
 452         my $has_copies = 'AND cp.call_number = cn.id';
 453         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 454
 455         if ($self->api_name =~ /staff/o) {
 456                 $copies_visible = '';
 457                 $has_copies = '' if ($ou_type == 0);
 458                 $has_vols = '' if ($ou_type == 0);
 459         }
 460
 461         my ($t_filter, $f_filter) = ('','');
 462         my ($a_filter, $l_filter, $lf_filter) = ('','','');
 463
 464         if (my $a = $args{audience}) {
 465                 $a = [$a] if (!ref($a));
 466                 my @aud = @$a;
 467
 468                 $a_filter = ' AND rd.audience IN ('.join(',',map{'?'}@aud).')';
 469                 push @binds, @aud;
 470         }
 471
 472         if (my $l = $args{language}) {
 473                 $l = [$l] if (!ref($l));
 474                 my @lang = @$l;
 475
 476                 $l_filter = ' AND rd.item_lang IN ('.join(',',map{'?'}@lang).')';
 477                 push @binds, @lang;
 478         }
 479
 480         if (my $f = $args{lit_form}) {
 481                 $f = [$f] if (!ref($f));
 482                 my @lit_form = @$f;
 483
 484                 $lf_filter = ' AND rd.lit_form IN ('.join(',',map{'?'}@lit_form).')';
 485                 push @binds, @lit_form;
 486         }
 487
 488         if (my $f = $args{item_form}) {
 489                 $f = [$f] if (!ref($f));
 490                 my @forms = @$f;
 491
 492                 $f_filter = ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 493                 push @binds, @forms;
 494         }
 495
 496         if (my $t = $args{item_type}) {
 497                 $t = [$t] if (!ref($t));
 498                 my @types = @$t;
 499
 500                 $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 501                 push @binds, @types;
 502         }
 503
 504
 505         if ($args{format}) {
 506                 my ($t, $f) = split '-', $args{format};
 507                 my @types = split '', $t;
 508                 my @forms = split '', $f;
 509                 if (@types) {
 510                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 511                 }
 512
 513                 if (@forms) {
 514                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 515                 }
 516                 push @binds, @types, @forms;
 517         }
 518
 519         my $relevance = 'sum(f.sum)';
 520         $relevance = 1 if (!$copies_visible);
 521
 522         my $rank = $relevance;
 523         if (lc($sort) eq 'pubdate') {
 524                 $rank = <<"             RANK";
 525                         ( FIRST ((
 526                                 SELECT  COALESCE(SUBSTRING(frp.value FROM '\\\\d+'),'9999')::INT
 527                                   FROM  $metabib_full_rec frp
 528                                   WHERE frp.record = f.record
 529                                         AND frp.tag = '260'
 530                                         AND frp.subfield = 'c'
 531                                   LIMIT 1
 532                         )) )
 533                 RANK
 534         } elsif (lc($sort) eq 'create_date') {
 535                 $rank = <<"             RANK";
 536                         ( FIRST (( SELECT create_date FROM $br_table rbr WHERE rbr.id = f.record)) )
 537                 RANK
 538         } elsif (lc($sort) eq 'edit_date') {
 539                 $rank = <<"             RANK";
 540                         ( FIRST (( SELECT edit_date FROM $br_table rbr WHERE rbr.id = f.record)) )
 541                 RANK
 542         } elsif (lc($sort) eq 'title') {
 543                 $rank = <<"             RANK";
 544                         ( FIRST ((
 545                                 SELECT  COALESCE(LTRIM(SUBSTR( frt.value, COALESCE(SUBSTRING(frt.ind2 FROM '\\\\d+'),'0')::INT + 1 )),'zzzzzzzz')
 546                                   FROM  $metabib_full_rec frt
 547                                   WHERE frt.record = f.record
 548                                         AND frt.tag = '245'
 549                                         AND frt.subfield = 'a'
 550                                   LIMIT 1
 551                         )) )
 552                 RANK
 553         } elsif (lc($sort) eq 'author') {
 554                 $rank = <<"             RANK";
 555                         ( FIRST((
 556                                 SELECT  COALESCE(LTRIM(fra.value),'zzzzzzzz')
 557                                   FROM  $metabib_full_rec fra
 558                                   WHERE fra.record = f.record
 559                                         AND fra.tag LIKE '1%'
 560                                         AND fra.subfield = 'a'
 561                                   ORDER BY fra.tag::text::int
 562                                   LIMIT 1
 563                         )) )
 564                 RANK
 565         } else {
 566                 $sort = undef;
 567         }
 568
 569
 570         if ($copies_visible) {
 571                 $select = <<"           SQL";
 572                         SELECT  f.record, $relevance, count(DISTINCT cp.id), $rank
 573                         FROM    $search_table f,
 574                                 $asset_call_number_table cn,
 575                                 $asset_copy_table cp,
 576                                 $cs_table cs,
 577                                 $cl_table cl,
 578                                 $br_table br,
 579                                 $metabib_record_descriptor rd,
 580                                 $descendants d
 581                         WHERE   br.id = f.record
 582                                 AND cn.record = f.record
 583                                 AND rd.record = f.record
 584                                 AND cp.status = cs.id
 585                                 AND cp.location = cl.id
 586                                 AND br.deleted IS FALSE
 587                                 AND cn.deleted IS FALSE
 588                                 AND cp.deleted IS FALSE
 589                                 $has_vols
 590                                 $has_copies
 591                                 $copies_visible
 592                                 $t_filter
 593                                 $f_filter
 594                                 $a_filter
 595                                 $l_filter
 596                                 $lf_filter
 597                         GROUP BY f.record HAVING count(DISTINCT cp.id) > 0
 598                         ORDER BY 4 $sort_dir,3 DESC
 599                 SQL
 600         } else {
 601                 $select = <<"           SQL";
 602                         SELECT  f.record, 1, 1, $rank
 603                         FROM    $search_table f,
 604                                 $br_table br,
 605                                 $metabib_record_descriptor rd
 606                         WHERE   br.id = f.record
 607                                 AND rd.record = f.record
 608                                 AND br.deleted IS FALSE
 609                                 $t_filter
 610                                 $f_filter
 611                                 $a_filter
 612                                 $l_filter
 613                                 $lf_filter
 614                         GROUP BY 1,2,3
 615                         ORDER BY 4 $sort_dir
 616                 SQL
 617         }
 618
 619
 620         $log->debug("Search SQL :: [$select]",DEBUG);
 621
 622         my $recs = metabib::full_rec->db_Main->selectall_arrayref("$select;", {}, @binds);
 623         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
 624
 625         my $max = 0;
 626         $max = 1 if (!@$recs);
 627         for (@$recs) {
 628                 $max = $$_[1] if ($$_[1] > $max);
 629         }
 630
 631         my $count = @$recs;
 632         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
 633                 next unless ($$rec[0]);
 634                 my ($rid,$rank,$junk,$skip) = @$rec;
 635                 $client->respond( [$rid, sprintf('%0.3f',$rank/$max), $count] );
 636         }
 637         return undef;
 638 }
 639 __PACKAGE__->register_method(
 640         api_name        => 'open-ils.storage.biblio.full_rec.multi_search',
 641         method          => 'biblio_multi_search_full_rec',
 642         api_level       => 1,
 643         stream          => 1,
 644         cachable        => 1,
 645 );
 646 __PACKAGE__->register_method(
 647         api_name        => 'open-ils.storage.biblio.full_rec.multi_search.staff',
 648         method          => 'biblio_multi_search_full_rec',
 649         api_level       => 1,
 650         stream          => 1,
 651         cachable        => 1,
 652 );
 653
 654 sub search_full_rec {
 655         my $self = shift;
 656         my $client = shift;
 657
 658         my %args = @_;
 659
 660         my $term = $args{term};
 661         my $limiters = $args{restrict};
 662
 663         my ($index_col) = metabib::full_rec->columns('FTS');
 664         $index_col ||= 'value';
 665         my $search_table = metabib::full_rec->table;
 666
 667         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
 668
 669         my $fts_where = $fts->sql_where_clause();
 670         my @fts_ranks = $fts->fts_rank;
 671
 672         my $rank = join(' + ', @fts_ranks);
 673
 674         my @binds;
 675         my @wheres;
 676         for my $limit (@$limiters) {
 677                 push @wheres, "( tag = ? AND subfield LIKE ? AND $fts_where )";
 678                 push @binds, $$limit{tag}, $$limit{subfield};
 679                 $log->debug("Limiting query using { tag => $$limit{tag}, subfield => $$limit{subfield} }", DEBUG);
 680         }
 681         my $where = join(' OR ', @wheres);
 682
 683         my $select = "SELECT record, sum($rank) FROM $search_table WHERE $where GROUP BY 1 ORDER BY 2 DESC;";
 684
 685         $log->debug("Search SQL :: [$select]",DEBUG);
 686
 687         my $recs = metabib::full_rec->db_Main->selectall_arrayref($select, {}, @binds);
 688         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
 689
 690         $client->respond($_) for (@$recs);
 691         return undef;
 692 }
 693 __PACKAGE__->register_method(
 694         api_name        => 'open-ils.storage.direct.metabib.full_rec.search_fts.value',
 695         method          => 'search_full_rec',
 696         api_level       => 1,
 697         stream          => 1,
 698         cachable        => 1,
 699 );
 700 __PACKAGE__->register_method(
 701         api_name        => 'open-ils.storage.direct.metabib.full_rec.search_fts.index_vector',
 702         method          => 'search_full_rec',
 703         api_level       => 1,
 704         stream          => 1,
 705         cachable        => 1,
 706 );
 707
 708
 709 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
 710 sub search_class_fts {
 711         my $self = shift;
 712         my $client = shift;
 713         my %args = @_;
 714
 715         my $term = $args{term};
 716         my $ou = $args{org_unit};
 717         my $ou_type = $args{depth};
 718         my $limit = $args{limit};
 719         my $offset = $args{offset};
 720
 721         my $limit_clause = '';
 722         my $offset_clause = '';
 723
 724         $limit_clause = "LIMIT $limit" if (defined $limit and int($limit) > 0);
 725         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
 726
 727         my (@types,@forms);
 728         my ($t_filter, $f_filter) = ('','');
 729
 730         if ($args{format}) {
 731                 my ($t, $f) = split '-', $args{format};
 732                 @types = split '', $t;
 733                 @forms = split '', $f;
 734                 if (@types) {
 735                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 736                 }
 737
 738                 if (@forms) {
 739                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 740                 }
 741         }
 742
 743
 744
 745         my $descendants = defined($ou_type) ?
 746                                 "actor.org_unit_descendants($ou, $ou_type)" :
 747                                 "actor.org_unit_descendants($ou)";
 748
 749         my $class = $self->{cdbi};
 750         my $search_table = $class->table;
 751
 752         my $metabib_record_descriptor = metabib::record_descriptor->table;
 753         my $metabib_metarecord = metabib::metarecord->table;
 754         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
 755         my $asset_call_number_table = asset::call_number->table;
 756         my $asset_copy_table = asset::copy->table;
 757         my $cs_table = config::copy_status->table;
 758         my $cl_table = asset::copy_location->table;
 759
 760         my ($index_col) = $class->columns('FTS');
 761         $index_col ||= 'value';
 762
 763         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'f.value', "f.$index_col");
 764
 765         my $fts_where = $fts->sql_where_clause;
 766         my @fts_ranks = $fts->fts_rank;
 767
 768         my $rank = join(' + ', @fts_ranks);
 769
 770         my $has_vols = 'AND cn.owning_lib = d.id';
 771         my $has_copies = 'AND cp.call_number = cn.id';
 772         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 773
 774         my $visible_count = ', count(DISTINCT cp.id)';
 775         my $visible_count_test = 'HAVING count(DISTINCT cp.id) > 0';
 776
 777         if ($self->api_name =~ /staff/o) {
 778                 $copies_visible = '';
 779                 $visible_count_test = '';
 780                 $has_copies = '' if ($ou_type == 0);
 781                 $has_vols = '' if ($ou_type == 0);
 782         }
 783
 784         my $rank_calc = <<"     RANK";
 785                 , (SUM( $rank
 786                         * CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END -- phrase order
 787                         * CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END -- first word match
 788                         * CASE WHEN f.value ~* ? THEN 2 ELSE 1 END -- only word match
 789                 )/COUNT(m.source)), MIN(COALESCE(CHAR_LENGTH(f.value),1))
 790         RANK
 791
 792         $rank_calc = ',1 , 1' if ($self->api_name =~ /unordered/o);
 793
 794         if ($copies_visible) {
 795                 $select = <<"           SQL";
 796                         SELECT  m.metarecord $rank_calc $visible_count, CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
 797                         FROM    $search_table f,
 798                                 $metabib_metarecord_source_map_table m,
 799                                 $asset_call_number_table cn,
 800                                 $asset_copy_table cp,
 801                                 $cs_table cs,
 802                                 $cl_table cl,
 803                                 $metabib_record_descriptor rd,
 804                                 $descendants d
 805                         WHERE   $fts_where
 806                                 AND m.source = f.source
 807                                 AND cn.record = m.source
 808                                 AND rd.record = m.source
 809                                 AND cp.status = cs.id
 810                                 AND cp.location = cl.id
 811                                 $has_vols
 812                                 $has_copies
 813                                 $copies_visible
 814                                 $t_filter
 815                                 $f_filter
 816                         GROUP BY 1 $visible_count_test
 817                         ORDER BY 2 DESC,3
 818                         $limit_clause $offset_clause
 819                 SQL
 820         } else {
 821                 $select = <<"           SQL";
 822                         SELECT  m.metarecord $rank_calc, 0, CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
 823                         FROM    $search_table f,
 824                                 $metabib_metarecord_source_map_table m,
 825                                 $metabib_record_descriptor rd
 826                         WHERE   $fts_where
 827                                 AND m.source = f.source
 828                                 AND rd.record = m.source
 829                                 $t_filter
 830                                 $f_filter
 831                         GROUP BY 1, 4
 832                         ORDER BY 2 DESC,3
 833                         $limit_clause $offset_clause
 834                 SQL
 835         }
 836
 837         $log->debug("Field Search SQL :: [$select]",DEBUG);
 838
 839         my $SQLstring = join('%',$fts->words);
 840         my $REstring = join('\\s+',$fts->words);
 841         my $first_word = ($fts->words)[0].'%';
 842         my $recs = ($self->api_name =~ /unordered/o) ?
 843                         $class->db_Main->selectall_arrayref($select, {}, @types, @forms) :
 844                         $class->db_Main->selectall_arrayref($select, {},
 845                                 '%'.lc($SQLstring).'%',                 # phrase order match
 846                                 lc($first_word),                        # first word match
 847                                 '^\\s*'.lc($REstring).'\\s*/?\s*$',     # full exact match
 848                                 @types, @forms
 849                         );
 850
 851         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
 852
 853         $client->respond($_) for (map { [@$_[0,1,3,4]] } @$recs);
 854         return undef;
 855 }
 856
 857 for my $class ( qw/title author subject keyword series/ ) {
 858         __PACKAGE__->register_method(
 859                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord",
 860                 method          => 'search_class_fts',
 861                 api_level       => 1,
 862                 stream          => 1,
 863                 cdbi            => "metabib::${class}_field_entry",
 864                 cachable        => 1,
 865         );
 866         __PACKAGE__->register_method(
 867                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.unordered",
 868                 method          => 'search_class_fts',
 869                 api_level       => 1,
 870                 stream          => 1,
 871                 cdbi            => "metabib::${class}_field_entry",
 872                 cachable        => 1,
 873         );
 874         __PACKAGE__->register_method(
 875                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.staff",
 876                 method          => 'search_class_fts',
 877                 api_level       => 1,
 878                 stream          => 1,
 879                 cdbi            => "metabib::${class}_field_entry",
 880                 cachable        => 1,
 881         );
 882         __PACKAGE__->register_method(
 883                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.staff.unordered",
 884                 method          => 'search_class_fts',
 885                 api_level       => 1,
 886                 stream          => 1,
 887                 cdbi            => "metabib::${class}_field_entry",
 888                 cachable        => 1,
 889         );
 890 }
 891
 892 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
 893 sub search_class_fts_count {
 894         my $self = shift;
 895         my $client = shift;
 896         my %args = @_;
 897
 898         my $term = $args{term};
 899         my $ou = $args{org_unit};
 900         my $ou_type = $args{depth};
 901         my $limit = $args{limit} || 100;
 902         my $offset = $args{offset} || 0;
 903
 904         my $descendants = defined($ou_type) ?
 905                                 "actor.org_unit_descendants($ou, $ou_type)" :
 906                                 "actor.org_unit_descendants($ou)";
 907
 908         my (@types,@forms);
 909         my ($t_filter, $f_filter) = ('','');
 910
 911         if ($args{format}) {
 912                 my ($t, $f) = split '-', $args{format};
 913                 @types = split '', $t;
 914                 @forms = split '', $f;
 915                 if (@types) {
 916                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 917                 }
 918
 919                 if (@forms) {
 920                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 921                 }
 922         }
 923
 924
 925         (my $search_class = $self->api_name) =~ s/.*metabib.(\w+).search_fts.*/$1/o;
 926
 927         my $class = $self->{cdbi};
 928         my $search_table = $class->table;
 929
 930         my $metabib_record_descriptor = metabib::record_descriptor->table;
 931         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
 932         my $asset_call_number_table = asset::call_number->table;
 933         my $asset_copy_table = asset::copy->table;
 934         my $cs_table = config::copy_status->table;
 935         my $cl_table = asset::copy_location->table;
 936
 937         my ($index_col) = $class->columns('FTS');
 938         $index_col ||= 'value';
 939
 940         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
 941
 942         my $fts_where = $fts->sql_where_clause;
 943
 944         my $has_vols = 'AND cn.owning_lib = d.id';
 945         my $has_copies = 'AND cp.call_number = cn.id';
 946         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 947         if ($self->api_name =~ /staff/o) {
 948                 $copies_visible = '';
 949                 $has_vols = '' if ($ou_type == 0);
 950                 $has_copies = '' if ($ou_type == 0);
 951         }
 952
 953         # XXX test an "EXISTS version of descendant checking...
 954         my $select;
 955         if ($copies_visible) {
 956                 $select = <<"           SQL";
 957                 SELECT  count(distinct  m.metarecord)
 958                   FROM  $search_table f,
 959                         $metabib_metarecord_source_map_table m,
 960                         $metabib_metarecord_source_map_table mr,
 961                         $asset_call_number_table cn,
 962                         $asset_copy_table cp,
 963                         $cs_table cs,
 964                         $cl_table cl,
 965                         $metabib_record_descriptor rd,
 966                         $descendants d
 967                   WHERE $fts_where
 968                         AND mr.source = f.source
 969                         AND mr.metarecord = m.metarecord
 970                         AND cn.record = m.source
 971                         AND rd.record = m.source
 972                         AND cp.status = cs.id
 973                         AND cp.location = cl.id
 974                         $has_vols
 975                         $has_copies
 976                         $copies_visible
 977                         $t_filter
 978                         $f_filter
 979                 SQL
 980         } else {
 981                 $select = <<"           SQL";
 982                 SELECT  count(distinct  m.metarecord)
 983                   FROM  $search_table f,
 984                         $metabib_metarecord_source_map_table m,
 985                         $metabib_metarecord_source_map_table mr,
 986                         $metabib_record_descriptor rd
 987                   WHERE $fts_where
 988                         AND mr.source = f.source
 989                         AND mr.metarecord = m.metarecord
 990                         AND rd.record = m.source
 991                         $t_filter
 992                         $f_filter
 993                 SQL
 994         }
 995
 996         $log->debug("Field Search Count SQL :: [$select]",DEBUG);
 997
 998         my $recs = $class->db_Main->selectrow_arrayref($select, {}, @types, @forms)->[0];
 999
1000         $log->debug("Count Search yielded $recs results.",DEBUG);
1001
1002         return $recs;
1003
1004 }
1005 for my $class ( qw/title author subject keyword series/ ) {
1006         __PACKAGE__->register_method(
1007                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord_count",
1008                 method          => 'search_class_fts_count',
1009                 api_level       => 1,
1010                 stream          => 1,
1011                 cdbi            => "metabib::${class}_field_entry",
1012                 cachable        => 1,
1013         );
1014         __PACKAGE__->register_method(
1015                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord_count.staff",
1016                 method          => 'search_class_fts_count',
1017                 api_level       => 1,
1018                 stream          => 1,
1019                 cdbi            => "metabib::${class}_field_entry",
1020                 cachable        => 1,
1021         );
1022 }
1023
1024
1025 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
1026 sub postfilter_search_class_fts {
1027         my $self = shift;
1028         my $client = shift;
1029         my %args = @_;
1030
1031         my $term = $args{term};
1032         my $sort = $args{'sort'};
1033         my $sort_dir = $args{sort_dir} || 'DESC';
1034         my $ou = $args{org_unit};
1035         my $ou_type = $args{depth};
1036         my $limit = $args{limit} || 10;
1037         my $visiblity_limit = $args{visiblity_limit} || 5000;
1038         my $offset = $args{offset} || 0;
1039
1040         my $outer_limit = 1000;
1041
1042         my $limit_clause = '';
1043         my $offset_clause = '';
1044
1045         $limit_clause = "LIMIT $outer_limit";
1046         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
1047
1048         my (@types,@forms,@lang,@aud,@lit_form);
1049         my ($t_filter, $f_filter) = ('','');
1050         my ($a_filter, $l_filter, $lf_filter) = ('','','');
1051         my ($ot_filter, $of_filter) = ('','');
1052         my ($oa_filter, $ol_filter, $olf_filter) = ('','','');
1053
1054         if (my $a = $args{audience}) {
1055                 $a = [$a] if (!ref($a));
1056                 @aud = @$a;
1057
1058                 $a_filter = ' AND rd.audience IN ('.join(',',map{'?'}@aud).')';
1059                 $oa_filter = ' AND ord.audience IN ('.join(',',map{'?'}@aud).')';
1060         }
1061
1062         if (my $l = $args{language}) {
1063                 $l = [$l] if (!ref($l));
1064                 @lang = @$l;
1065
1066                 $l_filter = ' AND rd.item_lang IN ('.join(',',map{'?'}@lang).')';
1067                 $ol_filter = ' AND ord.item_lang IN ('.join(',',map{'?'}@lang).')';
1068         }
1069
1070         if (my $f = $args{lit_form}) {
1071                 $f = [$f] if (!ref($f));
1072                 @lit_form = @$f;
1073
1074                 $lf_filter = ' AND rd.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1075                 $olf_filter = ' AND ord.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1076         }
1077
1078         if ($args{format}) {
1079                 my ($t, $f) = split '-', $args{format};
1080                 @types = split '', $t;
1081                 @forms = split '', $f;
1082                 if (@types) {
1083                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1084                         $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1085                 }
1086
1087                 if (@forms) {
1088                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1089                         $of_filter .= ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1090                 }
1091         }
1092
1093
1094         my $descendants = defined($ou_type) ?
1095                                 "actor.org_unit_descendants($ou, $ou_type)" :
1096                                 "actor.org_unit_descendants($ou)";
1097
1098         my $class = $self->{cdbi};
1099         my $search_table = $class->table;
1100
1101         my $metabib_full_rec = metabib::full_rec->table;
1102         my $metabib_record_descriptor = metabib::record_descriptor->table;
1103         my $metabib_metarecord = metabib::metarecord->table;
1104         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
1105         my $asset_call_number_table = asset::call_number->table;
1106         my $asset_copy_table = asset::copy->table;
1107         my $cs_table = config::copy_status->table;
1108         my $cl_table = asset::copy_location->table;
1109         my $br_table = biblio::record_entry->table;
1110
1111         my ($index_col) = $class->columns('FTS');
1112         $index_col ||= 'value';
1113
1114         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'f.value', "f.$index_col");
1115
1116         my $SQLstring = join('%',map { lc($_) } $fts->words);
1117         my $REstring = '^' . join('\s+',map { lc($_) } $fts->words) . '\W*$';
1118         my $first_word = lc(($fts->words)[0]).'%';
1119
1120         my $fts_where = $fts->sql_where_clause;
1121         my @fts_ranks = $fts->fts_rank;
1122
1123         my %bonus = ();
1124         $bonus{'metabib::keyword_field_entry'} = [ { 'CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END' => $SQLstring } ];
1125         $bonus{'metabib::title_field_entry'} =
1126                 $bonus{'metabib::series_field_entry'} = [
1127                         { 'CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END' => $first_word },
1128                         { 'CASE WHEN f.value ~* ? THEN 2 ELSE 1 END' => $REstring },
1129                         @{ $bonus{'metabib::keyword_field_entry'} }
1130                 ];
1131
1132         my $bonus_list = join ' * ', map { keys %$_ } @{ $bonus{$class} };
1133         $bonus_list ||= '1';
1134
1135         my @bonus_values = map { values %$_ } @{ $bonus{$class} };
1136
1137         my $relevance = join(' + ', @fts_ranks);
1138         $relevance = <<"        RANK";
1139                         (SUM( ( $relevance )  * ( $bonus_list ) )/COUNT(m.source))
1140         RANK
1141
1142         my $string_default_sort = 'zzzz';
1143         $string_default_sort = 'AAAA' if ($sort_dir eq 'DESC');
1144
1145         my $number_default_sort = '9999';
1146         $number_default_sort = '0000' if ($sort_dir eq 'DESC');
1147
1148         my $rank = $relevance;
1149         if (lc($sort) eq 'pubdate') {
1150                 $rank = <<"             RANK";
1151                         ( FIRST ((
1152                                 SELECT  COALESCE(SUBSTRING(frp.value FROM '\\\\d+'),'$number_default_sort')::INT
1153                                   FROM  $metabib_full_rec frp
1154                                   WHERE frp.record = mr.master_record
1155                                         AND frp.tag = '260'
1156                                         AND frp.subfield = 'c'
1157                                   LIMIT 1
1158                         )) )
1159                 RANK
1160         } elsif (lc($sort) eq 'create_date') {
1161                 $rank = <<"             RANK";
1162                         ( FIRST (( SELECT create_date FROM $br_table rbr WHERE rbr.id = mr.master_record)) )
1163                 RANK
1164         } elsif (lc($sort) eq 'edit_date') {
1165                 $rank = <<"             RANK";
1166                         ( FIRST (( SELECT edit_date FROM $br_table rbr WHERE rbr.id = mr.master_record)) )
1167                 RANK
1168         } elsif (lc($sort) eq 'title') {
1169                 $rank = <<"             RANK";
1170                         ( FIRST ((
1171                                 SELECT  COALESCE(LTRIM(SUBSTR( frt.value, COALESCE(SUBSTRING(frt.ind2 FROM '\\\\d+'),'0')::INT + 1 )),'$string_default_sort')
1172                                   FROM  $metabib_full_rec frt
1173                                   WHERE frt.record = mr.master_record
1174                                         AND frt.tag = '245'
1175                                         AND frt.subfield = 'a'
1176                                   LIMIT 1
1177                         )) )
1178                 RANK
1179         } elsif (lc($sort) eq 'author') {
1180                 $rank = <<"             RANK";
1181                         ( FIRST((
1182                                 SELECT  COALESCE(LTRIM(fra.value),'$string_default_sort')
1183                                   FROM  $metabib_full_rec fra
1184                                   WHERE fra.record = mr.master_record
1185                                         AND fra.tag LIKE '1%'
1186                                         AND fra.subfield = 'a'
1187                                   ORDER BY fra.tag::text::int
1188                                   LIMIT 1
1189                         )) )
1190                 RANK
1191         } else {
1192                 $sort = undef;
1193         }
1194
1195         my $select = <<"        SQL";
1196                 SELECT  m.metarecord,
1197                         $relevance,
1198                         CASE WHEN COUNT(DISTINCT smrs.source) = 1 THEN MIN(m.source) ELSE 0 END,
1199                         $rank
1200                 FROM    $search_table f,
1201                         $metabib_metarecord_source_map_table m,
1202                         $metabib_metarecord_source_map_table smrs,
1203                         $metabib_metarecord mr,
1204                         $metabib_record_descriptor rd
1205                 WHERE   $fts_where
1206                         AND smrs.metarecord = mr.id
1207                         AND m.source = f.source
1208                         AND m.metarecord = mr.id
1209                         AND rd.record = smrs.source
1210                         $t_filter
1211                         $f_filter
1212                         $a_filter
1213                         $l_filter
1214                         $lf_filter
1215                 GROUP BY m.metarecord
1216                 ORDER BY 4 $sort_dir, MIN(COALESCE(CHAR_LENGTH(f.value),1))
1217                 LIMIT $visiblity_limit
1218         SQL
1219
1220         if (0) {
1221                 $select = <<"           SQL";
1222
1223                         SELECT  DISTINCT s.*
1224                           FROM  $asset_call_number_table cn,
1225                                 $metabib_metarecord_source_map_table mrs,
1226                                 $asset_copy_table cp,
1227                                 $cs_table cs,
1228                                 $cl_table cl,
1229                                 $br_table br,
1230                                 $descendants d,
1231                                 $metabib_record_descriptor ord,
1232                                 ($select) s
1233                           WHERE mrs.metarecord = s.metarecord
1234                                 AND br.id = mrs.source
1235                                 AND cn.record = mrs.source
1236                                 AND cp.status = cs.id
1237                                 AND cp.location = cl.id
1238                                 AND cn.owning_lib = d.id
1239                                 AND cp.call_number = cn.id
1240                                 AND cp.opac_visible IS TRUE
1241                                 AND cs.holdable IS TRUE
1242                                 AND cl.opac_visible IS TRUE
1243                                 AND br.active IS TRUE
1244                                 AND br.deleted IS FALSE
1245                                 AND ord.record = mrs.source
1246                                 $ot_filter
1247                                 $of_filter
1248                                 $oa_filter
1249                                 $ol_filter
1250                                 $olf_filter
1251                           ORDER BY 4 $sort_dir
1252                 SQL
1253         } elsif ($self->api_name !~ /staff/o) {
1254                 $select = <<"           SQL";
1255
1256                         SELECT  DISTINCT s.*
1257                           FROM  ($select) s
1258                           WHERE EXISTS (
1259                                 SELECT  1
1260                                   FROM  $asset_call_number_table cn,
1261                                         $metabib_metarecord_source_map_table mrs,
1262                                         $asset_copy_table cp,
1263                                         $cs_table cs,
1264                                         $cl_table cl,
1265                                         $br_table br,
1266                                         $descendants d,
1267                                         $metabib_record_descriptor ord
1268
1269                                   WHERE mrs.metarecord = s.metarecord
1270                                         AND br.id = mrs.source
1271                                         AND cn.record = mrs.source
1272                                         AND cp.status = cs.id
1273                                         AND cp.location = cl.id
1274                                         AND cn.owning_lib = d.id
1275                                         AND cp.call_number = cn.id
1276                                         AND cp.opac_visible IS TRUE
1277                                         AND cs.holdable IS TRUE
1278                                         AND cl.opac_visible IS TRUE
1279                                         AND br.active IS TRUE
1280                                         AND br.deleted IS FALSE
1281                                         AND ord.record = mrs.source
1282                                         $ot_filter
1283                                         $of_filter
1284                                         $oa_filter
1285                                         $ol_filter
1286                                         $olf_filter
1287                                   LIMIT 1
1288                                 )
1289                           ORDER BY 4 $sort_dir
1290                 SQL
1291         } else {
1292                 $select = <<"           SQL";
1293
1294                         SELECT  DISTINCT s.*
1295                           FROM  ($select) s
1296                           WHERE EXISTS (
1297                                 SELECT  1
1298                                   FROM  $asset_call_number_table cn,
1299                                         $metabib_metarecord_source_map_table mrs,
1300                                         $br_table br,
1301                                         $descendants d,
1302                                         $metabib_record_descriptor ord
1303
1304                                   WHERE mrs.metarecord = s.metarecord
1305                                         AND br.id = mrs.source
1306                                         AND cn.record = mrs.source
1307                                         AND cn.owning_lib = d.id
1308                                         AND br.deleted IS FALSE
1309                                         AND ord.record = mrs.source
1310                                         $ot_filter
1311                                         $of_filter
1312                                         $oa_filter
1313                                         $ol_filter
1314                                         $olf_filter
1315                                   LIMIT 1
1316                                 )
1317                                 OR NOT EXISTS (
1318                                 SELECT  1
1319                                   FROM  $asset_call_number_table cn,
1320                                         $metabib_metarecord_source_map_table mrs,
1321                                         $metabib_record_descriptor ord
1322                                   WHERE mrs.metarecord = s.metarecord
1323                                         AND cn.record = mrs.source
1324                                         AND ord.record = mrs.source
1325                                         $ot_filter
1326                                         $of_filter
1327                                         $oa_filter
1328                                         $ol_filter
1329                                         $olf_filter
1330                                   LIMIT 1
1331                                 )
1332                           ORDER BY 4 $sort_dir
1333                 SQL
1334         }
1335
1336
1337         $log->debug("Field Search SQL :: [$select]",DEBUG);
1338
1339         my $recs = $class->db_Main->selectall_arrayref(
1340                         $select, {},
1341                         (@bonus_values > 0 ? @bonus_values : () ),
1342                         ( (!$sort && @bonus_values > 0) ? @bonus_values : () ),
1343                         @types, @forms, @aud, @lang, @lit_form,
1344                         @types, @forms, @aud, @lang, @lit_form,
1345                         ($self->api_name =~ /staff/o ? (@types, @forms, @aud, @lang, @lit_form) : () ) );
1346
1347         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
1348
1349         my $max = 0;
1350         $max = 1 if (!@$recs);
1351         for (@$recs) {
1352                 $max = $$_[1] if ($$_[1] > $max);
1353         }
1354
1355         my $count = scalar(@$recs);
1356         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
1357                 my ($mrid,$rank,$skip) = @$rec;
1358                 $client->respond( [$mrid, sprintf('%0.3f',$rank/$max), $skip, $count] );
1359         }
1360         return undef;
1361 }
1362
1363 for my $class ( qw/title author subject keyword series/ ) {
1364         __PACKAGE__->register_method(
1365                 api_name        => "open-ils.storage.metabib.$class.post_filter.search_fts.metarecord",
1366                 method          => 'postfilter_search_class_fts',
1367                 api_level       => 1,
1368                 stream          => 1,
1369                 cdbi            => "metabib::${class}_field_entry",
1370                 cachable        => 1,
1371         );
1372         __PACKAGE__->register_method(
1373                 api_name        => "open-ils.storage.metabib.$class.post_filter.search_fts.metarecord.staff",
1374                 method          => 'postfilter_search_class_fts',
1375                 api_level       => 1,
1376                 stream          => 1,
1377                 cdbi            => "metabib::${class}_field_entry",
1378                 cachable        => 1,
1379         );
1380 }
1381
1382
1383
1384 my $_cdbi = {   title   => "metabib::title_field_entry",
1385                 author  => "metabib::author_field_entry",
1386                 subject => "metabib::subject_field_entry",
1387                 keyword => "metabib::keyword_field_entry",
1388                 series  => "metabib::series_field_entry",
1389 };
1390
1391 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
1392 sub postfilter_search_multi_class_fts {
1393         my $self = shift;
1394         my $client = shift;
1395         my %args = @_;
1396
1397         my $sort = $args{'sort'};
1398         my $sort_dir = $args{sort_dir} || 'DESC';
1399         my $ou = $args{org_unit};
1400         my $ou_type = $args{depth};
1401         my $limit = $args{limit} || 10;;
1402         my $visiblity_limit = $args{visiblity_limit} || 5000;;
1403         my $offset = $args{offset} || 0;
1404
1405         if (!$ou) {
1406                 $ou = actor::org_unit->search( { parent_ou => undef } )->next->id;
1407         }
1408
1409         if (!defined($args{org_unit})) {
1410                 die "No target organizational unit passed to ".$self->api_name;
1411         }
1412
1413         if (! scalar( keys %{$args{searches}} )) {
1414                 die "No search arguments were passed to ".$self->api_name;
1415         }
1416
1417         my $outer_limit = 1000;
1418
1419         my $limit_clause = '';
1420         my $offset_clause = '';
1421
1422         $limit_clause = "LIMIT $outer_limit";
1423         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
1424
1425         my (@types,@forms,@lang,@aud,@lit_form,@vformats);
1426         my ($t_filter, $f_filter, $v_filter) = ('','','');
1427         my ($a_filter, $l_filter, $lf_filter) = ('','','');
1428         my ($ot_filter, $of_filter, $ov_filter) = ('','','');
1429         my ($oa_filter, $ol_filter, $olf_filter) = ('','','');
1430
1431         if (my $a = $args{audience}) {
1432                 $a = [$a] if (!ref($a));
1433                 @aud = @$a;
1434
1435                 $a_filter = ' AND rd.audience IN ('.join(',',map{'?'}@aud).')';
1436                 $oa_filter = ' AND ord.audience IN ('.join(',',map{'?'}@aud).')';
1437         }
1438
1439         if (my $l = $args{language}) {
1440                 $l = [$l] if (!ref($l));
1441                 @lang = @$l;
1442
1443                 $l_filter = ' AND rd.item_lang IN ('.join(',',map{'?'}@lang).')';
1444                 $ol_filter = ' AND ord.item_lang IN ('.join(',',map{'?'}@lang).')';
1445         }
1446
1447         if (my $f = $args{lit_form}) {
1448                 $f = [$f] if (!ref($f));
1449                 @lit_form = @$f;
1450
1451                 $lf_filter = ' AND rd.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1452                 $olf_filter = ' AND ord.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1453         }
1454
1455         if (my $f = $args{item_form}) {
1456                 $f = [$f] if (!ref($f));
1457                 @forms = @$f;
1458
1459                 $f_filter = ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1460                 $of_filter = ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1461         }
1462
1463         if (my $t = $args{item_type}) {
1464                 $t = [$t] if (!ref($t));
1465                 @types = @$t;
1466
1467                 $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1468                 $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1469         }
1470
1471         if (my $v = $args{vr_format}) {
1472                 $v = [$v] if (!ref($v));
1473                 @vformats = @$v;
1474
1475                 $v_filter = ' AND rd.vr_format IN ('.join(',',map{'?'}@vformats).')';
1476                 $ov_filter = ' AND ord.vr_format IN ('.join(',',map{'?'}@vformats).')';
1477         }
1478
1479
1480         # XXX legacy format and item type support
1481         if ($args{format}) {
1482                 my ($t, $f) = split '-', $args{format};
1483                 @types = split '', $t;
1484                 @forms = split '', $f;
1485                 if (@types) {
1486                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1487                         $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1488                 }
1489
1490                 if (@forms) {
1491                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1492                         $of_filter .= ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1493                 }
1494         }
1495
1496
1497
1498         my $descendants = defined($ou_type) ?
1499                                 "actor.org_unit_descendants($ou, $ou_type)" :
1500                                 "actor.org_unit_descendants($ou)";
1501
1502         my $search_table_list = '';
1503         my $fts_list = '';
1504         my $join_table_list = '';
1505         my @rank_list;
1506
1507         my $field_table = config::metabib_field->table;
1508
1509         my @bonus_lists;
1510         my @bonus_values;
1511         my $prev_search_class;
1512         my $curr_search_class;
1513         for my $search_class (sort keys %{$args{searches}}) {
1514                 $prev_search_class = $curr_search_class if ($curr_search_class);
1515
1516                 $curr_search_class = $search_class;
1517
1518                 my $class = $_cdbi->{$search_class};
1519                 my $search_table = $class->table;
1520
1521                 my ($index_col) = $class->columns('FTS');
1522                 $index_col ||= 'value';
1523
1524
1525                 my $fts = OpenILS::Application::Storage::FTS->compile($args{searches}{$search_class}{term}, $search_class.'.value', "$search_class.$index_col");
1526
1527                 my $fts_where = $fts->sql_where_clause;
1528                 my @fts_ranks = $fts->fts_rank;
1529
1530                 my $SQLstring = join('%',map { lc($_) } $fts->words);
1531                 my $REstring = '^' . join('\s+',map { lc($_) } $fts->words) . '\W*$';
1532                 my $first_word = lc(($fts->words)[0]).'%';
1533
1534                 $_.=" * (SELECT weight FROM $field_table WHERE $search_class.field = id)" for (@fts_ranks);
1535                 my $rank = join(' + ', @fts_ranks);
1536
1537                 my %bonus = ();
1538                 $bonus{'keyword'} = [ { "CASE WHEN $search_class.value LIKE ? THEN 10 ELSE 1 END" => $SQLstring } ];
1539                 $bonus{'author'} = [ { "CASE WHEN $search_class.value ILIKE ? THEN 10 ELSE 1 END" => $first_word } ];
1540
1541                 $bonus{'series'} = [
1542                         { "CASE WHEN $search_class.value LIKE ? THEN 1.5 ELSE 1 END" => $first_word },
1543                         { "CASE WHEN $search_class.value ~ ? THEN 20 ELSE 1 END" => $REstring },
1544                 ];
1545
1546                 $bonus{'title'} = [ @{ $bonus{'series'} }, @{ $bonus{'keyword'} } ];
1547
1548                 my $bonus_list = join ' * ', map { keys %$_ } @{ $bonus{$search_class} };
1549                 $bonus_list ||= '1';
1550
1551                 push @bonus_lists, $bonus_list;
1552                 push @bonus_values, map { values %$_ } @{ $bonus{$search_class} };
1553
1554
1555                 #---------------------
1556
1557                 $search_table_list .= "$search_table $search_class, ";
1558                 push @rank_list,$rank;
1559                 $fts_list .= " AND $fts_where AND m.source = $search_class.source";
1560
1561                 if ($prev_search_class) {
1562                         $join_table_list .= " AND $prev_search_class.source = $curr_search_class.source";
1563                 }
1564         }
1565
1566         my $metabib_record_descriptor = metabib::record_descriptor->table;
1567         my $metabib_full_rec = metabib::full_rec->table;
1568         my $metabib_metarecord = metabib::metarecord->table;
1569         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
1570         my $asset_call_number_table = asset::call_number->table;
1571         my $asset_copy_table = asset::copy->table;
1572         my $cs_table = config::copy_status->table;
1573         my $cl_table = asset::copy_location->table;
1574         my $br_table = biblio::record_entry->table;
1575         my $source_table = config::bib_source->table;
1576
1577         my $bonuses = join (' * ', @bonus_lists);
1578         my $relevance = join (' + ', @rank_list);
1579         $relevance = "SUM( ($relevance) * ($bonuses) )/COUNT(DISTINCT smrs.source)";
1580
1581         my $string_default_sort = 'zzzz';
1582         $string_default_sort = 'AAAA' if ($sort_dir eq 'DESC');
1583
1584         my $number_default_sort = '9999';
1585         $number_default_sort = '0000' if ($sort_dir eq 'DESC');
1586
1587
1588
1589         my $secondary_sort = <<"        SORT";
1590                 ( FIRST ((
1591                         SELECT  COALESCE(LTRIM(SUBSTR( sfrt.value, COALESCE(SUBSTRING(sfrt.ind2 FROM '\\\\d+'),'0')::INT + 1 )),'$string_default_sort')
1592                           FROM  $metabib_full_rec sfrt,
1593                                 $metabib_metarecord mr
1594                           WHERE sfrt.record = mr.master_record
1595                                 AND sfrt.tag = '245'
1596                                 AND sfrt.subfield = 'a'
1597                           LIMIT 1
1598                 )) )
1599         SORT
1600
1601         my $rank = $relevance;
1602         if (lc($sort) eq 'pubdate') {
1603                 $rank = <<"             RANK";
1604                         ( FIRST ((
1605                                 SELECT  COALESCE(SUBSTRING(frp.value FROM '\\\\d+'),'$number_default_sort')::INT
1606                                   FROM  $metabib_full_rec frp
1607                                   WHERE frp.record = mr.master_record
1608                                         AND frp.tag = '260'
1609                                         AND frp.subfield = 'c'
1610                                   LIMIT 1
1611                         )) )
1612                 RANK
1613         } elsif (lc($sort) eq 'create_date') {
1614                 $rank = <<"             RANK";
1615                         ( FIRST (( SELECT create_date FROM $br_table rbr WHERE rbr.id = mr.master_record)) )
1616                 RANK
1617         } elsif (lc($sort) eq 'edit_date') {
1618                 $rank = <<"             RANK";
1619                         ( FIRST (( SELECT edit_date FROM $br_table rbr WHERE rbr.id = mr.master_record)) )
1620                 RANK
1621         } elsif (lc($sort) eq 'title') {
1622                 $rank = <<"             RANK";
1623                         ( FIRST ((
1624                                 SELECT  COALESCE(LTRIM(SUBSTR( frt.value, COALESCE(SUBSTRING(frt.ind2 FROM '\\\\d+'),'0')::INT + 1 )),'$string_default_sort')
1625                                   FROM  $metabib_full_rec frt
1626                                   WHERE frt.record = mr.master_record
1627                                         AND frt.tag = '245'
1628                                         AND frt.subfield = 'a'
1629                                   LIMIT 1
1630                         )) )
1631                 RANK
1632                 $secondary_sort = <<"           SORT";
1633                         ( FIRST ((
1634                                 SELECT  COALESCE(SUBSTRING(sfrp.value FROM '\\\\d+'),'$number_default_sort')::INT
1635                                   FROM  $metabib_full_rec sfrp
1636                                   WHERE sfrp.record = mr.master_record
1637                                         AND sfrp.tag = '260'
1638                                         AND sfrp.subfield = 'c'
1639                                   LIMIT 1
1640                         )) )
1641                 SORT
1642         } elsif (lc($sort) eq 'author') {
1643                 $rank = <<"             RANK";
1644                         ( FIRST((
1645                                 SELECT  COALESCE(LTRIM(fra.value),'$string_default_sort')
1646                                   FROM  $metabib_full_rec fra
1647                                   WHERE fra.record = mr.master_record
1648                                         AND fra.tag LIKE '1%'
1649                                         AND fra.subfield = 'a'
1650                                   ORDER BY fra.tag::text::int
1651                                   LIMIT 1
1652                         )) )
1653                 RANK
1654         } else {
1655                 push @bonus_values, @bonus_values;
1656                 $sort = undef;
1657         }
1658
1659
1660         my $select = <<"        SQL";
1661                 SELECT  m.metarecord,
1662                         $relevance,
1663                         CASE WHEN COUNT(DISTINCT smrs.source) = 1 THEN FIRST(m.source) ELSE 0 END,
1664                         $rank,
1665                         $secondary_sort
1666                 FROM    $search_table_list
1667                         $metabib_metarecord mr,
1668                         $metabib_metarecord_source_map_table m,
1669                         $metabib_metarecord_source_map_table smrs
1670                 WHERE   m.metarecord = smrs.metarecord
1671                         AND mr.id = m.metarecord
1672                         $fts_list
1673                         $join_table_list
1674                 GROUP BY m.metarecord
1675                 -- ORDER BY 4 $sort_dir
1676                 LIMIT $visiblity_limit
1677         SQL
1678
1679         if ($self->api_name !~ /staff/o) {
1680                 $select = <<"           SQL";
1681
1682                         SELECT  s.*
1683                           FROM  ($select) s
1684                           WHERE EXISTS (
1685                                 SELECT  1
1686                                   FROM  $asset_call_number_table cn,
1687                                         $metabib_metarecord_source_map_table mrs,
1688                                         $asset_copy_table cp,
1689                                         $cs_table cs,
1690                                         $cl_table cl,
1691                                         $br_table br,
1692                                         $descendants d,
1693                                         $metabib_record_descriptor ord
1694                                   WHERE mrs.metarecord = s.metarecord
1695                                         AND br.id = mrs.source
1696                                         AND cn.record = mrs.source
1697                                         AND cp.status = cs.id
1698                                         AND cp.location = cl.id
1699                                         AND cn.owning_lib = d.id
1700                                         AND cp.call_number = cn.id
1701                                         AND cp.opac_visible IS TRUE
1702                                         AND cs.holdable IS TRUE
1703                                         AND cl.opac_visible IS TRUE
1704                                         AND br.active IS TRUE
1705                                         AND br.deleted IS FALSE
1706                                         AND cp.deleted IS FALSE
1707                                         AND cn.deleted IS FALSE
1708                                         AND ord.record = mrs.source
1709                                         $ot_filter
1710                                         $of_filter
1711                                         $ov_filter
1712                                         $oa_filter
1713                                         $ol_filter
1714                                         $olf_filter
1715                                   LIMIT 1
1716                                 )
1717                                 OR EXISTS (
1718                                 SELECT  1
1719                                   FROM  $br_table br,
1720                                         $metabib_metarecord_source_map_table mrs,
1721                                         $metabib_record_descriptor ord,
1722                                         $source_table src
1723                                   WHERE mrs.metarecord = s.metarecord
1724                                         AND ord.record = mrs.source
1725                                         AND br.id = mrs.source
1726                                         AND br.source = src.id
1727                                         AND src.transcendant IS TRUE
1728                                         $ot_filter
1729                                         $of_filter
1730                                         $ov_filter
1731                                         $oa_filter
1732                                         $ol_filter
1733                                         $olf_filter
1734                                 )
1735                           ORDER BY 4 $sort_dir, 5
1736                 SQL
1737         } else {
1738                 $select = <<"           SQL";
1739
1740                         SELECT  DISTINCT s.*
1741                           FROM  ($select) s,
1742                                 $metabib_metarecord_source_map_table omrs,
1743                                 $metabib_record_descriptor ord
1744                           WHERE omrs.metarecord = s.metarecord
1745                                 AND ord.record = omrs.source
1746                                 AND (   EXISTS (
1747                                                 SELECT  1
1748                                                   FROM  $asset_call_number_table cn,
1749                                                         $descendants d,
1750                                                         $br_table br
1751                                                   WHERE br.id = omrs.source
1752                                                         AND cn.record = omrs.source
1753                                                         AND cn.owning_lib = d.id
1754                                                         AND br.deleted IS FALSE
1755                                                         AND cn.deleted IS FALSE
1756                                                   LIMIT 1
1757                                         )
1758                                         OR NOT EXISTS (
1759                                                 SELECT  1
1760                                                   FROM  $asset_call_number_table cn
1761                                                   WHERE cn.record = omrs.source
1762                                                         AND cn.deleted IS FALSE
1763                                                   LIMIT 1
1764                                         )
1765                                         OR EXISTS (
1766                                         SELECT  1
1767                                           FROM  $br_table br,
1768                                                 $metabib_metarecord_source_map_table mrs,
1769                                                 $metabib_record_descriptor ord,
1770                                                 $source_table src
1771                                           WHERE mrs.metarecord = s.metarecord
1772                                                 AND br.id = mrs.source
1773                                                 AND br.source = src.id
1774                                                 AND src.transcendant IS TRUE
1775                                                 $ot_filter
1776                                                 $of_filter
1777                                                 $ov_filter
1778                                                 $oa_filter
1779                                                 $ol_filter
1780                                                 $olf_filter
1781                                         )
1782                                 )
1783                                 $ot_filter
1784                                 $of_filter
1785                                 $ov_filter
1786                                 $oa_filter
1787                                 $ol_filter
1788                                 $olf_filter
1789
1790                           ORDER BY 4 $sort_dir, 5
1791                 SQL
1792         }
1793
1794
1795         $log->debug("Field Search SQL :: [$select]",DEBUG);
1796
1797         my $recs = $_cdbi->{title}->db_Main->selectall_arrayref(
1798                         $select, {},
1799                         @bonus_values,
1800                         @types, @forms, @vformats, @aud, @lang, @lit_form,
1801                         @types, @forms, @vformats, @aud, @lang, @lit_form,
1802                         # ($self->api_name =~ /staff/o ? (@types, @forms, @aud, @lang, @lit_form) : () )
1803         );
1804
1805         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
1806
1807         my $max = 0;
1808         $max = 1 if (!@$recs);
1809         for (@$recs) {
1810                 $max = $$_[1] if ($$_[1] > $max);
1811         }
1812
1813         my $count = scalar(@$recs);
1814         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
1815                 next unless ($$rec[0]);
1816                 my ($mrid,$rank,$skip) = @$rec;
1817                 $client->respond( [$mrid, sprintf('%0.3f',$rank/$max), $skip, $count] );
1818         }
1819         return undef;
1820 }
1821
1822 __PACKAGE__->register_method(
1823         api_name        => "open-ils.storage.metabib.post_filter.multiclass.search_fts.metarecord",
1824         method          => 'postfilter_search_multi_class_fts',
1825         api_level       => 1,
1826         stream          => 1,
1827         cachable        => 1,
1828 );
1829 __PACKAGE__->register_method(
1830         api_name        => "open-ils.storage.metabib.post_filter.multiclass.search_fts.metarecord.staff",
1831         method          => 'postfilter_search_multi_class_fts',
1832         api_level       => 1,
1833         stream          => 1,
1834         cachable        => 1,
1835 );
1836
1837 __PACKAGE__->register_method(
1838         api_name        => "open-ils.storage.metabib.multiclass.search_fts",
1839         method          => 'postfilter_search_multi_class_fts',
1840         api_level       => 1,
1841         stream          => 1,
1842         cachable        => 1,
1843 );
1844 __PACKAGE__->register_method(
1845         api_name        => "open-ils.storage.metabib.multiclass.search_fts.staff",
1846         method          => 'postfilter_search_multi_class_fts',
1847         api_level       => 1,
1848         stream          => 1,
1849         cachable        => 1,
1850 );
1851
1852 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
1853 sub biblio_search_multi_class_fts {
1854         my $self = shift;
1855         my $client = shift;
1856         my %args = @_;
1857
1858         my $sort = $args{'sort'};
1859         my $sort_dir = $args{sort_dir} || 'DESC';
1860         my $ou = $args{org_unit};
1861         my $ou_type = $args{depth};
1862         my $limit = $args{limit} || 10;
1863         my $pref_lang = $args{prefered_language} || 'eng';
1864         my $visiblity_limit = $args{visiblity_limit} || 5000;
1865         my $offset = $args{offset} || 0;
1866
1867         if (!$ou) {
1868                 $ou = actor::org_unit->search( { parent_ou => undef } )->next->id;
1869         }
1870
1871         if (!defined($args{org_unit})) {
1872                 die "No target organizational unit passed to ".$self->api_name;
1873         }
1874
1875         if (! scalar( keys %{$args{searches}} )) {
1876                 die "No search arguments were passed to ".$self->api_name;
1877         }
1878
1879         my $outer_limit = 1000;
1880
1881         my $limit_clause = '';
1882         my $offset_clause = '';
1883
1884         $limit_clause = "LIMIT $outer_limit";
1885         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
1886
1887         my (@types,@forms,@lang,@aud,@lit_form,@vformats);
1888         my ($t_filter, $f_filter, $v_filter) = ('','','');
1889         my ($a_filter, $l_filter, $lf_filter) = ('','','');
1890         my ($ot_filter, $of_filter, $ov_filter) = ('','','');
1891         my ($oa_filter, $ol_filter, $olf_filter) = ('','','');
1892
1893         if (my $a = $args{audience}) {
1894                 $a = [$a] if (!ref($a));
1895                 @aud = @$a;
1896
1897                 $a_filter = ' AND rd.audience IN ('.join(',',map{'?'}@aud).')';
1898                 $oa_filter = ' AND ord.audience IN ('.join(',',map{'?'}@aud).')';
1899         }
1900
1901         if (my $l = $args{language}) {
1902                 $l = [$l] if (!ref($l));
1903                 @lang = @$l;
1904
1905                 $l_filter = ' AND rd.item_lang IN ('.join(',',map{'?'}@lang).')';
1906                 $ol_filter = ' AND ord.item_lang IN ('.join(',',map{'?'}@lang).')';
1907         }
1908
1909         if (my $f = $args{lit_form}) {
1910                 $f = [$f] if (!ref($f));
1911                 @lit_form = @$f;
1912
1913                 $lf_filter = ' AND rd.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1914                 $olf_filter = ' AND ord.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1915         }
1916
1917         if (my $f = $args{item_form}) {
1918                 $f = [$f] if (!ref($f));
1919                 @forms = @$f;
1920
1921                 $f_filter = ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1922                 $of_filter = ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1923         }
1924
1925         if (my $t = $args{item_type}) {
1926                 $t = [$t] if (!ref($t));
1927                 @types = @$t;
1928
1929                 $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1930                 $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1931         }
1932
1933         if (my $v = $args{vr_format}) {
1934                 $v = [$v] if (!ref($v));
1935                 @vformats = @$v;
1936
1937                 $v_filter = ' AND rd.vr_format IN ('.join(',',map{'?'}@vformats).')';
1938                 $ov_filter = ' AND ord.vr_format IN ('.join(',',map{'?'}@vformats).')';
1939         }
1940
1941         # XXX legacy format and item type support
1942         if ($args{format}) {
1943                 my ($t, $f) = split '-', $args{format};
1944                 @types = split '', $t;
1945                 @forms = split '', $f;
1946                 if (@types) {
1947                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1948                         $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1949                 }
1950
1951                 if (@forms) {
1952                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1953                         $of_filter .= ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1954                 }
1955         }
1956
1957
1958         my $descendants = defined($ou_type) ?
1959                                 "actor.org_unit_descendants($ou, $ou_type)" :
1960                                 "actor.org_unit_descendants($ou)";
1961
1962         my $search_table_list = '';
1963         my $fts_list = '';
1964         my $join_table_list = '';
1965         my @rank_list;
1966
1967         my $field_table = config::metabib_field->table;
1968
1969         my @bonus_lists;
1970         my @bonus_values;
1971         my $prev_search_class;
1972         my $curr_search_class;
1973         for my $search_class (sort keys %{$args{searches}}) {
1974                 $prev_search_class = $curr_search_class if ($curr_search_class);
1975
1976                 $curr_search_class = $search_class;
1977
1978                 my $class = $_cdbi->{$search_class};
1979                 my $search_table = $class->table;
1980
1981                 my ($index_col) = $class->columns('FTS');
1982                 $index_col ||= 'value';
1983
1984
1985                 my $fts = OpenILS::Application::Storage::FTS->compile($args{searches}{$search_class}{term}, $search_class.'.value', "$search_class.$index_col");
1986
1987                 my $fts_where = $fts->sql_where_clause;
1988                 my @fts_ranks = $fts->fts_rank;
1989
1990                 my $SQLstring = join('%',map { lc($_) } $fts->words) .'%';
1991                 my $REstring = '^' . join('\s+',map { lc($_) } $fts->words) . '\W*$';
1992                 my $first_word = lc(($fts->words)[0]).'%';
1993
1994                 $_.=" * (SELECT weight FROM $field_table WHERE $search_class.field = id)" for (@fts_ranks);
1995                 my $rank = join('  + ', @fts_ranks);
1996
1997                 my %bonus = ();
1998                 $bonus{'subject'} = [];
1999                 $bonus{'author'} = [ { "CASE WHEN $search_class.value ILIKE ? THEN 1.5 ELSE 1 END" => $first_word } ];
2000
2001                 $bonus{'keyword'} = [ { "CASE WHEN $search_class.value ILIKE ? THEN 10 ELSE 1 END" => $SQLstring } ];
2002
2003                 $bonus{'series'} = [
2004                         { "CASE WHEN $search_class.value ILIKE ? THEN 1.5 ELSE 1 END" => $first_word },
2005                         { "CASE WHEN $search_class.value ~ ? THEN 20 ELSE 1 END" => $REstring },
2006                 ];
2007
2008                 $bonus{'title'} = [ @{ $bonus{'series'} }, @{ $bonus{'keyword'} } ];
2009
2010                 if ($pref_lang) {
2011                         push @{ $bonus{'title'} }, { "CASE WHEN rd.item_lang = ? THEN 10 ELSE 1 END" => $pref_lang };
2012                         push @{ $bonus{'author'} }, { "CASE WHEN rd.item_lang = ? THEN 10 ELSE 1 END" => $pref_lang };
2013                         push @{ $bonus{'subject'} }, { "CASE WHEN rd.item_lang = ? THEN 10 ELSE 1 END" => $pref_lang };
2014                         push @{ $bonus{'keyword'} }, { "CASE WHEN rd.item_lang = ? THEN 10 ELSE 1 END" => $pref_lang };
2015                         push @{ $bonus{'series'} }, { "CASE WHEN rd.item_lang = ? THEN 10 ELSE 1 END" => $pref_lang };
2016                 }
2017
2018                 my $bonus_list = join ' * ', map { keys %$_ } @{ $bonus{$search_class} };
2019                 $bonus_list ||= '1';
2020
2021                 push @bonus_lists, $bonus_list,;
2022                 push @bonus_values, map { values %$_ } @{ $bonus{$search_class} };
2023
2024                 #---------------------
2025
2026                 $search_table_list .= "$search_table $search_class, ";
2027                 push @rank_list,$rank;
2028                 $fts_list .= " AND $fts_where AND b.id = $search_class.source";
2029
2030                 if ($prev_search_class) {
2031                         $join_table_list .= " AND $prev_search_class.source = $curr_search_class.source";
2032                 }
2033         }
2034
2035         my $metabib_record_descriptor = metabib::record_descriptor->table;
2036         my $metabib_full_rec = metabib::full_rec->table;
2037         my $metabib_metarecord = metabib::metarecord->table;
2038         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
2039         my $asset_call_number_table = asset::call_number->table;
2040         my $asset_copy_table = asset::copy->table;
2041         my $cs_table = config::copy_status->table;
2042         my $cl_table = asset::copy_location->table;
2043         my $br_table = biblio::record_entry->table;
2044         my $source_table = config::bib_source->table;
2045
2046
2047         my $bonuses = join (' * ', @bonus_lists);
2048         my $relevance = join (' + ', @rank_list);
2049         $relevance = "AVG( ($relevance) * ($bonuses) )";
2050
2051         my $string_default_sort = 'zzzz';
2052         $string_default_sort = 'AAAA' if ($sort_dir eq 'DESC');
2053
2054         my $number_default_sort = '9999';
2055         $number_default_sort = '0000' if ($sort_dir eq 'DESC');
2056
2057         my $rank = $relevance;
2058         if (lc($sort) eq 'pubdate') {
2059                 $rank = <<"             RANK";
2060                         ( FIRST ((
2061                                 SELECT  COALESCE(SUBSTRING(frp.value FROM '\\\\d{4}'),'$number_default_sort')::INT
2062                                   FROM  $metabib_full_rec frp
2063                                   WHERE frp.record = b.id
2064                                         AND frp.tag = '260'
2065                                         AND frp.subfield = 'c'
2066                                   LIMIT 1
2067                         )) )
2068                 RANK
2069         } elsif (lc($sort) eq 'create_date') {
2070                 $rank = <<"             RANK";
2071                         ( FIRST (( SELECT create_date FROM $br_table rbr WHERE rbr.id = b.id)) )
2072                 RANK
2073         } elsif (lc($sort) eq 'edit_date') {
2074                 $rank = <<"             RANK";
2075                         ( FIRST (( SELECT edit_date FROM $br_table rbr WHERE rbr.id = b.id)) )
2076                 RANK
2077         } elsif (lc($sort) eq 'title') {
2078                 $rank = <<"             RANK";
2079                         ( FIRST ((
2080                                 SELECT  COALESCE(LTRIM(SUBSTR( frt.value, COALESCE(SUBSTRING(frt.ind2 FROM '\\\\d+'),'0')::INT + 1 )),'$string_default_sort')
2081                                   FROM  $metabib_full_rec frt
2082                                   WHERE frt.record = b.id
2083                                         AND frt.tag = '245'
2084                                         AND frt.subfield = 'a'
2085                                   LIMIT 1
2086                         )) )
2087                 RANK
2088         } elsif (lc($sort) eq 'author') {
2089                 $rank = <<"             RANK";
2090                         ( FIRST((
2091                                 SELECT  COALESCE(LTRIM(fra.value),'$string_default_sort')
2092                                   FROM  $metabib_full_rec fra
2093                                   WHERE fra.record = b.id
2094                                         AND fra.tag LIKE '1%'
2095                                         AND fra.subfield = 'a'
2096                                   ORDER BY fra.tag::text::int
2097                                   LIMIT 1
2098                         )) )
2099                 RANK
2100         } else {
2101                 push @bonus_values, @bonus_values;
2102                 $sort = undef;
2103         }
2104
2105
2106         my $select = <<"        SQL";
2107                 SELECT  b.id,
2108                         $relevance AS rel,
2109                         $rank AS rank,
2110                         b.source
2111                 FROM    $search_table_list
2112                         $metabib_record_descriptor rd,
2113                         $source_table src,
2114                         $br_table b
2115                 WHERE   rd.record = b.id
2116                         AND b.active IS TRUE
2117                         AND b.deleted IS FALSE
2118                         $fts_list
2119                         $join_table_list
2120                         $t_filter
2121                         $f_filter
2122                         $v_filter
2123                         $a_filter
2124                         $l_filter
2125                         $lf_filter
2126                 GROUP BY b.id, b.source
2127                 ORDER BY 3 $sort_dir
2128                 LIMIT $visiblity_limit
2129         SQL
2130
2131         if ($self->api_name !~ /staff/o) {
2132                 $select = <<"           SQL";
2133
2134                         SELECT  s.*
2135                           FROM  ($select) s
2136                                 LEFT OUTER JOIN $source_table src ON (s.source = src.id)
2137                           WHERE EXISTS (
2138                                 SELECT  1
2139                                   FROM  $asset_call_number_table cn,
2140                                         $asset_copy_table cp,
2141                                         $cs_table cs,
2142                                         $cl_table cl,
2143                                         $descendants d
2144                                   WHERE cn.record = s.id
2145                                         AND cp.status = cs.id
2146                                         AND cp.location = cl.id
2147                                         AND cn.owning_lib = d.id
2148                                         AND cp.call_number = cn.id
2149                                         AND cp.opac_visible IS TRUE
2150                                         AND cs.holdable IS TRUE
2151                                         AND cl.opac_visible IS TRUE
2152                                         AND cp.deleted IS FALSE
2153                                         AND cn.deleted IS FALSE
2154                                   LIMIT 1
2155                                 )
2156                                 OR src.transcendant IS TRUE
2157                           ORDER BY 3 $sort_dir
2158                 SQL
2159         } else {
2160                 $select = <<"           SQL";
2161
2162                         SELECT  s.*
2163                           FROM  ($select) s
2164                                 LEFT OUTER JOIN $source_table src ON (s.source = src.id)
2165                           WHERE EXISTS (
2166                                 SELECT  1
2167                                   FROM  $asset_call_number_table cn,
2168                                         $descendants d
2169                                   WHERE cn.record = s.id
2170                                         AND cn.owning_lib = d.id
2171                                         AND cn.deleted IS FALSE
2172                                   LIMIT 1
2173                                 )
2174                                 OR NOT EXISTS (
2175                                 SELECT  1
2176                                   FROM  $asset_call_number_table cn
2177                                   WHERE cn.record = s.id
2178                                   LIMIT 1
2179                                 )
2180                                 OR src.transcendant IS TRUE
2181                           ORDER BY 3 $sort_dir
2182                 SQL
2183         }
2184
2185
2186         $log->debug("Field Search SQL :: [$select]",DEBUG);
2187
2188         my $recs = $_cdbi->{title}->db_Main->selectall_arrayref(
2189                         $select, {},
2190                         @bonus_values, @types, @forms, @vformats, @aud, @lang, @lit_form
2191         );
2192
2193         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
2194
2195         my $max = 0;
2196         $max = 1 if (!@$recs);
2197         for (@$recs) {
2198                 $max = $$_[1] if ($$_[1] > $max);
2199         }
2200
2201         my $count = scalar(@$recs);
2202         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
2203                 next unless ($$rec[0]);
2204                 my ($mrid,$rank) = @$rec;
2205                 $client->respond( [$mrid, sprintf('%0.3f',$rank/$max), $count] );
2206         }
2207         return undef;
2208 }
2209
2210 __PACKAGE__->register_method(
2211         api_name        => "open-ils.storage.biblio.multiclass.search_fts.record",
2212         method          => 'biblio_search_multi_class_fts',
2213         api_level       => 1,
2214         stream          => 1,
2215         cachable        => 1,
2216 );
2217 __PACKAGE__->register_method(
2218         api_name        => "open-ils.storage.biblio.multiclass.search_fts.record.staff",
2219         method          => 'biblio_search_multi_class_fts',
2220         api_level       => 1,
2221         stream          => 1,
2222         cachable        => 1,
2223 );
2224
2225
2226
2227 __PACKAGE__->register_method(
2228         api_name        => "open-ils.storage.biblio.multiclass.search_fts",
2229         method          => 'biblio_search_multi_class_fts',
2230         api_level       => 1,
2231         stream          => 1,
2232         cachable        => 1,
2233 );
2234 __PACKAGE__->register_method(
2235         api_name        => "open-ils.storage.biblio.multiclass.search_fts.staff",
2236         method          => 'biblio_search_multi_class_fts',
2237         api_level       => 1,
2238         stream          => 1,
2239         cachable        => 1,
2240 );
2241
2242
2243 1;
2244