Open-ILS/src/perlmods/OpenILS/Application/Storage/Publisher/metabib.pm

   1 package OpenILS::Application::Storage::Publisher::metabib;
   2 use base qw/OpenILS::Application::Storage::Publisher/;
   3 use vars qw/$VERSION/;
   4 use OpenSRF::EX qw/:try/;
   5 use OpenILS::Application::Storage::FTS;
   6 use OpenILS::Utils::Fieldmapper;
   7 use OpenSRF::Utils::Logger qw/:level/;
   8 use OpenSRF::Utils::Cache;
   9 use Data::Dumper;
  10 use Digest::MD5 qw/md5_hex/;
  11
  12
  13 my $log = 'OpenSRF::Utils::Logger';
  14
  15 $VERSION = 1;
  16
  17 # need to order record IDs by:
  18 #  1) format - text, movie, sound, software, images, maps, mixed, music, 3d
  19 #  2) proximity --- XXX Can't do it cheap...
  20 #  3) count
  21 sub ordered_records_from_metarecord {
  22         my $self = shift;
  23         my $client = shift;
  24         my $mr = shift;
  25         my $formats = shift;
  26
  27         my (@types,@forms);
  28
  29         if ($formats) {
  30                 my ($t, $f) = split '-', $formats;
  31                 @types = split '', $t;
  32                 @forms = split '', $f;
  33         }
  34
  35         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
  36         $copies_visible = '' if ($self->api_name =~ /staff/o);
  37
  38         my $sm_table = metabib::metarecord_source_map->table;
  39         my $rd_table = metabib::record_descriptor->table;
  40         my $cn_table = asset::call_number->table;
  41         my $cl_table = asset::copy_location->table;
  42         my $cp_table = asset::copy->table;
  43         my $cs_table = config::copy_status->table;
  44         my $out_table = actor::org_unit_type->table;
  45
  46         my $sql = <<"   SQL";
  47          SELECT *
  48            FROM (
  49                 SELECT  rd.record,
  50                         rd.item_type,
  51                         rd.item_form,
  52         SQL
  53
  54         if ($copies_visible) {
  55                 $sql .= <<"             SQL";
  56                         sum((SELECT     count(cp.id)
  57                                FROM     $cp_table cp
  58                                         JOIN $cs_table cs ON (cp.status = cs.id)
  59                                         JOIN $cl_table cl ON (cp.location = cl.id)
  60                                WHERE    cn.id = cp.call_number
  61                                         $copies_visible
  62                           )) AS count
  63                 SQL
  64         } else {
  65                 $sql .= '0 AS count';
  66         }
  67
  68         if ($copies_visible) {
  69                 $sql .= <<"             SQL";
  70                   FROM  $cn_table cn,
  71                         $sm_table sm,
  72                         $rd_table rd
  73                   WHERE rd.record = sm.source
  74                         AND cn.record = rd.record
  75                         AND sm.metarecord = ?
  76                 SQL
  77         } else {
  78                 $sql .= <<"             SQL";
  79                   FROM  $sm_table sm,
  80                         $rd_table rd
  81                   WHERE rd.record = sm.source
  82                         AND sm.metarecord = ?
  83                 SQL
  84         }
  85
  86         $sql .= <<"     SQL";
  87                   GROUP BY rd.record, rd.item_type, rd.item_form
  88                   ORDER BY
  89                         CASE
  90                                 WHEN rd.item_type IS NULL -- default
  91                                         THEN 0
  92                                 WHEN rd.item_type = '' -- default
  93                                         THEN 0
  94                                 WHEN rd.item_type IN ('a','t') -- books
  95                                         THEN 1
  96                                 WHEN rd.item_type = 'g' -- movies
  97                                         THEN 2
  98                                 WHEN rd.item_type IN ('i','j') -- sound recordings
  99                                         THEN 3
 100                                 WHEN rd.item_type = 'm' -- software
 101                                         THEN 4
 102                                 WHEN rd.item_type = 'k' -- images
 103                                         THEN 5
 104                                 WHEN rd.item_type IN ('e','f') -- maps
 105                                         THEN 6
 106                                 WHEN rd.item_type IN ('o','p') -- mixed
 107                                         THEN 7
 108                                 WHEN rd.item_type IN ('c','d') -- music
 109                                         THEN 8
 110                                 WHEN rd.item_type = 'r' -- 3d
 111                                         THEN 9
 112                         END,
 113                         count DESC
 114                 ) x
 115         SQL
 116
 117         if ($copies_visible) {
 118                 $sql .= ' WHERE x.count > 0'
 119         }
 120
 121         if (@types) {
 122                 $sql .= ' AND x.item_type IN ('.join(',',map{'?'}@types).')';
 123         }
 124
 125         if (@forms) {
 126                 $sql .= ' AND x.item_form IN ('.join(',',map{'?'}@forms).')';
 127         }
 128
 129         my $sth = metabib::metarecord_source_map->db_Main->prepare_cached($sql);
 130         $sth->execute("$mr", @types, @forms);
 131         while ( my $row = $sth->fetchrow_arrayref ) {
 132                 $client->respond( $$row[0] );
 133         }
 134         return undef;
 135
 136 }
 137 __PACKAGE__->register_method(
 138         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records',
 139         method          => 'ordered_records_from_metarecord',
 140         api_level       => 1,
 141         stream          => 1,
 142         cachable        => 1,
 143 );
 144 __PACKAGE__->register_method(
 145         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records.staff',
 146         method          => 'ordered_records_from_metarecord',
 147         api_level       => 1,
 148         stream          => 1,
 149         cachable        => 1,
 150 );
 151
 152
 153 sub metarecord_copy_count {
 154         my $self = shift;
 155         my $client = shift;
 156
 157         my %args = @_;
 158
 159         my $sm_table = metabib::metarecord_source_map->table;
 160         my $rd_table = metabib::record_descriptor->table;
 161         my $cn_table = asset::call_number->table;
 162         my $cp_table = asset::copy->table;
 163         my $cl_table = asset::copy_location->table;
 164         my $cs_table = config::copy_status->table;
 165         my $out_table = actor::org_unit_type->table;
 166         my $descendants = "actor.org_unit_descendants(u.id)";
 167         my $ancestors = "actor.org_unit_ancestors(?)";
 168
 169         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 170         $copies_visible = '' if ($self->api_name =~ /staff/o);
 171
 172         my (@types,@forms);
 173         my ($t_filter, $f_filter) = ('','');
 174
 175         if ($args{format}) {
 176                 my ($t, $f) = split '-', $args{format};
 177                 @types = split '', $t;
 178                 @forms = split '', $f;
 179                 if (@types) {
 180                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 181                 }
 182
 183                 if (@forms) {
 184                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 185                 }
 186         }
 187
 188         my $sql = <<"   SQL";
 189                 SELECT  t.depth,
 190                         u.id AS org_unit,
 191                         sum(
 192                                 (SELECT count(cp.id)
 193                                   FROM  $sm_table r
 194                                         JOIN $cn_table cn ON (cn.record = r.source)
 195                                         JOIN $rd_table rd ON (cn.record = rd.record)
 196                                         JOIN $cp_table cp ON (cn.id = cp.call_number)
 197                                         JOIN $cs_table cs ON (cp.status = cs.id)
 198                                         JOIN $cl_table cl ON (cp.location = cl.id)
 199                                         JOIN $descendants a ON (cp.circ_lib = a.id)
 200                                   WHERE r.metarecord = ?
 201                                         $copies_visible
 202                                         $t_filter
 203                                         $f_filter
 204                                 )
 205                         ) AS count,
 206                         sum(
 207                                 (SELECT count(cp.id)
 208                                   FROM  $sm_table r
 209                                         JOIN $cn_table cn ON (cn.record = r.source)
 210                                         JOIN $rd_table rd ON (cn.record = rd.record)
 211                                         JOIN $cp_table cp ON (cn.id = cp.call_number)
 212                                         JOIN $cs_table cs ON (cp.status = cs.id)
 213                                         JOIN $cl_table cl ON (cp.location = cl.id)
 214                                         JOIN $descendants a ON (cp.circ_lib = a.id)
 215                                   WHERE r.metarecord = ?
 216                                         AND cp.status = 0
 217                                         $copies_visible
 218                                         $t_filter
 219                                         $f_filter
 220                                 )
 221                         ) AS available
 222
 223                   FROM  $ancestors u
 224                         JOIN $out_table t ON (u.ou_type = t.id)
 225                   GROUP BY 1,2
 226         SQL
 227
 228         my $sth = metabib::metarecord_source_map->db_Main->prepare_cached($sql);
 229         $sth->execute(  ''.$args{metarecord},
 230                         @types,
 231                         @forms,
 232                         ''.$args{metarecord},
 233                         @types,
 234                         @forms,
 235                         ''.$args{org_unit},
 236         );
 237
 238         while ( my $row = $sth->fetchrow_hashref ) {
 239                 $client->respond( $row );
 240         }
 241         return undef;
 242 }
 243 __PACKAGE__->register_method(
 244         api_name        => 'open-ils.storage.metabib.metarecord.copy_count',
 245         method          => 'metarecord_copy_count',
 246         api_level       => 1,
 247         stream          => 1,
 248         cachable        => 1,
 249 );
 250 __PACKAGE__->register_method(
 251         api_name        => 'open-ils.storage.metabib.metarecord.copy_count.staff',
 252         method          => 'metarecord_copy_count',
 253         api_level       => 1,
 254         stream          => 1,
 255         cachable        => 1,
 256 );
 257
 258 sub multi_search_full_rec {
 259         my $self = shift;
 260         my $client = shift;
 261
 262         my %args = @_;
 263         my $class_join = $args{class_join} || 'AND';
 264         my $limit = $args{limit} || 100;
 265         my $offset = $args{offset} || 0;
 266         my @binds;
 267         my @selects;
 268
 269         for my $arg (@{ $args{searches} }) {
 270                 my $term = $$arg{term};
 271                 my $limiters = $$arg{restrict};
 272
 273                 my ($index_col) = metabib::full_rec->columns('FTS');
 274                 $index_col ||= 'value';
 275                 my $search_table = metabib::full_rec->table;
 276
 277                 my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
 278
 279                 my $fts_where = $fts->sql_where_clause();
 280                 my @fts_ranks = $fts->fts_rank;
 281
 282                 my $rank = join(' + ', @fts_ranks);
 283
 284                 my @wheres;
 285                 for my $limit (@$limiters) {
 286                         push @wheres, "( tag = ? AND subfield LIKE ? AND $fts_where )";
 287                         push @binds, $$limit{tag}, $$limit{subfield};
 288                         $log->debug("Limiting query using { tag => $$limit{tag}, subfield => $$limit{subfield} }", DEBUG);
 289                 }
 290                 my $where = join(' OR ', @wheres);
 291
 292                 push @selects, "SELECT id, record, $rank as sum FROM $search_table WHERE $where";
 293
 294         }
 295
 296         my $descendants = defined($args{depth}) ?
 297                                 "actor.org_unit_descendants($args{org_unit}, $args{depth})" :
 298                                 "actor.org_unit_descendants($args{org_unit})" ;
 299
 300
 301         my $metabib_record_descriptor = metabib::record_descriptor->table;
 302         my $metabib_metarecord = metabib::metarecord->table;
 303         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
 304         my $asset_call_number_table = asset::call_number->table;
 305         my $asset_copy_table = asset::copy->table;
 306         my $cs_table = config::copy_status->table;
 307         my $cl_table = asset::copy_location->table;
 308
 309         my $cj = 'HAVING COUNT(x.id) = ' . scalar(@selects) if ($class_join eq 'AND');
 310         my $search_table =
 311                 '(SELECT x.record, sum(x.sum) FROM (('.
 312                         join(') UNION ALL (', @selects).
 313                         ")) x GROUP BY 1 $cj ORDER BY 2 DESC )";
 314
 315         my $has_vols = 'AND cn.owning_lib = d.id';
 316         my $has_copies = 'AND cp.call_number = cn.id';
 317         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 318
 319         if ($self->api_name =~ /staff/o) {
 320                 $copies_visible = '';
 321                 $has_copies = '' if ($ou_type == 0);
 322                 $has_vols = '' if ($ou_type == 0);
 323         }
 324
 325         my ($t_filter, $f_filter) = ('','');
 326
 327         if ($args{format}) {
 328                 my ($t, $f) = split '-', $args{format};
 329                 my @types = split '', $t;
 330                 my @forms = split '', $f;
 331                 if (@types) {
 332                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 333                 }
 334
 335                 if (@forms) {
 336                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 337                 }
 338                 push @binds, @types, @forms;
 339         }
 340
 341
 342         if ($copies_visible) {
 343                 $select = <<"           SQL";
 344                         SELECT  m.metarecord, sum(f.sum), count(DISTINCT cp.id), CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
 345                         FROM    $search_table f,
 346                                 $metabib_metarecord_source_map_table m,
 347                                 $asset_call_number_table cn,
 348                                 $asset_copy_table cp,
 349                                 $cs_table cs,
 350                                 $cl_table cl,
 351                                 $metabib_record_descriptor rd,
 352                                 $descendants d
 353                         WHERE   m.source = f.record
 354                                 AND cn.record = m.source
 355                                 AND rd.record = m.source
 356                                 AND cp.status = cs.id
 357                                 AND cp.location = cl.id
 358                                 $has_vols
 359                                 $has_copies
 360                                 $copies_visible
 361                                 $t_filter
 362                                 $f_filter
 363                         GROUP BY m.metarecord HAVING count(DISTINCT cp.id) > 0
 364                         ORDER BY 2 DESC,3 DESC
 365                 SQL
 366         } else {
 367                 $select = <<"           SQL";
 368                         SELECT  m.metarecord, 1, 0, CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
 369                         FROM    $search_table f,
 370                                 $metabib_metarecord_source_map_table m,
 371                                 $metabib_record_descriptor rd
 372                         WHERE   m.source = f.record
 373                                 AND rd.record = m.source
 374                                 $t_filter
 375                                 $f_filter
 376                         GROUP BY 1,2,3
 377                 SQL
 378         }
 379
 380
 381         $log->debug("Search SQL :: [$select]",DEBUG);
 382
 383         my $recs = metabib::full_rec->db_Main->selectall_arrayref("$select;", {}, @binds);
 384         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
 385
 386         my $count = @$recs;
 387         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
 388                 next unless ($$rec[0]);
 389                 my ($mrid,$rank,$junk,$skip) = @$rec;
 390                 $client->respond( [$mrid, sprintf('%0.3f',$rank), $skip, $count] );
 391         }
 392         return undef;
 393 }
 394 __PACKAGE__->register_method(
 395         api_name        => 'open-ils.storage.metabib.full_rec.multi_search',
 396         method          => 'multi_search_full_rec',
 397         api_level       => 1,
 398         stream          => 1,
 399         cachable        => 1,
 400 );
 401 __PACKAGE__->register_method(
 402         api_name        => 'open-ils.storage.metabib.full_rec.multi_search.staff',
 403         method          => 'multi_search_full_rec',
 404         api_level       => 1,
 405         stream          => 1,
 406         cachable        => 1,
 407 );
 408
 409 sub search_full_rec {
 410         my $self = shift;
 411         my $client = shift;
 412
 413         my %args = @_;
 414
 415         my $term = $args{term};
 416         my $limiters = $args{restrict};
 417
 418         my ($index_col) = metabib::full_rec->columns('FTS');
 419         $index_col ||= 'value';
 420         my $search_table = metabib::full_rec->table;
 421
 422         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
 423
 424         my $fts_where = $fts->sql_where_clause();
 425         my @fts_ranks = $fts->fts_rank;
 426
 427         my $rank = join(' + ', @fts_ranks);
 428
 429         my @binds;
 430         my @wheres;
 431         for my $limit (@$limiters) {
 432                 push @wheres, "( tag = ? AND subfield LIKE ? AND $fts_where )";
 433                 push @binds, $$limit{tag}, $$limit{subfield};
 434                 $log->debug("Limiting query using { tag => $$limit{tag}, subfield => $$limit{subfield} }", DEBUG);
 435         }
 436         my $where = join(' OR ', @wheres);
 437
 438         my $select = "SELECT record, sum($rank) FROM $search_table WHERE $where GROUP BY 1 ORDER BY 2 DESC;";
 439
 440         $log->debug("Search SQL :: [$select]",DEBUG);
 441
 442         my $recs = metabib::full_rec->db_Main->selectall_arrayref($select, {}, @binds);
 443         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
 444
 445         $client->respond($_) for (@$recs);
 446         return undef;
 447 }
 448 __PACKAGE__->register_method(
 449         api_name        => 'open-ils.storage.direct.metabib.full_rec.search_fts.value',
 450         method          => 'search_full_rec',
 451         api_level       => 1,
 452         stream          => 1,
 453         cachable        => 1,
 454 );
 455 __PACKAGE__->register_method(
 456         api_name        => 'open-ils.storage.direct.metabib.full_rec.search_fts.index_vector',
 457         method          => 'search_full_rec',
 458         api_level       => 1,
 459         stream          => 1,
 460         cachable        => 1,
 461 );
 462
 463
 464 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
 465 sub search_class_fts {
 466         my $self = shift;
 467         my $client = shift;
 468         my %args = @_;
 469
 470         my $term = $args{term};
 471         my $ou = $args{org_unit};
 472         my $ou_type = $args{depth};
 473         my $limit = $args{limit};
 474         my $offset = $args{offset};
 475
 476         my $limit_clause = '';
 477         my $offset_clause = '';
 478
 479         $limit_clause = "LIMIT $limit" if (defined $limit and int($limit) > 0);
 480         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
 481
 482         my (@types,@forms);
 483         my ($t_filter, $f_filter) = ('','');
 484
 485         if ($args{format}) {
 486                 my ($t, $f) = split '-', $args{format};
 487                 @types = split '', $t;
 488                 @forms = split '', $f;
 489                 if (@types) {
 490                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 491                 }
 492
 493                 if (@forms) {
 494                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 495                 }
 496         }
 497
 498
 499
 500         my $descendants = defined($ou_type) ?
 501                                 "actor.org_unit_descendants($ou, $ou_type)" :
 502                                 "actor.org_unit_descendants($ou)";
 503
 504         my $class = $self->{cdbi};
 505         my $search_table = $class->table;
 506
 507         my $metabib_record_descriptor = metabib::record_descriptor->table;
 508         my $metabib_metarecord = metabib::metarecord->table;
 509         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
 510         my $asset_call_number_table = asset::call_number->table;
 511         my $asset_copy_table = asset::copy->table;
 512         my $cs_table = config::copy_status->table;
 513         my $cl_table = asset::copy_location->table;
 514
 515         my ($index_col) = $class->columns('FTS');
 516         $index_col ||= 'value';
 517
 518         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'f.value', "f.$index_col");
 519
 520         my $fts_where = $fts->sql_where_clause;
 521         my @fts_ranks = $fts->fts_rank;
 522
 523         my $rank = join(' + ', @fts_ranks);
 524
 525         my $has_vols = 'AND cn.owning_lib = d.id';
 526         my $has_copies = 'AND cp.call_number = cn.id';
 527         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 528
 529         my $visible_count = ', count(DISTINCT cp.id)';
 530         my $visible_count_test = 'HAVING count(DISTINCT cp.id) > 0';
 531
 532         if ($self->api_name =~ /staff/o) {
 533                 $copies_visible = '';
 534                 $visible_count_test = '';
 535                 $has_copies = '' if ($ou_type == 0);
 536                 $has_vols = '' if ($ou_type == 0);
 537         }
 538
 539         my $rank_calc = <<"     RANK";
 540                 , (SUM( $rank
 541                         * CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END -- phrase order
 542                         * CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END -- first word match
 543                         * CASE WHEN f.value ~* ? THEN 2 ELSE 1 END -- only word match
 544                 )/COUNT(m.source)), MIN(COALESCE(CHAR_LENGTH(f.value),1))
 545         RANK
 546
 547         $rank_calc = ',1 , 1' if ($self->api_name =~ /unordered/o);
 548
 549         if ($copies_visible) {
 550                 $select = <<"           SQL";
 551                         SELECT  m.metarecord $rank_calc $visible_count, CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
 552                         FROM    $search_table f,
 553                                 $metabib_metarecord_source_map_table m,
 554                                 $asset_call_number_table cn,
 555                                 $asset_copy_table cp,
 556                                 $cs_table cs,
 557                                 $cl_table cl,
 558                                 $metabib_record_descriptor rd,
 559                                 $descendants d
 560                         WHERE   $fts_where
 561                                 AND m.source = f.source
 562                                 AND cn.record = m.source
 563                                 AND rd.record = m.source
 564                                 AND cp.status = cs.id
 565                                 AND cp.location = cl.id
 566                                 $has_vols
 567                                 $has_copies
 568                                 $copies_visible
 569                                 $t_filter
 570                                 $f_filter
 571                         GROUP BY 1 $visible_count_test
 572                         ORDER BY 2 DESC,3
 573                         $limit_clause $offset_clause
 574                 SQL
 575         } else {
 576                 $select = <<"           SQL";
 577                         SELECT  m.metarecord $rank_calc, 0, CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
 578                         FROM    $search_table f,
 579                                 $metabib_metarecord_source_map_table m,
 580                                 $metabib_record_descriptor rd
 581                         WHERE   $fts_where
 582                                 AND m.source = f.source
 583                                 AND rd.record = m.source
 584                                 $t_filter
 585                                 $f_filter
 586                         GROUP BY 1, 4
 587                         ORDER BY 2 DESC,3
 588                         $limit_clause $offset_clause
 589                 SQL
 590         }
 591
 592         $log->debug("Field Search SQL :: [$select]",DEBUG);
 593
 594         my $SQLstring = join('%',$fts->words);
 595         my $REstring = join('\\s+',$fts->words);
 596         my $first_word = ($fts->words)[0].'%';
 597         my $recs = ($self->api_name =~ /unordered/o) ?
 598                         $class->db_Main->selectall_arrayref($select, {}, @types, @forms) :
 599                         $class->db_Main->selectall_arrayref($select, {},
 600                                 '%'.lc($SQLstring).'%',                 # phrase order match
 601                                 lc($first_word),                        # first word match
 602                                 '^\\s*'.lc($REstring).'\\s*/?\s*$',     # full exact match
 603                                 @types, @forms
 604                         );
 605
 606         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
 607
 608         $client->respond($_) for (map { [@$_[0,1,3,4]] } @$recs);
 609         return undef;
 610 }
 611
 612 for my $class ( qw/title author subject keyword series/ ) {
 613         __PACKAGE__->register_method(
 614                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord",
 615                 method          => 'search_class_fts',
 616                 api_level       => 1,
 617                 stream          => 1,
 618                 cdbi            => "metabib::${class}_field_entry",
 619                 cachable        => 1,
 620         );
 621         __PACKAGE__->register_method(
 622                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.unordered",
 623                 method          => 'search_class_fts',
 624                 api_level       => 1,
 625                 stream          => 1,
 626                 cdbi            => "metabib::${class}_field_entry",
 627                 cachable        => 1,
 628         );
 629         __PACKAGE__->register_method(
 630                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.staff",
 631                 method          => 'search_class_fts',
 632                 api_level       => 1,
 633                 stream          => 1,
 634                 cdbi            => "metabib::${class}_field_entry",
 635                 cachable        => 1,
 636         );
 637         __PACKAGE__->register_method(
 638                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.staff.unordered",
 639                 method          => 'search_class_fts',
 640                 api_level       => 1,
 641                 stream          => 1,
 642                 cdbi            => "metabib::${class}_field_entry",
 643                 cachable        => 1,
 644         );
 645 }
 646
 647 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
 648 sub search_class_fts_count {
 649         my $self = shift;
 650         my $client = shift;
 651         my %args = @_;
 652
 653         my $term = $args{term};
 654         my $ou = $args{org_unit};
 655         my $ou_type = $args{depth};
 656         my $limit = $args{limit} || 100;
 657         my $offset = $args{offset} || 0;
 658
 659         my $descendants = defined($ou_type) ?
 660                                 "actor.org_unit_descendants($ou, $ou_type)" :
 661                                 "actor.org_unit_descendants($ou)";
 662
 663         my (@types,@forms);
 664         my ($t_filter, $f_filter) = ('','');
 665
 666         if ($args{format}) {
 667                 my ($t, $f) = split '-', $args{format};
 668                 @types = split '', $t;
 669                 @forms = split '', $f;
 670                 if (@types) {
 671                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 672                 }
 673
 674                 if (@forms) {
 675                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 676                 }
 677         }
 678
 679
 680         (my $search_class = $self->api_name) =~ s/.*metabib.(\w+).search_fts.*/$1/o;
 681
 682         my $class = $self->{cdbi};
 683         my $search_table = $class->table;
 684
 685         my $metabib_record_descriptor = metabib::record_descriptor->table;
 686         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
 687         my $asset_call_number_table = asset::call_number->table;
 688         my $asset_copy_table = asset::copy->table;
 689         my $cs_table = config::copy_status->table;
 690         my $cl_table = asset::copy_location->table;
 691
 692         my ($index_col) = $class->columns('FTS');
 693         $index_col ||= 'value';
 694
 695         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
 696
 697         my $fts_where = $fts->sql_where_clause;
 698
 699         my $has_vols = 'AND cn.owning_lib = d.id';
 700         my $has_copies = 'AND cp.call_number = cn.id';
 701         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 702         if ($self->api_name =~ /staff/o) {
 703                 $copies_visible = '';
 704                 $has_vols = '' if ($ou_type == 0);
 705                 $has_copies = '' if ($ou_type == 0);
 706         }
 707
 708         # XXX test an "EXISTS version of descendant checking...
 709         my $select;
 710         if ($copies_visible) {
 711                 $select = <<"           SQL";
 712                 SELECT  count(distinct  m.metarecord)
 713                   FROM  $search_table f,
 714                         $metabib_metarecord_source_map_table m,
 715                         $metabib_metarecord_source_map_table mr,
 716                         $asset_call_number_table cn,
 717                         $asset_copy_table cp,
 718                         $cs_table cs,
 719                         $cl_table cl,
 720                         $metabib_record_descriptor rd,
 721                         $descendants d
 722                   WHERE $fts_where
 723                         AND mr.source = f.source
 724                         AND mr.metarecord = m.metarecord
 725                         AND cn.record = m.source
 726                         AND rd.record = m.source
 727                         AND cp.status = cs.id
 728                         AND cp.location = cl.id
 729                         $has_vols
 730                         $has_copies
 731                         $copies_visible
 732                         $t_filter
 733                         $f_filter
 734                 SQL
 735         } else {
 736                 $select = <<"           SQL";
 737                 SELECT  count(distinct  m.metarecord)
 738                   FROM  $search_table f,
 739                         $metabib_metarecord_source_map_table m,
 740                         $metabib_metarecord_source_map_table mr,
 741                         $metabib_record_descriptor rd
 742                   WHERE $fts_where
 743                         AND mr.source = f.source
 744                         AND mr.metarecord = m.metarecord
 745                         AND rd.record = m.source
 746                         $t_filter
 747                         $f_filter
 748                 SQL
 749         }
 750
 751         $log->debug("Field Search Count SQL :: [$select]",DEBUG);
 752
 753         my $recs = $class->db_Main->selectrow_arrayref($select, {}, @types, @forms)->[0];
 754
 755         $log->debug("Count Search yielded $recs results.",DEBUG);
 756
 757         return $recs;
 758
 759 }
 760 for my $class ( qw/title author subject keyword series/ ) {
 761         __PACKAGE__->register_method(
 762                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord_count",
 763                 method          => 'search_class_fts_count',
 764                 api_level       => 1,
 765                 stream          => 1,
 766                 cdbi            => "metabib::${class}_field_entry",
 767                 cachable        => 1,
 768         );
 769         __PACKAGE__->register_method(
 770                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord_count.staff",
 771                 method          => 'search_class_fts_count',
 772                 api_level       => 1,
 773                 stream          => 1,
 774                 cdbi            => "metabib::${class}_field_entry",
 775                 cachable        => 1,
 776         );
 777 }
 778
 779
 780 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
 781 sub new_search_class_fts {
 782         my $self = shift;
 783         my $client = shift;
 784         my %args = @_;
 785
 786         my $term = $args{term};
 787         my $ou = $args{org_unit};
 788         my $ou_type = $args{depth};
 789         my $limit = $args{limit};
 790         my $offset = $args{offset} || 0;
 791
 792         my $limit_clause = '';
 793         my $offset_clause = '';
 794
 795         $limit_clause = "LIMIT $limit" if (defined $limit and int($limit) > 0);
 796         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
 797
 798         my (@types,@forms);
 799         my ($t_filter, $f_filter) = ('','');
 800
 801         if ($args{format}) {
 802                 my ($t, $f) = split '-', $args{format};
 803                 @types = split '', $t;
 804                 @forms = split '', $f;
 805                 if (@types) {
 806                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 807                 }
 808
 809                 if (@forms) {
 810                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 811                 }
 812         }
 813
 814
 815
 816         my $descendants = defined($ou_type) ?
 817                                 "actor.org_unit_descendants($ou, $ou_type)" :
 818                                 "actor.org_unit_descendants($ou)";
 819
 820         my $class = $self->{cdbi};
 821         my $search_table = $class->table;
 822
 823         my $metabib_record_descriptor = metabib::record_descriptor->table;
 824         my $metabib_metarecord = metabib::metarecord->table;
 825         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
 826         my $asset_call_number_table = asset::call_number->table;
 827         my $asset_copy_table = asset::copy->table;
 828         my $cs_table = config::copy_status->table;
 829         my $cl_table = asset::copy_location->table;
 830
 831         my ($index_col) = $class->columns('FTS');
 832         $index_col ||= 'value';
 833
 834         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'f.value', "f.$index_col");
 835
 836         my $fts_where = $fts->sql_where_clause;
 837         my @fts_ranks = $fts->fts_rank;
 838
 839         my $rank = join(' + ', @fts_ranks);
 840
 841         if ($self->api_name !~ /staff/o) {
 842                 $select = <<"           SQL";
 843                         SELECT  m.metarecord,
 844                                 (SUM(   $rank
 845                                         * CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END -- phrase order
 846                                         * CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END -- first word match
 847                                         * CASE WHEN f.value ~* ? THEN 2 ELSE 1 END -- only word match
 848                                 )/COUNT(m.source)),
 849                                 CASE WHEN COUNT(DISTINCT rd.record) = 1 THEN MIN(m.source) ELSE 0 END
 850                         FROM    $search_table f,
 851                                 $metabib_metarecord_source_map_table m,
 852                                 $metabib_metarecord_source_map_table mr,
 853                                 $metabib_record_descriptor rd
 854                         WHERE   $fts_where
 855                                 AND mr.source = f.source
 856                                 AND mr.metarecord = m.metarecord
 857                                 AND rd.record = m.source
 858                                 $t_filter
 859                                 $f_filter
 860                                 AND EXISTS (
 861                                         SELECT  TRUE
 862                                           FROM  $asset_call_number_table cn,
 863                                                 $asset_copy_table cp,
 864                                                 $cs_table cs,
 865                                                 $cl_table cl,
 866                                                 $descendants d
 867                                           WHERE cn.record = mr.source
 868                                                 AND cp.status = cs.id
 869                                                 AND cp.location = cl.id
 870                                                 AND cn.owning_lib = d.id
 871                                                 AND cp.call_number = cn.id
 872                                                 AND cp.opac_visible IS TRUE
 873                                                 AND cs.holdable IS TRUE
 874                                                 AND cl.opac_visible IS TRUE )
 875                         GROUP BY m.metarecord
 876                         ORDER BY 2 DESC, MIN(COALESCE(CHAR_LENGTH(f.value),1))
 877                 SQL
 878         } else {
 879                 $select = <<"           SQL";
 880                         SELECT  m.metarecord,
 881                                 (SUM(   $rank
 882                                         * CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END -- phrase order
 883                                         * CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END -- first word match
 884                                         * CASE WHEN f.value ~* ? THEN 2 ELSE 1 END -- only word match
 885                                 )/COUNT(m.source)),
 886                                 CASE WHEN COUNT(DISTINCT rd.record) = 1 THEN MIN(m.source) ELSE 0 END
 887                         FROM    $search_table f,
 888                                 $metabib_metarecord_source_map_table m,
 889                                 $metabib_metarecord_source_map_table mr,
 890                                 $metabib_record_descriptor rd
 891                         WHERE   $fts_where
 892                                 AND m.source = f.source
 893                                 AND m.metarecord = mr.metarecord
 894                                 AND rd.record = m.source
 895                                 $t_filter
 896                                 $f_filter
 897                         GROUP BY m.metarecord
 898                         ORDER BY 2 DESC, MIN(COALESCE(CHAR_LENGTH(f.value),1))
 899                 SQL
 900         }
 901
 902         $log->debug("Field Search SQL :: [$select]",DEBUG);
 903
 904         my $SQLstring = join('%',$fts->words);
 905         my $REstring = join('\\s+',$fts->words);
 906         my $first_word = ($fts->words)[0].'%';
 907         my $recs = ($self->api_name =~ /unordered/o) ?
 908                         $class->db_Main->selectall_arrayref($select, {}, @types, @forms) :
 909                         $class->db_Main->selectall_arrayref($select, {},
 910                                 '%'.lc($SQLstring).'%',                 # phrase order match
 911                                 lc($first_word),                        # first word match
 912                                 '^\\s*'.lc($REstring).'\\s*/?\s*$',     # full exact match
 913                                 @types, @forms
 914                         );
 915
 916         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
 917
 918         my $count = scalar(@$recs);
 919         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
 920                 my ($mrid,$rank,$skip) = @$rec;
 921                 $client->respond( [$mrid, sprintf('%0.3f',$rank), $skip, $count] );
 922         }
 923         return undef;
 924 }
 925
 926 for my $class ( qw/title author subject keyword series/ ) {
 927         __PACKAGE__->register_method(
 928                 api_name        => "open-ils.storage.metabib.$class.new_search_fts.metarecord",
 929                 method          => 'new_search_class_fts',
 930                 api_level       => 1,
 931                 stream          => 1,
 932                 cdbi            => "metabib::${class}_field_entry",
 933                 cachable        => 1,
 934         );
 935         __PACKAGE__->register_method(
 936                 api_name        => "open-ils.storage.metabib.$class.new_search_fts.metarecord.staff",
 937                 method          => 'new_search_class_fts',
 938                 api_level       => 1,
 939                 stream          => 1,
 940                 cdbi            => "metabib::${class}_field_entry",
 941                 cachable        => 1,
 942         );
 943 }
 944
 945
 946
 947
 948 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
 949 sub postfilter_search_class_fts {
 950         my $self = shift;
 951         my $client = shift;
 952         my %args = @_;
 953
 954         my $term = $args{term};
 955         my $sort = $args{'sort'};
 956         my $sort_dir = $args{sort_dir} || 'DESC';
 957         my $ou = $args{org_unit};
 958         my $ou_type = $args{depth};
 959         my $limit = $args{limit};
 960         my $offset = $args{offset} || 0;
 961
 962         my $outer_limit = 1000;
 963
 964         my $limit_clause = '';
 965         my $offset_clause = '';
 966
 967         $limit_clause = "LIMIT $outer_limit";
 968         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
 969
 970         my (@types,@forms,@lang,@aud,@lit_form);
 971         my ($t_filter, $f_filter) = ('','');
 972         my ($a_filter, $l_filter, $lf_filter) = ('','','');
 973         my ($ot_filter, $of_filter) = ('','');
 974         my ($oa_filter, $ol_filter, $olf_filter) = ('','','');
 975
 976         if (my $a = $args{audience}) {
 977                 $a = [$a] if (!ref($a));
 978                 @aud = @$a;
 979
 980                 $a_filter = ' AND rd.audience IN ('.join(',',map{'?'}@aud).')';
 981                 $oa_filter = ' AND ord.audience IN ('.join(',',map{'?'}@aud).')';
 982         }
 983
 984         if (my $l = $args{language}) {
 985                 $l = [$l] if (!ref($l));
 986                 @lang = @$l;
 987
 988                 $l_filter = ' AND rd.item_lang IN ('.join(',',map{'?'}@lang).')';
 989                 $ol_filter = ' AND ord.item_lang IN ('.join(',',map{'?'}@lang).')';
 990         }
 991
 992         if (my $f = $args{lit_form}) {
 993                 $f = [$f] if (!ref($f));
 994                 @lit_form = @$f;
 995
 996                 $lf_filter = ' AND rd.lit_form IN ('.join(',',map{'?'}@lit_form).')';
 997                 $olf_filter = ' AND ord.lit_form IN ('.join(',',map{'?'}@lit_form).')';
 998         }
 999
1000         if ($args{format}) {
1001                 my ($t, $f) = split '-', $args{format};
1002                 @types = split '', $t;
1003                 @forms = split '', $f;
1004                 if (@types) {
1005                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1006                         $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1007                 }
1008
1009                 if (@forms) {
1010                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1011                         $of_filter .= ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1012                 }
1013         }
1014
1015
1016         my $descendants = defined($ou_type) ?
1017                                 "actor.org_unit_descendants($ou, $ou_type)" :
1018                                 "actor.org_unit_descendants($ou)";
1019
1020         my $class = $self->{cdbi};
1021         my $search_table = $class->table;
1022
1023         my $metabib_full_rec = metabib::full_rec->table;
1024         my $metabib_record_descriptor = metabib::record_descriptor->table;
1025         my $metabib_metarecord = metabib::metarecord->table;
1026         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
1027         my $asset_call_number_table = asset::call_number->table;
1028         my $asset_copy_table = asset::copy->table;
1029         my $cs_table = config::copy_status->table;
1030         my $cl_table = asset::copy_location->table;
1031         my $br_table = biblio::record_entry->table;
1032
1033         my ($index_col) = $class->columns('FTS');
1034         $index_col ||= 'value';
1035
1036         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'f.value', "f.$index_col");
1037
1038         my $SQLstring = join('%',$fts->words);
1039         my $REstring = '^' . join('\s+',$fts->words) . '\W*$';
1040         my $first_word = ($fts->words)[0].'%';
1041
1042         my $fts_where = $fts->sql_where_clause;
1043         my @fts_ranks = $fts->fts_rank;
1044
1045         my %bonus = ();
1046         $bonus{'metabib::keyword_field_entry'} = [ { 'CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END' => $SQLstring } ];
1047         $bonus{'metabib::title_field_entry'} =
1048                 $bonus{'metabib::series_field_entry'} = [
1049                         { 'CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END' => $first_word },
1050                         { 'CASE WHEN f.value ~* ? THEN 2 ELSE 1 END' => $REstring },
1051                         @{ $bonus{'metabib::keyword_field_entry'} }
1052                 ];
1053
1054         my $bonus_list = join ' * ', map { keys %$_ } @{ $bonus{$class} };
1055         $bonus_list ||= '1';
1056
1057         my @bonus_values = map { values %$_ } @{ $bonus{$class} };
1058
1059         my $relevance = join(' + ', @fts_ranks);
1060         $relevance = <<"        RANK";
1061                         (SUM( ( $relevance )  * ( $bonus_list ) )/COUNT(m.source))
1062         RANK
1063
1064         my $rank = $relevance;
1065         if (lc($sort) eq 'pubdate') {
1066                 $rank = <<"             RANK";
1067                         ( FIRST ((
1068                                 SELECT  COALESCE(SUBSTRING(frp.value FROM '\\\\d+'),'9999')::INT
1069                                   FROM  $metabib_full_rec frp
1070                                   WHERE frp.record = mr.master_record
1071                                         AND frp.tag = '260'
1072                                         AND frp.subfield = 'c'
1073                                   LIMIT 1
1074                         )) )
1075                 RANK
1076         } elsif (lc($sort) eq 'title') {
1077                 $rank = <<"             RANK";
1078                         ( FIRST ((
1079                                 SELECT  COALESCE(LTRIM(SUBSTR( frt.value, frt.ind2::text::int )),'zzzzzzzz')
1080                                   FROM  $metabib_full_rec frt
1081                                   WHERE frt.record = mr.master_record
1082                                         AND frt.tag = '245'
1083                                         AND frt.subfield = 'a'
1084                                   LIMIT 1
1085                         )) )
1086                 RANK
1087         } elsif (lc($sort) eq 'author') {
1088                 $rank = <<"             RANK";
1089                         ( FIRST((
1090                                 SELECT  COALESCE(LTRIM(fra.value),'zzzzzzzz')
1091                                   FROM  $metabib_full_rec fra
1092                                   WHERE fra.record = mr.master_record
1093                                         AND fra.tag LIKE '1%'
1094                                         AND fra.subfield = 'a'
1095                                   ORDER BY fra.tag::text::int
1096                                   LIMIT 1
1097                         )) )
1098                 RANK
1099         } else {
1100                 $sort = undef;
1101         }
1102
1103         my $select = <<"        SQL";
1104                 SELECT  m.metarecord,
1105                         $relevance,
1106                         CASE WHEN COUNT(DISTINCT smrs.source) = 1 THEN MIN(m.source) ELSE 0 END,
1107                         $rank
1108                 FROM    $search_table f,
1109                         $metabib_metarecord_source_map_table m,
1110                         $metabib_metarecord_source_map_table smrs,
1111                         $metabib_metarecord mr,
1112                         $metabib_record_descriptor rd
1113                 WHERE   $fts_where
1114                         AND smrs.metarecord = mr.id
1115                         AND m.source = f.source
1116                         AND m.metarecord = mr.id
1117                         AND rd.record = smrs.source
1118                         $t_filter
1119                         $f_filter
1120                         $a_filter
1121                         $l_filter
1122                         $lf_filter
1123                 GROUP BY m.metarecord
1124                 ORDER BY 4 $sort_dir, MIN(COALESCE(CHAR_LENGTH(f.value),1))
1125                 LIMIT 10000
1126         SQL
1127
1128         if (0) {
1129                 $select = <<"           SQL";
1130
1131                         SELECT  DISTINCT s.*
1132                           FROM  $asset_call_number_table cn,
1133                                 $metabib_metarecord_source_map_table mrs,
1134                                 $asset_copy_table cp,
1135                                 $cs_table cs,
1136                                 $cl_table cl,
1137                                 $br_table br,
1138                                 $descendants d,
1139                                 $metabib_record_descriptor ord,
1140                                 ($select) s
1141                           WHERE mrs.metarecord = s.metarecord
1142                                 AND br.id = mrs.source
1143                                 AND cn.record = mrs.source
1144                                 AND cp.status = cs.id
1145                                 AND cp.location = cl.id
1146                                 AND cn.owning_lib = d.id
1147                                 AND cp.call_number = cn.id
1148                                 AND cp.opac_visible IS TRUE
1149                                 AND cs.holdable IS TRUE
1150                                 AND cl.opac_visible IS TRUE
1151                                 AND br.active IS TRUE
1152                                 AND br.deleted IS FALSE
1153                                 AND ord.record = mrs.source
1154                                 $ot_filter
1155                                 $of_filter
1156                                 $oa_filter
1157                                 $ol_filter
1158                                 $olf_filter
1159                           ORDER BY 4 $sort_dir
1160                 SQL
1161         } elsif ($self->api_name !~ /staff/o) {
1162                 $select = <<"           SQL";
1163
1164                         SELECT  DISTINCT s.*
1165                           FROM  ($select) s
1166                           WHERE EXISTS (
1167                                 SELECT  1
1168                                   FROM  $asset_call_number_table cn,
1169                                         $metabib_metarecord_source_map_table mrs,
1170                                         $asset_copy_table cp,
1171                                         $cs_table cs,
1172                                         $cl_table cl,
1173                                         $br_table br,
1174                                         $descendants d,
1175                                         $metabib_record_descriptor ord
1176
1177                                   WHERE mrs.metarecord = s.metarecord
1178                                         AND br.id = mrs.source
1179                                         AND cn.record = mrs.source
1180                                         AND cp.status = cs.id
1181                                         AND cp.location = cl.id
1182                                         AND cn.owning_lib = d.id
1183                                         AND cp.call_number = cn.id
1184                                         AND cp.opac_visible IS TRUE
1185                                         AND cs.holdable IS TRUE
1186                                         AND cl.opac_visible IS TRUE
1187                                         AND br.active IS TRUE
1188                                         AND br.deleted IS FALSE
1189                                         AND ord.record = mrs.source
1190                                         $ot_filter
1191                                         $of_filter
1192                                         $oa_filter
1193                                         $ol_filter
1194                                         $olf_filter
1195                                   LIMIT 1
1196                                 )
1197                           ORDER BY 4 $sort_dir
1198                 SQL
1199         } else {
1200                 $select = <<"           SQL";
1201
1202                         SELECT  DISTINCT s.*
1203                           FROM  ($select) s
1204                           WHERE EXISTS (
1205                                 SELECT  1
1206                                   FROM  $asset_call_number_table cn,
1207                                         $metabib_metarecord_source_map_table mrs,
1208                                         $br_table br,
1209                                         $descendants d,
1210                                         $metabib_record_descriptor ord
1211
1212                                   WHERE mrs.metarecord = s.metarecord
1213                                         AND br.id = mrs.source
1214                                         AND cn.record = mrs.source
1215                                         AND cn.owning_lib = d.id
1216                                         AND br.deleted IS FALSE
1217                                         AND ord.record = mrs.source
1218                                         $ot_filter
1219                                         $of_filter
1220                                         $oa_filter
1221                                         $ol_filter
1222                                         $olf_filter
1223                                   LIMIT 1
1224                                 )
1225                                 OR NOT EXISTS (
1226                                 SELECT  1
1227                                   FROM  $asset_call_number_table cn,
1228                                         $metabib_metarecord_source_map_table mrs,
1229                                         $metabib_record_descriptor ord
1230                                   WHERE mrs.metarecord = s.metarecord
1231                                         AND cn.record = mrs.source
1232                                         AND ord.record = mrs.source
1233                                         $ot_filter
1234                                         $of_filter
1235                                         $oa_filter
1236                                         $ol_filter
1237                                         $olf_filter
1238                                   LIMIT 1
1239                                 )
1240                           ORDER BY 4 $sort_dir
1241                 SQL
1242         }
1243
1244
1245         $log->debug("Field Search SQL :: [$select]",DEBUG);
1246
1247         my $recs = $class->db_Main->selectall_arrayref(
1248                         $select, {},
1249                         (@bonus_values > 0 ? @bonus_values : () ),
1250                         ( (!$sort && @bonus_values > 0) ? @bonus_values : () ),
1251                         @types, @forms, @aud, @lang, @lit_form,
1252                         @types, @forms, @aud, @lang, @lit_form,
1253                         ($self->api_name =~ /staff/o ? (@types, @forms, @aud, @lang, @lit_form) : () ) );
1254
1255         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
1256
1257         my $max = 0;
1258         $max = 1 if (!@$recs);
1259         for (@$recs) {
1260                 $max = $$_[1] if ($$_[1] > $max);
1261         }
1262
1263         my $count = scalar(@$recs);
1264         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
1265                 my ($mrid,$rank,$skip) = @$rec;
1266                 $client->respond( [$mrid, sprintf('%0.3f',$rank/$max), $skip, $count] );
1267         }
1268         return undef;
1269 }
1270
1271 for my $class ( qw/title author subject keyword series/ ) {
1272         __PACKAGE__->register_method(
1273                 api_name        => "open-ils.storage.metabib.$class.post_filter.search_fts.metarecord",
1274                 method          => 'postfilter_search_class_fts',
1275                 api_level       => 1,
1276                 stream          => 1,
1277                 cdbi            => "metabib::${class}_field_entry",
1278                 cachable        => 1,
1279         );
1280         __PACKAGE__->register_method(
1281                 api_name        => "open-ils.storage.metabib.$class.post_filter.search_fts.metarecord.staff",
1282                 method          => 'postfilter_search_class_fts',
1283                 api_level       => 1,
1284                 stream          => 1,
1285                 cdbi            => "metabib::${class}_field_entry",
1286                 cachable        => 1,
1287         );
1288 }
1289
1290
1291
1292 my $_cdbi = {   title   => "metabib::title_field_entry",
1293                 author  => "metabib::author_field_entry",
1294                 subject => "metabib::subject_field_entry",
1295                 keyword => "metabib::keyword_field_entry",
1296                 series  => "metabib::series_field_entry",
1297 };
1298
1299 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
1300 sub postfilter_search_multi_class_fts {
1301         my $self = shift;
1302         my $client = shift;
1303         my %args = @_;
1304
1305         my $sort = $args{'sort'};
1306         my $sort_dir = $args{sort_dir} || 'DESC';
1307         my $ou = $args{org_unit};
1308         my $ou_type = $args{depth};
1309         my $limit = $args{limit};
1310         my $offset = $args{offset} || 0;
1311
1312         if (! scalar( keys %{$args{searches}} )) {
1313                 die "No target organizational unit passed to ".$self->api_name;
1314         }
1315
1316         if (! scalar( keys %{$args{searches}} )) {
1317                 die "No search arguments were passed to ".$self->api_name;
1318         }
1319
1320         my $outer_limit = 1000;
1321
1322         my $limit_clause = '';
1323         my $offset_clause = '';
1324
1325         $limit_clause = "LIMIT $outer_limit";
1326         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
1327
1328         my (@types,@forms,@lang,@aud,@lit_form);
1329         my ($t_filter, $f_filter) = ('','');
1330         my ($a_filter, $l_filter, $lf_filter) = ('','','');
1331         my ($ot_filter, $of_filter) = ('','');
1332         my ($oa_filter, $ol_filter, $olf_filter) = ('','','');
1333
1334         if (my $a = $args{audience}) {
1335                 $a = [$a] if (!ref($a));
1336                 @aud = @$a;
1337
1338                 $a_filter = ' AND rd.audience IN ('.join(',',map{'?'}@aud).')';
1339                 $oa_filter = ' AND ord.audience IN ('.join(',',map{'?'}@aud).')';
1340         }
1341
1342         if (my $l = $args{language}) {
1343                 $l = [$l] if (!ref($l));
1344                 @lang = @$l;
1345
1346                 $l_filter = ' AND rd.item_lang IN ('.join(',',map{'?'}@lang).')';
1347                 $ol_filter = ' AND ord.item_lang IN ('.join(',',map{'?'}@lang).')';
1348         }
1349
1350         if (my $f = $args{lit_form}) {
1351                 $f = [$f] if (!ref($f));
1352                 @lit_form = @$f;
1353
1354                 $lf_filter = ' AND rd.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1355                 $olf_filter = ' AND ord.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1356         }
1357
1358         if (my $f = $args{item_form}) {
1359                 $f = [$f] if (!ref($f));
1360                 @forms = @$f;
1361
1362                 $f_filter = ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1363                 $of_filter = ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1364         }
1365
1366         if (my $t = $args{item_type}) {
1367                 $t = [$t] if (!ref($t));
1368                 @types = @$t;
1369
1370                 $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1371                 $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1372         }
1373
1374
1375         # XXX legacy format and item type support
1376         if ($args{format}) {
1377                 my ($t, $f) = split '-', $args{format};
1378                 @types = split '', $t;
1379                 @forms = split '', $f;
1380                 if (@types) {
1381                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1382                         $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1383                 }
1384
1385                 if (@forms) {
1386                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1387                         $of_filter .= ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1388                 }
1389         }
1390
1391
1392
1393         my $descendants = defined($ou_type) ?
1394                                 "actor.org_unit_descendants($ou, $ou_type)" :
1395                                 "actor.org_unit_descendants($ou)";
1396
1397         my $search_table_list = '';
1398         my $fts_list = '';
1399         my $join_table_list = '';
1400         my @rank_list;
1401
1402         my @bonus_lists;
1403         my @bonus_values;
1404         my $prev_search_class;
1405         my $curr_search_class;
1406         for my $search_class (sort keys %{$args{searches}}) {
1407                 $prev_search_class = $curr_search_class if ($curr_search_class);
1408
1409                 $curr_search_class = $search_class;
1410
1411                 my $class = $_cdbi->{$search_class};
1412                 my $search_table = $class->table;
1413
1414                 my ($index_col) = $class->columns('FTS');
1415                 $index_col ||= 'value';
1416
1417
1418                 my $fts = OpenILS::Application::Storage::FTS->compile($args{searches}{$search_class}{term}, $search_class.'.value', "$search_class.$index_col");
1419
1420                 my $fts_where = $fts->sql_where_clause;
1421                 my @fts_ranks = $fts->fts_rank;
1422
1423                 my $rank = join(' + ', @fts_ranks);
1424
1425                 my %bonus = ();
1426                 $bonus{'keyword'} = [ { "CASE WHEN $search_class.value ILIKE ? THEN 1.2 ELSE 1 END" => $SQLstring } ];
1427                 $bonus{'title'} =
1428                         $bonus{'metabib::series_field_entry'} = [
1429                                 { "CASE WHEN $search_class.value ILIKE ? THEN 1.5 ELSE 1 END" => $first_word },
1430                                 { "CASE WHEN $search_class.value ~* ? THEN 2 ELSE 1 END" => $REstring },
1431                                 @{ $bonus{'keyword'} }
1432                         ];
1433
1434                 my $bonus_list = join ' * ', map { keys %$_ } @{ $bonus{$search_class} };
1435                 $bonus_list ||= '1';
1436
1437                 push @bonus_lists, $bonus_list;
1438                 push @bonus_values, map { values %$_ } @{ $bonus{$search_class} };
1439
1440
1441                 #---------------------
1442
1443                 $search_table_list .= "$search_table $search_class, ";
1444                 push @rank_list,$rank;
1445                 $fts_list .= " AND $fts_where AND m.source = $search_class.source";
1446
1447                 if ($prev_search_class) {
1448                         $join_table_list .= " AND $prev_search_class.source = $curr_search_class.source";
1449                 }
1450         }
1451
1452         my $metabib_record_descriptor = metabib::record_descriptor->table;
1453         my $metabib_full_rec = metabib::full_rec->table;
1454         my $metabib_metarecord = metabib::metarecord->table;
1455         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
1456         my $asset_call_number_table = asset::call_number->table;
1457         my $asset_copy_table = asset::copy->table;
1458         my $cs_table = config::copy_status->table;
1459         my $cl_table = asset::copy_location->table;
1460         my $br_table = biblio::record_entry->table;
1461
1462         if (lc($sort) ne 'pubdate' and lc($sort) ne 'title' and lc($sort) ne 'author') {
1463                 push @bonus_values, @bonus_values;
1464         }
1465
1466         my $bonuses = join (' * ', @bonus_lists);
1467         my $relevance = join (' + ', @rank_list);
1468         $relevance = "SUM( ($relevance) * ($bonuses) )";
1469
1470
1471         my $rank = $relevance;
1472         if (lc($sort) eq 'pubdate') {
1473                 $rank = <<"             RANK";
1474                         ( FIRST ((
1475                                 SELECT  COALESCE(SUBSTRING(frp.value FROM '\\\\d+'),'9999')::INT
1476                                   FROM  $metabib_full_rec frp
1477                                   WHERE frp.record = mr.master_record
1478                                         AND frp.tag = '260'
1479                                         AND frp.subfield = 'c'
1480                                   LIMIT 1
1481                         )) )
1482                 RANK
1483         } elsif (lc($sort) eq 'title') {
1484                 $rank = <<"             RANK";
1485                         ( FIRST ((
1486                                 SELECT  COALESCE(LTRIM(SUBSTR( frt.value, frt.ind2::text::int )),'zzzzzzzz')
1487                                   FROM  $metabib_full_rec frt
1488                                   WHERE frt.record = mr.master_record
1489                                         AND frt.tag = '245'
1490                                         AND frt.subfield = 'a'
1491                                   LIMIT 1
1492                         )) )
1493                 RANK
1494         } elsif (lc($sort) eq 'author') {
1495                 $rank = <<"             RANK";
1496                         ( FIRST((
1497                                 SELECT  COALESCE(LTRIM(fra.value),'zzzzzzzz')
1498                                   FROM  $metabib_full_rec fra
1499                                   WHERE fra.record = mr.master_record
1500                                         AND fra.tag LIKE '1%'
1501                                         AND fra.subfield = 'a'
1502                                   ORDER BY fra.tag::text::int
1503                                   LIMIT 1
1504                         )) )
1505                 RANK
1506         }
1507
1508
1509         my $select = <<"        SQL";
1510                 SELECT  m.metarecord,
1511                         $relevance,
1512                         CASE WHEN COUNT(DISTINCT smrs.source) = 1 THEN MIN(m.source) ELSE 0 END,
1513                         $rank
1514                 FROM    $search_table_list
1515                         $metabib_metarecord_source_map_table m,
1516                         $metabib_metarecord_source_map_table smrs,
1517                         $metabib_metarecord mr,
1518                         $metabib_record_descriptor rd
1519                 WHERE   m.metarecord = mr.id
1520                         AND smrs.metarecord = mr.id
1521                         $fts_list
1522                         $join_table_list
1523                         AND rd.record = smrs.source
1524                         $t_filter
1525                         $f_filter
1526                         $a_filter
1527                         $l_filter
1528                         $lf_filter
1529                 GROUP BY m.metarecord
1530                 ORDER BY 4 $sort_dir
1531                 LIMIT 10000
1532         SQL
1533
1534         if ($self->api_name !~ /staff/o) {
1535                 $select = <<"           SQL";
1536
1537                         SELECT  DISTINCT s.*
1538                           FROM  ($select) s
1539                           WHERE EXISTS (
1540                                 SELECT  1
1541                                   FROM  $asset_call_number_table cn,
1542                                         $metabib_metarecord_source_map_table mrs,
1543                                         $asset_copy_table cp,
1544                                         $cs_table cs,
1545                                         $cl_table cl,
1546                                         $br_table br,
1547                                         $descendants d,
1548                                         $metabib_record_descriptor ord
1549                                   WHERE mrs.metarecord = s.metarecord
1550                                         AND br.id = mrs.source
1551                                         AND cn.record = mrs.source
1552                                         AND cp.status = cs.id
1553                                         AND cp.location = cl.id
1554                                         AND cn.owning_lib = d.id
1555                                         AND cp.call_number = cn.id
1556                                         AND cp.opac_visible IS TRUE
1557                                         AND cs.holdable IS TRUE
1558                                         AND cl.opac_visible IS TRUE
1559                                         AND br.active IS TRUE
1560                                         AND br.deleted IS FALSE
1561                                         AND ord.record = mrs.source
1562                                         $ot_filter
1563                                         $of_filter
1564                                         $oa_filter
1565                                         $ol_filter
1566                                         $olf_filter
1567                                   LIMIT 1
1568                                 )
1569                           ORDER BY 4 $sort_dir
1570                 SQL
1571         } else {
1572                 $select = <<"           SQL";
1573
1574                         SELECT  DISTINCT s.*
1575                           FROM  ($select) s
1576                           WHERE EXISTS (
1577                                 SELECT  1
1578                                   FROM  $asset_call_number_table cn,
1579                                         $metabib_metarecord_source_map_table mrs,
1580                                         $descendants d,
1581                                         $br_table br,
1582                                         $metabib_record_descriptor ord
1583                                   WHERE mrs.metarecord = s.metarecord
1584                                         AND br.id = mrs.source
1585                                         AND cn.record = mrs.source
1586                                         AND cn.owning_lib = d.id
1587                                         AND ord.record = mrs.source
1588                                         AND br.deleted IS FALSE
1589                                         $ot_filter
1590                                         $of_filter
1591                                         $oa_filter
1592                                         $ol_filter
1593                                         $olf_filter
1594                                   LIMIT 1
1595                                 )
1596                                 OR NOT EXISTS (
1597                                 SELECT  1
1598                                   FROM  $asset_call_number_table cn,
1599                                         $metabib_metarecord_source_map_table mrs,
1600                                         $metabib_record_descriptor ord
1601                                   WHERE mrs.metarecord = s.metarecord
1602                                         AND cn.record = mrs.source
1603                                         AND ord.record = mrs.source
1604                                         $ot_filter
1605                                         $of_filter
1606                                         $oa_filter
1607                                         $ol_filter
1608                                         $olf_filter
1609                                   LIMIT 1
1610                                 )
1611                           ORDER BY 4 $sort_dir
1612                 SQL
1613         }
1614
1615
1616         $log->debug("Field Search SQL :: [$select]",DEBUG);
1617
1618         my $recs = $_cdbi->{title}->db_Main->selectall_arrayref(
1619                         $select, {},
1620                         @bonus_values,
1621                         @types, @forms, @aud, @lang, @lit_form,
1622                         @types, @forms, @aud, @lang, @lit_form,
1623                         ($self->api_name =~ /staff/o ? (@types, @forms, @aud, @lang, @lit_form) : () )
1624         );
1625
1626         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
1627
1628         my $max = 0;
1629         $max = 1 if (!@$recs);
1630         for (@$recs) {
1631                 $max = $$_[1] if ($$_[1] > $max);
1632         }
1633
1634         my $count = scalar(@$recs);
1635         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
1636                 next unless ($$rec[0]);
1637                 my ($mrid,$rank,$skip) = @$rec;
1638                 $client->respond( [$mrid, sprintf('%0.3f',$rank/$max), $skip, $count] );
1639         }
1640         return undef;
1641 }
1642
1643 __PACKAGE__->register_method(
1644         api_name        => "open-ils.storage.metabib.post_filter.multiclass.search_fts.metarecord",
1645         method          => 'postfilter_search_multi_class_fts',
1646         api_level       => 1,
1647         stream          => 1,
1648         cachable        => 1,
1649 );
1650 __PACKAGE__->register_method(
1651         api_name        => "open-ils.storage.metabib.post_filter.multiclass.search_fts.metarecord.staff",
1652         method          => 'postfilter_search_multi_class_fts',
1653         api_level       => 1,
1654         stream          => 1,
1655         cachable        => 1,
1656 );
1657
1658 __PACKAGE__->register_method(
1659         api_name        => "open-ils.storage.metabib.multiclass.search_fts",
1660         method          => 'postfilter_search_multi_class_fts',
1661         api_level       => 1,
1662         stream          => 1,
1663         cachable        => 1,
1664 );
1665 __PACKAGE__->register_method(
1666         api_name        => "open-ils.storage.metabib.multiclass.search_fts.staff",
1667         method          => 'postfilter_search_multi_class_fts',
1668         api_level       => 1,
1669         stream          => 1,
1670         cachable        => 1,
1671 );
1672
1673 =comment
1674
1675 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
1676 sub postfilter_Z_search_class_fts {
1677         my $self = shift;
1678         my $client = shift;
1679         my %args = @_;
1680
1681         my $term = $args{term};
1682         my $sort = $args{'sort'};
1683         my $sort_dir = $args{sort_dir} || 'DESC';
1684         my $ou = $args{org_unit};
1685         my $ou_type = $args{depth};
1686         my $limit = $args{limit} || 10;
1687         my $offset = $args{offset} || 0;
1688
1689         my (@types,@forms);
1690         my ($t_filter, $f_filter) = ('','');
1691         my ($ot_filter, $of_filter) = ('','');
1692
1693         if ($args{format}) {
1694                 my ($t, $f) = split '-', $args{format};
1695                 @types = split '', $t;
1696                 @forms = split '', $f;
1697                 if (@types) {
1698                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1699                         $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1700                 }
1701
1702                 if (@forms) {
1703                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1704                         $of_filter .= ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1705                 }
1706         }
1707
1708
1709
1710         my $class = $self->{cdbi};
1711         my $search_table = $class->table;
1712         my $metabib_record_descriptor = metabib::record_descriptor->table;
1713         my $metabib_full_rec = metabib::full_rec->table;
1714         my $asset_call_number_table = asset::call_number->table;
1715         my $asset_copy_table = asset::copy->table;
1716         my $cs_table = config::copy_status->table;
1717         my $cl_table = asset::copy_location->table;
1718         my $br_table = biblio::record_entry->table;
1719
1720         my ($index_col) = $class->columns('FTS');
1721         $index_col ||= 'value';
1722
1723         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'f.value', "f.$index_col");
1724
1725         my $fts_where = $fts->sql_where_clause;
1726         my @fts_ranks = $fts->fts_rank;
1727
1728         my $relevance = join(' + ', @fts_ranks);
1729
1730         $relevance = <<"        RANK";
1731                         (SUM(   ($relevance)
1732                                 * CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END -- phrase order
1733                                 * CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END -- first word match
1734                                 * CASE WHEN f.value ~* ? THEN 2 ELSE 1 END -- only word match
1735                         )/COUNT(f.id))
1736         RANK
1737
1738         my $rank = $relevance;
1739         if (lc($sort) eq 'pubdate') {
1740                 $rank = <<"             RANK";
1741                         (
1742                                 SELECT  FIRST(COALESCE(SUBSTRING(frp.value FROM '\\\\d+'),'9999')::INT)
1743                                   FROM  $metabib_full_rec frp
1744                                   WHERE frp.record = f.source
1745                                         AND frp.tag = '260'
1746                                         AND frp.subfield = 'c'
1747                         )
1748                 RANK
1749         } elsif (lc($sort) eq 'title') {
1750                 $rank = <<"             RANK";
1751                         (
1752                                 SELECT  FIRST(COALESCE(LTRIM(SUBSTR( frt.value, frt.ind2::text::int )),'zzzzzzzz'))
1753                                   FROM  $metabib_full_rec frt
1754                                   WHERE frt.record = f.source
1755                                         AND frt.tag = '245'
1756                                         AND frt.subfield = 'a'
1757                         )
1758                 RANK
1759         } elsif (lc($sort) eq 'author') {
1760                 $rank = <<"             RANK";
1761                         ( FIRST ((
1762                                 SELECT  COALESCE(LTRIM(fra.value),'zzzzzzzz')
1763                                   FROM  $metabib_full_rec fra
1764                                   WHERE fra.record = f.source
1765                                         AND fra.tag LIKE '1%'
1766                                         AND fra.subfield = 'a'
1767                                   ORDER BY fra.tag::text::int
1768                                   LIMIT 1
1769                         )) )
1770                 RANK
1771         } else {
1772                 $sort = undef;
1773         }
1774
1775
1776
1777         my $select = <<"        SQL";
1778                 SELECT  f.source,
1779                         $rank,
1780                         $relevance
1781                 FROM    $search_table f,
1782                         $br_table br,
1783                         $descendants
1784                         $metabib_record_descriptor rd
1785                 WHERE   $fts_where
1786                         AND rd.record = f.source
1787                         AND br.id = f.source
1788                         AND br.deleted IS FALSE
1789                         $t_filter
1790                         $f_filter
1791                 GROUP BY 1
1792                 ORDER BY 2 $sort_dir, 3, MIN(COALESCE(CHAR_LENGTH(f.value),1))
1793         SQL
1794
1795
1796         if ($self->api_name !~ /Zsearch/o) {
1797
1798                 my $descendants = defined($ou_type) ?
1799                                 "actor.org_unit_descendants($ou, $ou_type)" :
1800                                 "actor.org_unit_descendants($ou)";
1801
1802                 if ($self->api_name !~ /staff/o) {
1803                         $select = <<"                   SQL";
1804
1805                         SELECT  DISTINCT s.*
1806                           FROM  ($select) s
1807                           WHERE EXISTS (
1808                                 SELECT  1
1809                                   FROM  $asset_call_number_table cn,
1810                                         $asset_copy_table cp,
1811                                         $cs_table cs,
1812                                         $cl_table cl,
1813                                         $br_table br,
1814                                         $descendants d
1815                                   WHERE br.id = s.source
1816                                         AND cn.record = s.source
1817                                         AND cp.status = cs.id
1818                                         AND cp.location = cl.id
1819                                         AND cn.owning_lib = d.id
1820                                         AND cp.call_number = cn.id
1821                                         AND cp.opac_visible IS TRUE
1822                                         AND cs.holdable IS TRUE
1823                                         AND cl.opac_visible IS TRUE
1824                                         AND br.active IS TRUE
1825                                         AND br.deleted IS FALSE
1826                                   LIMIT 1
1827                                 )
1828                           ORDER BY 2 $sort_dir, 3
1829
1830                         SQL
1831                 } else {
1832                         $select = <<"                   SQL";
1833
1834                         SELECT  DISTINCT s.*
1835                           FROM  ($select) s
1836                           WHERE EXISTS (
1837                                 SELECT  1
1838                                   FROM  $asset_call_number_table cn,
1839                                         $descendants d,
1840                                         $br_table br
1841                                   WHERE br.id = s.source
1842                                         AND cn.record = s.source
1843                                         AND cn.owning_lib = d.id
1844                                         AND br.deleted IS FALSE
1845                                   LIMIT 1
1846                                 )
1847                                 OR NOT EXISTS (
1848                                 SELECT  1
1849                                   FROM  $asset_call_number_table cn
1850                                   WHERE cn.record = s.source
1851                                   LIMIT 1
1852                                 )
1853                           ORDER BY 2 $sort_dir, 3
1854
1855                         SQL
1856                 }
1857         }
1858
1859
1860         $log->debug("Z39.50 (Record) Search SQL :: [$select]",DEBUG);
1861
1862         my $SQLstring = join('%',$fts->words);
1863         my $REstring = join('\\s+',$fts->words);
1864         my $first_word = ($fts->words)[0].'%';
1865         my $recs =
1866                 $class->db_Main->selectall_arrayref(
1867                         $select, {},
1868                         '%'.lc($SQLstring).'%',                 # phrase order match
1869                         lc($first_word),                        # first word match
1870                         '^\\s*'.lc($REstring).'\\s*/?\s*$',     # full exact match
1871                         ( !$sort ?
1872                                 ( '%'.lc($SQLstring).'%',                       # phrase order match
1873                                   lc($first_word),                              # first word match
1874                                   '^\\s*'.lc($REstring).'\\s*/?\s*$' ) :        # full exact match
1875                                 ()
1876                         ),
1877                         @types, @forms
1878                 );
1879
1880         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
1881
1882         my $max = 0;
1883         $max = 1 if (!@$recs);
1884         for (@$recs) {
1885                 $max = $$_[2] if ($$_[2] > $max);
1886         }
1887
1888         my $count = scalar(@$recs);
1889         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
1890                 next unless ($rec);
1891                 my ($mrid,$junk,$rank) = @$rec;
1892                 $client->respond( [$mrid, sprintf('%0.3f',$rank/$max), $count] );
1893         }
1894         return undef;
1895 }
1896
1897
1898 for my $class ( qw/title author subject keyword series/ ) {
1899         __PACKAGE__->register_method(
1900                 api_name        => "open-ils.storage.metabib.$class.Zsearch",
1901                 method          => 'postfilter_Z_search_class_fts',
1902                 api_level       => 1,
1903                 stream          => 1,
1904                 cdbi            => "metabib::${class}_field_entry",
1905                 cachable        => 1,
1906         );
1907         __PACKAGE__->register_method(
1908                 api_name        => "open-ils.storage.biblio.$class.search_fts.record",
1909                 method          => 'postfilter_Z_search_class_fts',
1910                 api_level       => 1,
1911                 stream          => 1,
1912                 cdbi            => "metabib::${class}_field_entry",
1913                 cachable        => 1,
1914         );
1915         __PACKAGE__->register_method(
1916                 api_name        => "open-ils.storage.biblio.$class.search_fts.record.staff",
1917                 method          => 'postfilter_Z_search_class_fts',
1918                 api_level       => 1,
1919                 stream          => 1,
1920                 cdbi            => "metabib::${class}_field_entry",
1921                 cachable        => 1,
1922         );
1923 }
1924
1925
1926 sub multi_Z_search_full_rec {
1927         my $self = shift;
1928         my $client = shift;
1929
1930         my %args = @_;
1931         my $class_join = $args{class_join} || 'AND';
1932         my $limit = $args{limit} || 10;
1933         my $offset = $args{offset} || 0;
1934         my @binds;
1935         my @selects;
1936
1937         my $limiter_count = 0;
1938
1939         for my $arg (@{ $args{searches} }) {
1940                 my $term = $$arg{term};
1941                 my $limiters = $$arg{restrict};
1942
1943                 my ($index_col) = metabib::full_rec->columns('FTS');
1944                 $index_col ||= 'value';
1945                 my $search_table = metabib::full_rec->table;
1946
1947                 my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
1948
1949                 my $fts_where = $fts->sql_where_clause();
1950                 my @fts_ranks = $fts->fts_rank;
1951
1952                 my $rank = join(' + ', @fts_ranks);
1953
1954                 my @wheres;
1955                 for my $limit (@$limiters) {
1956                         push @wheres, "( tag = ? AND subfield LIKE ? AND $fts_where )";
1957                         push @binds, $$limit{tag}, ($$limit{subfield} ? $$limit{subfield} : '_');
1958                         $log->debug("Limiting query using { tag => $$limit{tag}, subfield => $$limit{subfield} }", DEBUG);
1959                 }
1960                 $limiter_count++;
1961                 my $where = join(' OR ', @wheres);
1962
1963                 push @selects, "SELECT FIRST(id), record, SUM($rank) as sum FROM $search_table WHERE $where GROUP BY 2";
1964
1965         }
1966
1967         my $metabib_record_descriptor = metabib::record_descriptor->table;
1968
1969         my $cj = 'HAVING COUNT(DISTINCT x.id) = ' . $limiter_count if ($class_join eq 'AND');
1970         my $search_table =
1971                 '(SELECT x.record, sum(x.sum) FROM (('.
1972                         join(') UNION ALL (', @selects).
1973                         ")) x GROUP BY 1 $cj ORDER BY 2 DESC )";
1974
1975         my ($t_filter, $f_filter) = ('','');
1976
1977         if ($args{format}) {
1978                 my ($t, $f) = split '-', $args{format};
1979                 my @types = split '', $t;
1980                 my @forms = split '', $f;
1981                 if (@types) {
1982                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1983                 }
1984
1985                 if (@forms) {
1986                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1987                 }
1988                 push @binds, @types, @forms;
1989         }
1990
1991
1992         my $select = <<"        SQL";
1993                 SELECT  f.record, f.sum
1994                 FROM    $search_table f,
1995                         $metabib_record_descriptor rd
1996                 WHERE   rd.record = f.record
1997                         $t_filter
1998                         $f_filter
1999                 ORDER BY 2
2000         SQL
2001
2002
2003         $log->debug("Search SQL :: [$select]",DEBUG);
2004
2005         my $recs = metabib::full_rec->db_Main->selectall_arrayref("$select;", {}, @binds);
2006         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
2007
2008         my $count = @$recs;
2009         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
2010                 next unless ($$rec[0]);
2011                 my ($rid,$rank) = @$rec;
2012                 $client->respond( [$rid, sprintf('%0.3f',$rank), $count] );
2013         }
2014         return undef;
2015 }
2016 __PACKAGE__->register_method(
2017         api_name        => 'open-ils.storage.metabib.full_rec.Zmulti_search',
2018         method          => 'multi_Z_search_full_rec',
2019         api_level       => 1,
2020         stream          => 1,
2021         cachable        => 1,
2022 );
2023
2024 __PACKAGE__->register_method(
2025         api_name        => 'open-ils.storage.biblio.multiclass.search_fts.record',
2026         method          => 'multi_Z_search_full_rec',
2027         api_level       => 0,
2028         stream          => 1,
2029         cachable        => 1,
2030 );
2031
2032 =cut
2033
2034 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
2035 sub biblio_search_multi_class_fts {
2036         my $self = shift;
2037         my $client = shift;
2038         my %args = @_;
2039
2040         my $sort = $args{'sort'};
2041         my $sort_dir = $args{sort_dir} || 'DESC';
2042         my $ou = $args{org_unit};
2043         my $ou_type = $args{depth};
2044         my $limit = $args{limit};
2045         my $offset = $args{offset} || 0;
2046
2047         if (! scalar( keys %{$args{searches}} )) {
2048                 die "No target organizational unit passed to ".$self->api_name;
2049         }
2050
2051         if (! scalar( keys %{$args{searches}} )) {
2052                 die "No search arguments were passed to ".$self->api_name;
2053         }
2054
2055         my $outer_limit = 1000;
2056
2057         my $limit_clause = '';
2058         my $offset_clause = '';
2059
2060         $limit_clause = "LIMIT $outer_limit";
2061         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
2062
2063         my (@types,@forms,@lang,@aud,@lit_form);
2064         my ($t_filter, $f_filter) = ('','');
2065         my ($a_filter, $l_filter, $lf_filter) = ('','','');
2066         my ($ot_filter, $of_filter) = ('','');
2067         my ($oa_filter, $ol_filter, $olf_filter) = ('','','');
2068
2069         if (my $a = $args{audience}) {
2070                 $a = [$a] if (!ref($a));
2071                 @aud = @$a;
2072
2073                 $a_filter = ' AND rd.audience IN ('.join(',',map{'?'}@aud).')';
2074                 $oa_filter = ' AND ord.audience IN ('.join(',',map{'?'}@aud).')';
2075         }
2076
2077         if (my $l = $args{language}) {
2078                 $l = [$l] if (!ref($l));
2079                 @lang = @$l;
2080
2081                 $l_filter = ' AND rd.item_lang IN ('.join(',',map{'?'}@lang).')';
2082                 $ol_filter = ' AND ord.item_lang IN ('.join(',',map{'?'}@lang).')';
2083         }
2084
2085         if (my $f = $args{lit_form}) {
2086                 $f = [$f] if (!ref($f));
2087                 @lit_form = @$f;
2088
2089                 $lf_filter = ' AND rd.lit_form IN ('.join(',',map{'?'}@lit_form).')';
2090                 $olf_filter = ' AND ord.lit_form IN ('.join(',',map{'?'}@lit_form).')';
2091         }
2092
2093         if (my $f = $args{item_form}) {
2094                 $f = [$f] if (!ref($f));
2095                 @forms = @$f;
2096
2097                 $f_filter = ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
2098                 $of_filter = ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
2099         }
2100
2101         if (my $t = $args{item_type}) {
2102                 $t = [$t] if (!ref($t));
2103                 @types = @$t;
2104
2105                 $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
2106                 $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
2107         }
2108
2109
2110         # XXX legacy format and item type support
2111         if ($args{format}) {
2112                 my ($t, $f) = split '-', $args{format};
2113                 @types = split '', $t;
2114                 @forms = split '', $f;
2115                 if (@types) {
2116                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
2117                         $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
2118                 }
2119
2120                 if (@forms) {
2121                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
2122                         $of_filter .= ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
2123                 }
2124         }
2125
2126
2127         my $descendants = defined($ou_type) ?
2128                                 "actor.org_unit_descendants($ou, $ou_type)" :
2129                                 "actor.org_unit_descendants($ou)";
2130
2131         my $search_table_list = '';
2132         my $fts_list = '';
2133         my $join_table_list = '';
2134         my @rank_list;
2135
2136
2137         my @bonus_lists;
2138         my @bonus_values;
2139         my $prev_search_class;
2140         my $curr_search_class;
2141         for my $search_class (sort keys %{$args{searches}}) {
2142                 $prev_search_class = $curr_search_class if ($curr_search_class);
2143
2144                 $curr_search_class = $search_class;
2145
2146                 my $class = $_cdbi->{$search_class};
2147                 my $search_table = $class->table;
2148
2149                 my ($index_col) = $class->columns('FTS');
2150                 $index_col ||= 'value';
2151
2152
2153                 my $fts = OpenILS::Application::Storage::FTS->compile($args{searches}{$search_class}{term}, $search_class.'.value', "$search_class.$index_col");
2154
2155                 my $fts_where = $fts->sql_where_clause;
2156                 my @fts_ranks = $fts->fts_rank;
2157
2158                 my $SQLstring = join('%',$fts->words);
2159                 my $REstring = '^' . join('\s+',$fts->words) . '\W*$';
2160                 my $first_word = ($fts->words)[0].'%';
2161
2162                 my $rank = join(' + ', @fts_ranks);
2163
2164                 my %bonus = ();
2165                 $bonus{'keyword'} = [ { "CASE WHEN $search_class.value ILIKE ? THEN 1.2 ELSE 1 END" => $SQLstring } ];
2166                 $bonus{'title'} =
2167                         $bonus{'metabib::series_field_entry'} = [
2168                                 { "CASE WHEN $search_class.value ILIKE ? THEN 1.5 ELSE 1 END" => $first_word },
2169                                 { "CASE WHEN $search_class.value ~* ? THEN 2 ELSE 1 END" => $REstring },
2170                                 @{ $bonus{'keyword'} }
2171                         ];
2172
2173                 my $bonus_list = join ' * ', map { keys %$_ } @{ $bonus{$search_class} };
2174                 $bonus_list ||= '1';
2175
2176                 push @bonus_lists, $bonus_list;
2177                 push @bonus_values, map { values %$_ } @{ $bonus{$search_class} };
2178
2179                 #---------------------
2180
2181                 $search_table_list .= "$search_table $search_class, ";
2182                 push @rank_list,$rank;
2183                 $fts_list .= " AND $fts_where AND b.id = $search_class.source";
2184
2185                 if ($prev_search_class) {
2186                         $join_table_list .= " AND $prev_search_class.source = $curr_search_class.source";
2187                 }
2188         }
2189
2190         my $metabib_record_descriptor = metabib::record_descriptor->table;
2191         my $metabib_full_rec = metabib::full_rec->table;
2192         my $metabib_metarecord = metabib::metarecord->table;
2193         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
2194         my $asset_call_number_table = asset::call_number->table;
2195         my $asset_copy_table = asset::copy->table;
2196         my $cs_table = config::copy_status->table;
2197         my $cl_table = asset::copy_location->table;
2198         my $br_table = biblio::record_entry->table;
2199
2200         if (lc($sort) ne 'pubdate' and lc($sort) ne 'title' and lc($sort) ne 'author') {
2201                 push @bonus_values, @bonus_values;
2202         }
2203
2204         my $bonuses = join (' * ', @bonus_lists);
2205         my $relevance = join (' + ', @rank_list);
2206         $relevance = "SUM( ($relevance) * ($bonuses) )";
2207
2208
2209         my $rank = $relevance;
2210         if (lc($sort) eq 'pubdate') {
2211                 $rank = <<"             RANK";
2212                         ( FIRST ((
2213                                 SELECT  COALESCE(SUBSTRING(frp.value FROM '\\\\d{4}'),'9999')::INT
2214                                   FROM  $metabib_full_rec frp
2215                                   WHERE frp.record = b.id
2216                                         AND frp.tag = '260'
2217                                         AND frp.subfield = 'c'
2218                                   LIMIT 1
2219                         )) )
2220                 RANK
2221         } elsif (lc($sort) eq 'title') {
2222                 $rank = <<"             RANK";
2223                         ( FIRST ((
2224                                 SELECT  COALESCE(LTRIM(SUBSTR( frt.value, frt.ind2::text::int )),'zzzzzzzz')
2225                                   FROM  $metabib_full_rec frt
2226                                   WHERE frt.record = b.id
2227                                         AND frt.tag = '245'
2228                                         AND frt.subfield = 'a'
2229                                   LIMIT 1
2230                         )) )
2231                 RANK
2232         } elsif (lc($sort) eq 'author') {
2233                 $rank = <<"             RANK";
2234                         ( FIRST((
2235                                 SELECT  COALESCE(LTRIM(fra.value),'zzzzzzzz')
2236                                   FROM  $metabib_full_rec fra
2237                                   WHERE fra.record = b.id
2238                                         AND fra.tag LIKE '1%'
2239                                         AND fra.subfield = 'a'
2240                                   ORDER BY fra.tag::text::int
2241                                   LIMIT 1
2242                         )) )
2243                 RANK
2244         }
2245
2246
2247         my $select = <<"        SQL";
2248                 SELECT  b.id,
2249                         $relevance AS rel,
2250                         $rank AS rank
2251                 FROM    $search_table_list
2252                         $metabib_record_descriptor rd,
2253                         $br_table b
2254                 WHERE   rd.record = b.id
2255                         AND b.active IS TRUE
2256                         AND b.deleted IS FALSE
2257                         $fts_list
2258                         $join_table_list
2259                         $t_filter
2260                         $f_filter
2261                         $a_filter
2262                         $l_filter
2263                         $lf_filter
2264                 GROUP BY b.id
2265                 ORDER BY 3 $sort_dir
2266                 LIMIT 10000
2267         SQL
2268
2269         if ($self->api_name !~ /staff/o) {
2270                 $select = <<"           SQL";
2271
2272                         SELECT  DISTINCT s.*
2273                           FROM  ($select) s
2274                           WHERE EXISTS (
2275                                 SELECT  1
2276                                   FROM  $asset_call_number_table cn,
2277                                         $asset_copy_table cp,
2278                                         $cs_table cs,
2279                                         $cl_table cl,
2280                                         $descendants d
2281                                   WHERE cn.record = s.id
2282                                         AND cp.status = cs.id
2283                                         AND cp.location = cl.id
2284                                         AND cn.owning_lib = d.id
2285                                         AND cp.call_number = cn.id
2286                                         AND cp.opac_visible IS TRUE
2287                                         AND cs.holdable IS TRUE
2288                                         AND cl.opac_visible IS TRUE
2289                                         AND cp.deleted IS FALSE
2290                                   LIMIT 1
2291                                 )
2292                           ORDER BY 3 $sort_dir
2293                 SQL
2294         } else {
2295                 $select = <<"           SQL";
2296
2297                         SELECT  DISTINCT s.*
2298                           FROM  ($select) s
2299                           WHERE EXISTS (
2300                                 SELECT  1
2301                                   FROM  $asset_call_number_table cn,
2302                                         $descendants d
2303                                   WHERE cn.record = s.id
2304                                         AND cn.owning_lib = d.id
2305                                   LIMIT 1
2306                                 )
2307                                 OR NOT EXISTS (
2308                                 SELECT  1
2309                                   FROM  $asset_call_number_table cn
2310                                   WHERE cn.record = s.id
2311                                   LIMIT 1
2312                                 )
2313                           ORDER BY 3 $sort_dir
2314                 SQL
2315         }
2316
2317
2318         $log->debug("Field Search SQL :: [$select]",DEBUG);
2319
2320         my $recs = $_cdbi->{title}->db_Main->selectall_arrayref(
2321                         $select, {},
2322                         @bonus_values, @types, @forms, @aud, @lang, @lit_form
2323         );
2324
2325         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
2326
2327         my $max = 0;
2328         $max = 1 if (!@$recs);
2329         for (@$recs) {
2330                 $max = $$_[1] if ($$_[1] > $max);
2331         }
2332
2333         my $count = scalar(@$recs);
2334         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
2335                 next unless ($$rec[0]);
2336                 my ($mrid,$rank) = @$rec;
2337                 $client->respond( [$mrid, sprintf('%0.3f',$rank/$max), $count] );
2338         }
2339         return undef;
2340 }
2341
2342 __PACKAGE__->register_method(
2343         api_name        => "open-ils.storage.biblio.multiclass.search_fts.record",
2344         method          => 'biblio_search_multi_class_fts',
2345         api_level       => 1,
2346         stream          => 1,
2347         cachable        => 1,
2348 );
2349 __PACKAGE__->register_method(
2350         api_name        => "open-ils.storage.biblio.multiclass.search_fts.record.staff",
2351         method          => 'biblio_search_multi_class_fts',
2352         api_level       => 1,
2353         stream          => 1,
2354         cachable        => 1,
2355 );
2356
2357
2358
2359 __PACKAGE__->register_method(
2360         api_name        => "open-ils.storage.biblio.multiclass.search_fts",
2361         method          => 'biblio_search_multi_class_fts',
2362         api_level       => 1,
2363         stream          => 1,
2364         cachable        => 1,
2365 );
2366 __PACKAGE__->register_method(
2367         api_name        => "open-ils.storage.biblio.multiclass.search_fts.staff",
2368         method          => 'biblio_search_multi_class_fts',
2369         api_level       => 1,
2370         stream          => 1,
2371         cachable        => 1,
2372 );
2373
2374
2375 1;