Open-ILS/src/perlmods/OpenILS/Application/Storage/Publisher/metabib.pm

   1 package OpenILS::Application::Storage::Publisher::metabib;
   2 use base qw/OpenILS::Application::Storage::Publisher/;
   3 use vars qw/$VERSION/;
   4 use OpenSRF::EX qw/:try/;
   5 use OpenILS::Application::Storage::FTS;
   6 use OpenILS::Utils::Fieldmapper;
   7 use OpenSRF::Utils::Logger qw/:level/;
   8 use OpenSRF::Utils::Cache;
   9 use Data::Dumper;
  10 use Digest::MD5 qw/md5_hex/;
  11
  12
  13 my $log = 'OpenSRF::Utils::Logger';
  14
  15 $VERSION = 1;
  16
  17 # need to order record IDs by:
  18 #  1) format - text, movie, sound, software, images, maps, mixed, music, 3d
  19 #  2) proximity --- XXX Can't do it cheap...
  20 #  3) count
  21 sub ordered_records_from_metarecord {
  22         my $self = shift;
  23         my $client = shift;
  24         my $mr = shift;
  25         my $formats = shift;
  26
  27         my (@types,@forms);
  28
  29         if ($formats) {
  30                 my ($t, $f) = split '-', $formats;
  31                 @types = split '', $t;
  32                 @forms = split '', $f;
  33         }
  34
  35         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
  36         $copies_visible = '' if ($self->api_name =~ /staff/o);
  37
  38         my $sm_table = metabib::metarecord_source_map->table;
  39         my $rd_table = metabib::record_descriptor->table;
  40         my $cn_table = asset::call_number->table;
  41         my $cl_table = asset::copy_location->table;
  42         my $cp_table = asset::copy->table;
  43         my $cs_table = config::copy_status->table;
  44         my $out_table = actor::org_unit_type->table;
  45
  46         my $sql = <<"   SQL";
  47          SELECT *
  48            FROM (
  49                 SELECT  rd.record,
  50                         rd.item_type,
  51                         rd.item_form,
  52         SQL
  53
  54         if ($copies_visible) {
  55                 $sql .= <<"             SQL";
  56                         sum((SELECT     count(cp.id)
  57                                FROM     $cp_table cp
  58                                         JOIN $cs_table cs ON (cp.status = cs.id)
  59                                         JOIN $cl_table cl ON (cp.location = cl.id)
  60                                WHERE    cn.id = cp.call_number
  61                                         $copies_visible
  62                           )) AS count
  63                 SQL
  64         } else {
  65                 $sql .= '0 AS count';
  66         }
  67
  68         if ($copies_visible) {
  69                 $sql .= <<"             SQL";
  70                   FROM  $cn_table cn,
  71                         $sm_table sm,
  72                         $rd_table rd
  73                   WHERE rd.record = sm.source
  74                         AND cn.record = rd.record
  75                         AND sm.metarecord = ?
  76                 SQL
  77         } else {
  78                 $sql .= <<"             SQL";
  79                   FROM  $sm_table sm,
  80                         $rd_table rd
  81                   WHERE rd.record = sm.source
  82                         AND sm.metarecord = ?
  83                 SQL
  84         }
  85
  86         $sql .= <<"     SQL";
  87                   GROUP BY rd.record, rd.item_type, rd.item_form
  88                   ORDER BY
  89                         CASE
  90                                 WHEN rd.item_type IS NULL -- default
  91                                         THEN 0
  92                                 WHEN rd.item_type = '' -- default
  93                                         THEN 0
  94                                 WHEN rd.item_type IN ('a','t') -- books
  95                                         THEN 1
  96                                 WHEN rd.item_type = 'g' -- movies
  97                                         THEN 2
  98                                 WHEN rd.item_type IN ('i','j') -- sound recordings
  99                                         THEN 3
 100                                 WHEN rd.item_type = 'm' -- software
 101                                         THEN 4
 102                                 WHEN rd.item_type = 'k' -- images
 103                                         THEN 5
 104                                 WHEN rd.item_type IN ('e','f') -- maps
 105                                         THEN 6
 106                                 WHEN rd.item_type IN ('o','p') -- mixed
 107                                         THEN 7
 108                                 WHEN rd.item_type IN ('c','d') -- music
 109                                         THEN 8
 110                                 WHEN rd.item_type = 'r' -- 3d
 111                                         THEN 9
 112                         END,
 113                         count DESC
 114                 ) x
 115         SQL
 116
 117         if ($copies_visible) {
 118                 $sql .= ' WHERE x.count > 0'
 119         }
 120
 121         if (@types) {
 122                 $sql .= ' AND x.item_type IN ('.join(',',map{'?'}@types).')';
 123         }
 124
 125         if (@forms) {
 126                 $sql .= ' AND x.item_form IN ('.join(',',map{'?'}@forms).')';
 127         }
 128
 129         my $sth = metabib::metarecord_source_map->db_Main->prepare_cached($sql);
 130         $sth->execute("$mr", @types, @forms);
 131         while ( my $row = $sth->fetchrow_arrayref ) {
 132                 $client->respond( $$row[0] );
 133         }
 134         return undef;
 135
 136 }
 137 __PACKAGE__->register_method(
 138         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records',
 139         method          => 'ordered_records_from_metarecord',
 140         api_level       => 1,
 141         stream          => 1,
 142         cachable        => 1,
 143 );
 144 __PACKAGE__->register_method(
 145         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records.staff',
 146         method          => 'ordered_records_from_metarecord',
 147         api_level       => 1,
 148         stream          => 1,
 149         cachable        => 1,
 150 );
 151
 152
 153 sub metarecord_copy_count {
 154         my $self = shift;
 155         my $client = shift;
 156
 157         my %args = @_;
 158
 159         my $sm_table = metabib::metarecord_source_map->table;
 160         my $rd_table = metabib::record_descriptor->table;
 161         my $cn_table = asset::call_number->table;
 162         my $cp_table = asset::copy->table;
 163         my $cl_table = asset::copy_location->table;
 164         my $cs_table = config::copy_status->table;
 165         my $out_table = actor::org_unit_type->table;
 166         my $descendants = "actor.org_unit_descendants(u.id)";
 167         my $ancestors = "actor.org_unit_ancestors(?)";
 168
 169         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 170         $copies_visible = '' if ($self->api_name =~ /staff/o);
 171
 172         my (@types,@forms);
 173         my ($t_filter, $f_filter) = ('','');
 174
 175         if ($args{format}) {
 176                 my ($t, $f) = split '-', $args{format};
 177                 @types = split '', $t;
 178                 @forms = split '', $f;
 179                 if (@types) {
 180                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 181                 }
 182
 183                 if (@forms) {
 184                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 185                 }
 186         }
 187
 188         my $sql = <<"   SQL";
 189                 SELECT  t.depth,
 190                         u.id AS org_unit,
 191                         sum(
 192                                 (SELECT count(cp.id)
 193                                   FROM  $sm_table r
 194                                         JOIN $cn_table cn ON (cn.record = r.source)
 195                                         JOIN $rd_table rd ON (cn.record = rd.record)
 196                                         JOIN $cp_table cp ON (cn.id = cp.call_number)
 197                                         JOIN $cs_table cs ON (cp.status = cs.id)
 198                                         JOIN $cl_table cl ON (cp.location = cl.id)
 199                                         JOIN $descendants a ON (cp.circ_lib = a.id)
 200                                   WHERE r.metarecord = ?
 201                                         $copies_visible
 202                                         $t_filter
 203                                         $f_filter
 204                                 )
 205                         ) AS count,
 206                         sum(
 207                                 (SELECT count(cp.id)
 208                                   FROM  $sm_table r
 209                                         JOIN $cn_table cn ON (cn.record = r.source)
 210                                         JOIN $rd_table rd ON (cn.record = rd.record)
 211                                         JOIN $cp_table cp ON (cn.id = cp.call_number)
 212                                         JOIN $cs_table cs ON (cp.status = cs.id)
 213                                         JOIN $cl_table cl ON (cp.location = cl.id)
 214                                         JOIN $descendants a ON (cp.circ_lib = a.id)
 215                                   WHERE r.metarecord = ?
 216                                         AND cp.status = 0
 217                                         $copies_visible
 218                                         $t_filter
 219                                         $f_filter
 220                                 )
 221                         ) AS available
 222
 223                   FROM  $ancestors u
 224                         JOIN $out_table t ON (u.ou_type = t.id)
 225                   GROUP BY 1,2
 226         SQL
 227
 228         my $sth = metabib::metarecord_source_map->db_Main->prepare_cached($sql);
 229         $sth->execute(  ''.$args{metarecord},
 230                         @types,
 231                         @forms,
 232                         ''.$args{metarecord},
 233                         @types,
 234                         @forms,
 235                         ''.$args{org_unit},
 236         );
 237
 238         while ( my $row = $sth->fetchrow_hashref ) {
 239                 $client->respond( $row );
 240         }
 241         return undef;
 242 }
 243 __PACKAGE__->register_method(
 244         api_name        => 'open-ils.storage.metabib.metarecord.copy_count',
 245         method          => 'metarecord_copy_count',
 246         api_level       => 1,
 247         stream          => 1,
 248         cachable        => 1,
 249 );
 250 __PACKAGE__->register_method(
 251         api_name        => 'open-ils.storage.metabib.metarecord.copy_count.staff',
 252         method          => 'metarecord_copy_count',
 253         api_level       => 1,
 254         stream          => 1,
 255         cachable        => 1,
 256 );
 257
 258 sub multi_search_full_rec {
 259         my $self = shift;
 260         my $client = shift;
 261
 262         my %args = @_;
 263         my $class_join = $args{class_join} || 'AND';
 264         my $limit = $args{limit} || 100;
 265         my $offset = $args{offset} || 0;
 266         my @binds;
 267         my @selects;
 268
 269         for my $arg (@{ $args{searches} }) {
 270                 my $term = $$arg{term};
 271                 my $limiters = $$arg{restrict};
 272
 273                 my ($index_col) = metabib::full_rec->columns('FTS');
 274                 $index_col ||= 'value';
 275                 my $search_table = metabib::full_rec->table;
 276
 277                 my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
 278
 279                 my $fts_where = $fts->sql_where_clause();
 280                 my @fts_ranks = $fts->fts_rank;
 281
 282                 my $rank = join(' + ', @fts_ranks);
 283
 284                 my @wheres;
 285                 for my $limit (@$limiters) {
 286                         push @wheres, "( tag = ? AND subfield LIKE ? AND $fts_where )";
 287                         push @binds, $$limit{tag}, $$limit{subfield};
 288                         $log->debug("Limiting query using { tag => $$limit{tag}, subfield => $$limit{subfield} }", DEBUG);
 289                 }
 290                 my $where = join(' OR ', @wheres);
 291
 292                 push @selects, "SELECT id, record, $rank as sum FROM $search_table WHERE $where";
 293
 294         }
 295
 296         my $descendants = defined($args{depth}) ?
 297                                 "actor.org_unit_descendants($args{org_unit}, $args{depth})" :
 298                                 "actor.org_unit_descendants($args{org_unit})" ;
 299
 300
 301         my $metabib_record_descriptor = metabib::record_descriptor->table;
 302         my $metabib_metarecord = metabib::metarecord->table;
 303         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
 304         my $asset_call_number_table = asset::call_number->table;
 305         my $asset_copy_table = asset::copy->table;
 306         my $cs_table = config::copy_status->table;
 307         my $cl_table = asset::copy_location->table;
 308
 309         my $cj = 'HAVING COUNT(x.id) = ' . scalar(@selects) if ($class_join eq 'AND');
 310         my $search_table =
 311                 '(SELECT x.record, sum(x.sum) FROM (('.
 312                         join(') UNION ALL (', @selects).
 313                         ")) x GROUP BY 1 $cj ORDER BY 2 DESC )";
 314
 315         my $has_vols = 'AND cn.owning_lib = d.id';
 316         my $has_copies = 'AND cp.call_number = cn.id';
 317         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 318
 319         if ($self->api_name =~ /staff/o) {
 320                 $copies_visible = '';
 321                 $has_copies = '' if ($ou_type == 0);
 322                 $has_vols = '' if ($ou_type == 0);
 323         }
 324
 325         my ($t_filter, $f_filter) = ('','');
 326
 327         if ($args{format}) {
 328                 my ($t, $f) = split '-', $args{format};
 329                 my @types = split '', $t;
 330                 my @forms = split '', $f;
 331                 if (@types) {
 332                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 333                 }
 334
 335                 if (@forms) {
 336                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 337                 }
 338                 push @binds, @types, @forms;
 339         }
 340
 341
 342         if ($copies_visible) {
 343                 $select = <<"           SQL";
 344                         SELECT  m.metarecord, sum(f.sum), count(DISTINCT cp.id), CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
 345                         FROM    $search_table f,
 346                                 $metabib_metarecord_source_map_table m,
 347                                 $asset_call_number_table cn,
 348                                 $asset_copy_table cp,
 349                                 $cs_table cs,
 350                                 $cl_table cl,
 351                                 $metabib_record_descriptor rd,
 352                                 $descendants d
 353                         WHERE   m.source = f.record
 354                                 AND cn.record = m.source
 355                                 AND rd.record = m.source
 356                                 AND cp.status = cs.id
 357                                 AND cp.location = cl.id
 358                                 $has_vols
 359                                 $has_copies
 360                                 $copies_visible
 361                                 $t_filter
 362                                 $f_filter
 363                         GROUP BY m.metarecord HAVING count(DISTINCT cp.id) > 0
 364                         ORDER BY 2 DESC,3 DESC
 365                 SQL
 366         } else {
 367                 $select = <<"           SQL";
 368                         SELECT  m.metarecord, 1, 0, CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
 369                         FROM    $search_table f,
 370                                 $metabib_metarecord_source_map_table m,
 371                                 $metabib_record_descriptor rd
 372                         WHERE   m.source = f.record
 373                                 AND rd.record = m.source
 374                                 $t_filter
 375                                 $f_filter
 376                         GROUP BY 1,2,3
 377                 SQL
 378         }
 379
 380
 381         $log->debug("Search SQL :: [$select]",DEBUG);
 382
 383         my $recs = metabib::full_rec->db_Main->selectall_arrayref("$select;", {}, @binds);
 384         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
 385
 386         my $count = @$recs;
 387         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
 388                 next unless ($$rec[0]);
 389                 my ($mrid,$rank,$junk,$skip) = @$rec;
 390                 $client->respond( [$mrid, sprintf('%0.3f',$rank), $skip, $count] );
 391         }
 392         return undef;
 393 }
 394 __PACKAGE__->register_method(
 395         api_name        => 'open-ils.storage.metabib.full_rec.multi_search',
 396         method          => 'multi_search_full_rec',
 397         api_level       => 1,
 398         stream          => 1,
 399         cachable        => 1,
 400 );
 401 __PACKAGE__->register_method(
 402         api_name        => 'open-ils.storage.metabib.full_rec.multi_search.staff',
 403         method          => 'multi_search_full_rec',
 404         api_level       => 1,
 405         stream          => 1,
 406         cachable        => 1,
 407 );
 408
 409 sub search_full_rec {
 410         my $self = shift;
 411         my $client = shift;
 412
 413         my %args = @_;
 414
 415         my $term = $args{term};
 416         my $limiters = $args{restrict};
 417
 418         my ($index_col) = metabib::full_rec->columns('FTS');
 419         $index_col ||= 'value';
 420         my $search_table = metabib::full_rec->table;
 421
 422         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
 423
 424         my $fts_where = $fts->sql_where_clause();
 425         my @fts_ranks = $fts->fts_rank;
 426
 427         my $rank = join(' + ', @fts_ranks);
 428
 429         my @binds;
 430         my @wheres;
 431         for my $limit (@$limiters) {
 432                 push @wheres, "( tag = ? AND subfield LIKE ? AND $fts_where )";
 433                 push @binds, $$limit{tag}, $$limit{subfield};
 434                 $log->debug("Limiting query using { tag => $$limit{tag}, subfield => $$limit{subfield} }", DEBUG);
 435         }
 436         my $where = join(' OR ', @wheres);
 437
 438         my $select = "SELECT record, sum($rank) FROM $search_table WHERE $where GROUP BY 1 ORDER BY 2 DESC;";
 439
 440         $log->debug("Search SQL :: [$select]",DEBUG);
 441
 442         my $recs = metabib::full_rec->db_Main->selectall_arrayref($select, {}, @binds);
 443         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
 444
 445         $client->respond($_) for (@$recs);
 446         return undef;
 447 }
 448 __PACKAGE__->register_method(
 449         api_name        => 'open-ils.storage.direct.metabib.full_rec.search_fts.value',
 450         method          => 'search_full_rec',
 451         api_level       => 1,
 452         stream          => 1,
 453         cachable        => 1,
 454 );
 455 __PACKAGE__->register_method(
 456         api_name        => 'open-ils.storage.direct.metabib.full_rec.search_fts.index_vector',
 457         method          => 'search_full_rec',
 458         api_level       => 1,
 459         stream          => 1,
 460         cachable        => 1,
 461 );
 462
 463
 464 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
 465 sub search_class_fts {
 466         my $self = shift;
 467         my $client = shift;
 468         my %args = @_;
 469
 470         my $term = $args{term};
 471         my $ou = $args{org_unit};
 472         my $ou_type = $args{depth};
 473         my $limit = $args{limit};
 474         my $offset = $args{offset};
 475
 476         my $limit_clause = '';
 477         my $offset_clause = '';
 478
 479         $limit_clause = "LIMIT $limit" if (defined $limit and int($limit) > 0);
 480         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
 481
 482         my (@types,@forms);
 483         my ($t_filter, $f_filter) = ('','');
 484
 485         if ($args{format}) {
 486                 my ($t, $f) = split '-', $args{format};
 487                 @types = split '', $t;
 488                 @forms = split '', $f;
 489                 if (@types) {
 490                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 491                 }
 492
 493                 if (@forms) {
 494                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 495                 }
 496         }
 497
 498
 499
 500         my $descendants = defined($ou_type) ?
 501                                 "actor.org_unit_descendants($ou, $ou_type)" :
 502                                 "actor.org_unit_descendants($ou)";
 503
 504         my $class = $self->{cdbi};
 505         my $search_table = $class->table;
 506
 507         my $metabib_record_descriptor = metabib::record_descriptor->table;
 508         my $metabib_metarecord = metabib::metarecord->table;
 509         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
 510         my $asset_call_number_table = asset::call_number->table;
 511         my $asset_copy_table = asset::copy->table;
 512         my $cs_table = config::copy_status->table;
 513         my $cl_table = asset::copy_location->table;
 514
 515         my ($index_col) = $class->columns('FTS');
 516         $index_col ||= 'value';
 517
 518         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'f.value', "f.$index_col");
 519
 520         my $fts_where = $fts->sql_where_clause;
 521         my @fts_ranks = $fts->fts_rank;
 522
 523         my $rank = join(' + ', @fts_ranks);
 524
 525         my $has_vols = 'AND cn.owning_lib = d.id';
 526         my $has_copies = 'AND cp.call_number = cn.id';
 527         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 528
 529         my $visible_count = ', count(DISTINCT cp.id)';
 530         my $visible_count_test = 'HAVING count(DISTINCT cp.id) > 0';
 531
 532         if ($self->api_name =~ /staff/o) {
 533                 $copies_visible = '';
 534                 $visible_count_test = '';
 535                 $has_copies = '' if ($ou_type == 0);
 536                 $has_vols = '' if ($ou_type == 0);
 537         }
 538
 539         my $rank_calc = <<"     RANK";
 540                 , (SUM( $rank
 541                         * CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END -- phrase order
 542                         * CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END -- first word match
 543                         * CASE WHEN f.value ~* ? THEN 2 ELSE 1 END -- only word match
 544                 )/COUNT(m.source)), MIN(COALESCE(CHAR_LENGTH(f.value),1))
 545         RANK
 546
 547         $rank_calc = ',1 , 1' if ($self->api_name =~ /unordered/o);
 548
 549         if ($copies_visible) {
 550                 $select = <<"           SQL";
 551                         SELECT  m.metarecord $rank_calc $visible_count, CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
 552                         FROM    $search_table f,
 553                                 $metabib_metarecord_source_map_table m,
 554                                 $asset_call_number_table cn,
 555                                 $asset_copy_table cp,
 556                                 $cs_table cs,
 557                                 $cl_table cl,
 558                                 $metabib_record_descriptor rd,
 559                                 $descendants d
 560                         WHERE   $fts_where
 561                                 AND m.source = f.source
 562                                 AND cn.record = m.source
 563                                 AND rd.record = m.source
 564                                 AND cp.status = cs.id
 565                                 AND cp.location = cl.id
 566                                 $has_vols
 567                                 $has_copies
 568                                 $copies_visible
 569                                 $t_filter
 570                                 $f_filter
 571                         GROUP BY 1 $visible_count_test
 572                         ORDER BY 2 DESC,3
 573                         $limit_clause $offset_clause
 574                 SQL
 575         } else {
 576                 $select = <<"           SQL";
 577                         SELECT  m.metarecord $rank_calc, 0, CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
 578                         FROM    $search_table f,
 579                                 $metabib_metarecord_source_map_table m,
 580                                 $metabib_record_descriptor rd
 581                         WHERE   $fts_where
 582                                 AND m.source = f.source
 583                                 AND rd.record = m.source
 584                                 $t_filter
 585                                 $f_filter
 586                         GROUP BY 1, 4
 587                         ORDER BY 2 DESC,3
 588                         $limit_clause $offset_clause
 589                 SQL
 590         }
 591
 592         $log->debug("Field Search SQL :: [$select]",DEBUG);
 593
 594         my $SQLstring = join('%',$fts->words);
 595         my $REstring = join('\\s+',$fts->words);
 596         my $first_word = ($fts->words)[0].'%';
 597         my $recs = ($self->api_name =~ /unordered/o) ?
 598                         $class->db_Main->selectall_arrayref($select, {}, @types, @forms) :
 599                         $class->db_Main->selectall_arrayref($select, {},
 600                                 '%'.lc($SQLstring).'%',                 # phrase order match
 601                                 lc($first_word),                        # first word match
 602                                 '^\\s*'.lc($REstring).'\\s*/?\s*$',     # full exact match
 603                                 @types, @forms
 604                         );
 605
 606         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
 607
 608         $client->respond($_) for (map { [@$_[0,1,3,4]] } @$recs);
 609         return undef;
 610 }
 611
 612 for my $class ( qw/title author subject keyword series/ ) {
 613         __PACKAGE__->register_method(
 614                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord",
 615                 method          => 'search_class_fts',
 616                 api_level       => 1,
 617                 stream          => 1,
 618                 cdbi            => "metabib::${class}_field_entry",
 619                 cachable        => 1,
 620         );
 621         __PACKAGE__->register_method(
 622                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.unordered",
 623                 method          => 'search_class_fts',
 624                 api_level       => 1,
 625                 stream          => 1,
 626                 cdbi            => "metabib::${class}_field_entry",
 627                 cachable        => 1,
 628         );
 629         __PACKAGE__->register_method(
 630                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.staff",
 631                 method          => 'search_class_fts',
 632                 api_level       => 1,
 633                 stream          => 1,
 634                 cdbi            => "metabib::${class}_field_entry",
 635                 cachable        => 1,
 636         );
 637         __PACKAGE__->register_method(
 638                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.staff.unordered",
 639                 method          => 'search_class_fts',
 640                 api_level       => 1,
 641                 stream          => 1,
 642                 cdbi            => "metabib::${class}_field_entry",
 643                 cachable        => 1,
 644         );
 645 }
 646
 647 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
 648 sub search_class_fts_count {
 649         my $self = shift;
 650         my $client = shift;
 651         my %args = @_;
 652
 653         my $term = $args{term};
 654         my $ou = $args{org_unit};
 655         my $ou_type = $args{depth};
 656         my $limit = $args{limit} || 100;
 657         my $offset = $args{offset} || 0;
 658
 659         my $descendants = defined($ou_type) ?
 660                                 "actor.org_unit_descendants($ou, $ou_type)" :
 661                                 "actor.org_unit_descendants($ou)";
 662
 663         my (@types,@forms);
 664         my ($t_filter, $f_filter) = ('','');
 665
 666         if ($args{format}) {
 667                 my ($t, $f) = split '-', $args{format};
 668                 @types = split '', $t;
 669                 @forms = split '', $f;
 670                 if (@types) {
 671                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 672                 }
 673
 674                 if (@forms) {
 675                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 676                 }
 677         }
 678
 679
 680         (my $search_class = $self->api_name) =~ s/.*metabib.(\w+).search_fts.*/$1/o;
 681
 682         my $class = $self->{cdbi};
 683         my $search_table = $class->table;
 684
 685         my $metabib_record_descriptor = metabib::record_descriptor->table;
 686         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
 687         my $asset_call_number_table = asset::call_number->table;
 688         my $asset_copy_table = asset::copy->table;
 689         my $cs_table = config::copy_status->table;
 690         my $cl_table = asset::copy_location->table;
 691
 692         my ($index_col) = $class->columns('FTS');
 693         $index_col ||= 'value';
 694
 695         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
 696
 697         my $fts_where = $fts->sql_where_clause;
 698
 699         my $has_vols = 'AND cn.owning_lib = d.id';
 700         my $has_copies = 'AND cp.call_number = cn.id';
 701         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 702         if ($self->api_name =~ /staff/o) {
 703                 $copies_visible = '';
 704                 $has_vols = '' if ($ou_type == 0);
 705                 $has_copies = '' if ($ou_type == 0);
 706         }
 707
 708         # XXX test an "EXISTS version of descendant checking...
 709         my $select;
 710         if ($copies_visible) {
 711                 $select = <<"           SQL";
 712                 SELECT  count(distinct  m.metarecord)
 713                   FROM  $search_table f,
 714                         $metabib_metarecord_source_map_table m,
 715                         $asset_call_number_table cn,
 716                         $asset_copy_table cp,
 717                         $cs_table cs,
 718                         $cl_table cl,
 719                         $metabib_record_descriptor rd,
 720                         $descendants d
 721                   WHERE $fts_where
 722                         AND m.source = f.source
 723                         AND cn.record = m.source
 724                         AND rd.record = m.source
 725                         AND cp.status = cs.id
 726                         AND cp.location = cl.id
 727                         $has_vols
 728                         $has_copies
 729                         $copies_visible
 730                         $t_filter
 731                         $f_filter
 732                 SQL
 733         } else {
 734                 $select = <<"           SQL";
 735                 SELECT  count(distinct  m.metarecord)
 736                   FROM  $search_table f,
 737                         $metabib_metarecord_source_map_table m,
 738                         $metabib_record_descriptor rd
 739                   WHERE $fts_where
 740                         AND m.source = f.source
 741                         AND rd.record = m.source
 742                         $t_filter
 743                         $f_filter
 744                 SQL
 745         }
 746
 747         $log->debug("Field Search Count SQL :: [$select]",DEBUG);
 748
 749         my $recs = $class->db_Main->selectrow_arrayref($select, {}, @types, @forms)->[0];
 750
 751         $log->debug("Count Search yielded $recs results.",DEBUG);
 752
 753         return $recs;
 754
 755 }
 756 for my $class ( qw/title author subject keyword series/ ) {
 757         __PACKAGE__->register_method(
 758                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord_count",
 759                 method          => 'search_class_fts_count',
 760                 api_level       => 1,
 761                 stream          => 1,
 762                 cdbi            => "metabib::${class}_field_entry",
 763                 cachable        => 1,
 764         );
 765         __PACKAGE__->register_method(
 766                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord_count.staff",
 767                 method          => 'search_class_fts_count',
 768                 api_level       => 1,
 769                 stream          => 1,
 770                 cdbi            => "metabib::${class}_field_entry",
 771                 cachable        => 1,
 772         );
 773 }
 774
 775
 776 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
 777 sub new_search_class_fts {
 778         my $self = shift;
 779         my $client = shift;
 780         my %args = @_;
 781
 782         my $term = $args{term};
 783         my $ou = $args{org_unit};
 784         my $ou_type = $args{depth};
 785         my $limit = $args{limit};
 786         my $offset = $args{offset} || 0;
 787
 788         my $limit_clause = '';
 789         my $offset_clause = '';
 790
 791         $limit_clause = "LIMIT $limit" if (defined $limit and int($limit) > 0);
 792         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
 793
 794         my (@types,@forms);
 795         my ($t_filter, $f_filter) = ('','');
 796
 797         if ($args{format}) {
 798                 my ($t, $f) = split '-', $args{format};
 799                 @types = split '', $t;
 800                 @forms = split '', $f;
 801                 if (@types) {
 802                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 803                 }
 804
 805                 if (@forms) {
 806                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 807                 }
 808         }
 809
 810
 811
 812         my $descendants = defined($ou_type) ?
 813                                 "actor.org_unit_descendants($ou, $ou_type)" :
 814                                 "actor.org_unit_descendants($ou)";
 815
 816         my $class = $self->{cdbi};
 817         my $search_table = $class->table;
 818
 819         my $metabib_record_descriptor = metabib::record_descriptor->table;
 820         my $metabib_metarecord = metabib::metarecord->table;
 821         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
 822         my $asset_call_number_table = asset::call_number->table;
 823         my $asset_copy_table = asset::copy->table;
 824         my $cs_table = config::copy_status->table;
 825         my $cl_table = asset::copy_location->table;
 826
 827         my ($index_col) = $class->columns('FTS');
 828         $index_col ||= 'value';
 829
 830         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'f.value', "f.$index_col");
 831
 832         my $fts_where = $fts->sql_where_clause;
 833         my @fts_ranks = $fts->fts_rank;
 834
 835         my $rank = join(' + ', @fts_ranks);
 836
 837         if ($self->api_name !~ /staff/o) {
 838                 $select = <<"           SQL";
 839                         SELECT  m.metarecord,
 840                                 (SUM(   $rank
 841                                         * CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END -- phrase order
 842                                         * CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END -- first word match
 843                                         * CASE WHEN f.value ~* ? THEN 2 ELSE 1 END -- only word match
 844                                 )/COUNT(m.source)),
 845                                 CASE WHEN COUNT(DISTINCT rd.record) = 1 THEN MIN(m.source) ELSE 0 END
 846                         FROM    $search_table f,
 847                                 $metabib_metarecord_source_map_table m,
 848                                 $metabib_metarecord_source_map_table mr,
 849                                 $metabib_record_descriptor rd
 850                         WHERE   $fts_where
 851                                 AND m.source = f.source
 852                                 AND mr.metarecord = m.metarecord
 853                                 AND rd.record = mr.source
 854                                 $t_filter
 855                                 $f_filter
 856                                 AND EXISTS (
 857                                         SELECT  TRUE
 858                                           FROM  $asset_call_number_table cn,
 859                                                 $asset_copy_table cp,
 860                                                 $cs_table cs,
 861                                                 $cl_table cl,
 862                                                 $descendants d
 863                                           WHERE cn.record = mr.source
 864                                                 AND cp.status = cs.id
 865                                                 AND cp.location = cl.id
 866                                                 AND cn.owning_lib = d.id
 867                                                 AND cp.call_number = cn.id
 868                                                 AND cp.opac_visible IS TRUE
 869                                                 AND cs.holdable IS TRUE
 870                                                 AND cl.opac_visible IS TRUE )
 871                         GROUP BY m.metarecord
 872                         ORDER BY 2 DESC, MIN(COALESCE(CHAR_LENGTH(f.value),1))
 873                 SQL
 874         } else {
 875                 $select = <<"           SQL";
 876                         SELECT  m.metarecord,
 877                                 (SUM(   $rank
 878                                         * CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END -- phrase order
 879                                         * CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END -- first word match
 880                                         * CASE WHEN f.value ~* ? THEN 2 ELSE 1 END -- only word match
 881                                 )/COUNT(m.source)),
 882                                 CASE WHEN COUNT(DISTINCT rd.record) = 1 THEN MIN(m.source) ELSE 0 END
 883                         FROM    $search_table f,
 884                                 $metabib_metarecord_source_map_table m,
 885                                 $metabib_metarecord_source_map_table mr,
 886                                 $metabib_record_descriptor rd
 887                         WHERE   $fts_where
 888                                 AND m.source = f.source
 889                                 AND m.metarecord = mr.metarecord
 890                                 AND rd.record = m.source
 891                                 $t_filter
 892                                 $f_filter
 893                         GROUP BY m.metarecord
 894                         ORDER BY 2 DESC, MIN(COALESCE(CHAR_LENGTH(f.value),1))
 895                 SQL
 896         }
 897
 898         $log->debug("Field Search SQL :: [$select]",DEBUG);
 899
 900         my $SQLstring = join('%',$fts->words);
 901         my $REstring = join('\\s+',$fts->words);
 902         my $first_word = ($fts->words)[0].'%';
 903         my $recs = ($self->api_name =~ /unordered/o) ?
 904                         $class->db_Main->selectall_arrayref($select, {}, @types, @forms) :
 905                         $class->db_Main->selectall_arrayref($select, {},
 906                                 '%'.lc($SQLstring).'%',                 # phrase order match
 907                                 lc($first_word),                        # first word match
 908                                 '^\\s*'.lc($REstring).'\\s*/?\s*$',     # full exact match
 909                                 @types, @forms
 910                         );
 911
 912         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
 913
 914         my $count = scalar(@$recs);
 915         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
 916                 my ($mrid,$rank,$skip) = @$rec;
 917                 $client->respond( [$mrid, sprintf('%0.3f',$rank), $skip, $count] );
 918         }
 919         return undef;
 920 }
 921
 922 for my $class ( qw/title author subject keyword series/ ) {
 923         __PACKAGE__->register_method(
 924                 api_name        => "open-ils.storage.metabib.$class.new_search_fts.metarecord",
 925                 method          => 'new_search_class_fts',
 926                 api_level       => 1,
 927                 stream          => 1,
 928                 cdbi            => "metabib::${class}_field_entry",
 929                 cachable        => 1,
 930         );
 931         __PACKAGE__->register_method(
 932                 api_name        => "open-ils.storage.metabib.$class.new_search_fts.metarecord.staff",
 933                 method          => 'new_search_class_fts',
 934                 api_level       => 1,
 935                 stream          => 1,
 936                 cdbi            => "metabib::${class}_field_entry",
 937                 cachable        => 1,
 938         );
 939 }
 940
 941
 942
 943
 944 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
 945 sub postfilter_search_class_fts {
 946         my $self = shift;
 947         my $client = shift;
 948         my %args = @_;
 949
 950         my $term = $args{term};
 951         my $ou = $args{org_unit};
 952         my $ou_type = $args{depth};
 953         my $limit = $args{limit};
 954         my $offset = $args{offset} || 0;
 955
 956         my $outer_limit = 1000;
 957
 958         my $limit_clause = '';
 959         my $offset_clause = '';
 960
 961         $limit_clause = "LIMIT $outer_limit";
 962         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
 963
 964         my (@types,@forms);
 965         my ($t_filter, $f_filter) = ('','');
 966         my ($ot_filter, $of_filter) = ('','');
 967
 968         if ($args{format}) {
 969                 my ($t, $f) = split '-', $args{format};
 970                 @types = split '', $t;
 971                 @forms = split '', $f;
 972                 if (@types) {
 973                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 974                         $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
 975                 }
 976
 977                 if (@forms) {
 978                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 979                         $of_filter .= ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
 980                 }
 981         }
 982
 983
 984
 985         my $descendants = defined($ou_type) ?
 986                                 "actor.org_unit_descendants($ou, $ou_type)" :
 987                                 "actor.org_unit_descendants($ou)";
 988
 989         my $class = $self->{cdbi};
 990         my $search_table = $class->table;
 991
 992         my $metabib_record_descriptor = metabib::record_descriptor->table;
 993         my $metabib_metarecord = metabib::metarecord->table;
 994         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
 995         my $asset_call_number_table = asset::call_number->table;
 996         my $asset_copy_table = asset::copy->table;
 997         my $cs_table = config::copy_status->table;
 998         my $cl_table = asset::copy_location->table;
 999
1000         my ($index_col) = $class->columns('FTS');
1001         $index_col ||= 'value';
1002
1003         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'f.value', "f.$index_col");
1004
1005         my $fts_where = $fts->sql_where_clause;
1006         my @fts_ranks = $fts->fts_rank;
1007
1008         my $rank = join(' + ', @fts_ranks);
1009
1010         my $select = <<"        SQL";
1011                 SELECT  m.metarecord,
1012                         (SUM(   $rank
1013                                 * CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END -- phrase order
1014                                 * CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END -- first word match
1015                                 * CASE WHEN f.value ~* ? THEN 2 ELSE 1 END -- only word match
1016                         )/COUNT(m.source)),
1017                         CASE WHEN COUNT(DISTINCT rd.record) = 1 THEN MIN(m.source) ELSE 0 END
1018                 FROM    $search_table f,
1019                         $metabib_metarecord_source_map_table m,
1020                         $metabib_metarecord_source_map_table mr,
1021                         $metabib_record_descriptor rd
1022                 WHERE   $fts_where
1023                         AND m.source = f.source
1024                         AND m.metarecord = mr.metarecord
1025                         AND rd.record = f.source
1026                         $t_filter
1027                         $f_filter
1028                 GROUP BY m.metarecord
1029                 ORDER BY 2 DESC, MIN(COALESCE(CHAR_LENGTH(f.value),1))
1030                 LIMIT 10000
1031         SQL
1032
1033         if ($self->api_name !~ /staff/o) {
1034                 $select = <<"           SQL";
1035
1036                         SELECT  DISTINCT s.*
1037                           FROM  $asset_call_number_table cn,
1038                                 $metabib_metarecord_source_map_table mrs,
1039                                 $asset_copy_table cp,
1040                                 $cs_table cs,
1041                                 $cl_table cl,
1042                                 $descendants d,
1043                                 $metabib_record_descriptor ord,
1044                                 ($select) s
1045                           WHERE mrs.metarecord = s.metarecord
1046                                 AND cn.record = mrs.source
1047                                 AND cp.status = cs.id
1048                                 AND cp.location = cl.id
1049                                 AND cn.owning_lib = d.id
1050                                 AND cp.call_number = cn.id
1051                                 AND cp.opac_visible IS TRUE
1052                                 AND cs.holdable IS TRUE
1053                                 AND cl.opac_visible IS TRUE
1054                                 AND ord.record = mrs.source
1055                                 $ot_filter
1056                                 $of_filter
1057                           ORDER BY 2 DESC
1058                 SQL
1059         }
1060
1061
1062         $log->debug("Field Search SQL :: [$select]",DEBUG);
1063
1064         my $SQLstring = join('%',$fts->words);
1065         my $REstring = join('\\s+',$fts->words);
1066         my $first_word = ($fts->words)[0].'%';
1067         my $recs = $class->db_Main->selectall_arrayref(
1068                         $select, {},
1069                         '%'.lc($SQLstring).'%',                 # phrase order match
1070                         lc($first_word),                        # first word match
1071                         '^\\s*'.lc($REstring).'\\s*/?\s*$',     # full exact match
1072                         @types, @forms,  ($self->api_name !~ /staff/o ? (@types, @forms) : () ) );
1073
1074         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
1075
1076         my $count = scalar(@$recs);
1077         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
1078                 my ($mrid,$rank,$skip) = @$rec;
1079                 $client->respond( [$mrid, sprintf('%0.3f',$rank), $skip, $count] );
1080         }
1081         return undef;
1082 }
1083
1084 for my $class ( qw/title author subject keyword series/ ) {
1085         __PACKAGE__->register_method(
1086                 api_name        => "open-ils.storage.metabib.$class.post_filter.search_fts.metarecord",
1087                 method          => 'postfilter_search_class_fts',
1088                 api_level       => 1,
1089                 stream          => 1,
1090                 cdbi            => "metabib::${class}_field_entry",
1091                 cachable        => 1,
1092         );
1093         __PACKAGE__->register_method(
1094                 api_name        => "open-ils.storage.metabib.$class.post_filter.search_fts.metarecord.staff",
1095                 method          => 'postfilter_search_class_fts',
1096                 api_level       => 1,
1097                 stream          => 1,
1098                 cdbi            => "metabib::${class}_field_entry",
1099                 cachable        => 1,
1100         );
1101 }
1102
1103
1104
1105 my $_cdbi = {   title   => "metabib::title_field_entry",
1106                 author  => "metabib::author_field_entry",
1107                 subject => "metabib::subject_field_entry",
1108                 keyword => "metabib::keyword_field_entry",
1109                 series  => "metabib::series_field_entry",
1110 };
1111
1112 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
1113 sub postfilter_search_multi_class_fts {
1114         my $self = shift;
1115         my $client = shift;
1116         my %args = @_;
1117
1118         my $ou = $args{org_unit};
1119         my $ou_type = $args{depth};
1120         my $limit = $args{limit};
1121         my $offset = $args{offset} || 0;
1122
1123         my $outer_limit = 1000;
1124
1125         my $limit_clause = '';
1126         my $offset_clause = '';
1127
1128         $limit_clause = "LIMIT $outer_limit";
1129         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
1130
1131         my (@types,@forms);
1132         my ($t_filter, $f_filter) = ('','');
1133         my ($ot_filter, $of_filter) = ('','');
1134
1135         if ($args{format}) {
1136                 my ($t, $f) = split '-', $args{format};
1137                 @types = split '', $t;
1138                 @forms = split '', $f;
1139                 if (@types) {
1140                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1141                         $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1142                 }
1143
1144                 if (@forms) {
1145                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1146                         $of_filter .= ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1147                 }
1148         }
1149
1150
1151
1152         my $descendants = defined($ou_type) ?
1153                                 "actor.org_unit_descendants($ou, $ou_type)" :
1154                                 "actor.org_unit_descendants($ou)";
1155
1156         my $search_table_list = '';
1157         my $fts_list = '';
1158         my $join_table_list = '';
1159         my $rank_list = '';
1160
1161         my $prev_search_class;
1162         my $curr_search_class;
1163         for my $search_class (sort keys %{$args{searches}}) {
1164                 $prev_search_class = $curr_search_class if ($curr_search_class);
1165
1166                 $curr_search_class = $search_class;
1167
1168                 my $class = $_cdbi->{$search_class};
1169                 my $search_table = $class->table;
1170
1171                 my ($index_col) = $class->columns('FTS');
1172                 $index_col ||= 'value';
1173
1174
1175                 my $fts = OpenILS::Application::Storage::FTS->compile($args{searches}{$search_class}{term}, $search_class.'.value', "$search_class.$index_col");
1176
1177                 my $fts_where = $fts->sql_where_clause;
1178                 my @fts_ranks = $fts->fts_rank;
1179
1180                 my $rank = join(' + ', @fts_ranks);
1181
1182                 #---------------------
1183
1184                 $search_table_list .= "$search_table $search_class, ";
1185                 $rank_list .= " $rank +";
1186                 $fts_list .= " AND $fts_where AND m.source = $search_class.source";
1187
1188                 if ($prev_search_class) {
1189                         $join_table_list .= " AND $prev_search_class.source = $curr_search_class.source";
1190                 }
1191         }
1192
1193         chop $rank_list; # bleh ... ugly, ugly
1194
1195         my $metabib_record_descriptor = metabib::record_descriptor->table;
1196         my $metabib_metarecord = metabib::metarecord->table;
1197         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
1198         my $asset_call_number_table = asset::call_number->table;
1199         my $asset_copy_table = asset::copy->table;
1200         my $cs_table = config::copy_status->table;
1201         my $cl_table = asset::copy_location->table;
1202
1203
1204         my $select = <<"        SQL";
1205                 SELECT  m.metarecord,
1206                         SUM( $rank_list ),
1207                         CASE WHEN COUNT(DISTINCT rd.record) = 1 THEN MIN(m.source) ELSE 0 END
1208                 FROM    $search_table_list
1209                         $metabib_metarecord_source_map_table m,
1210                         $metabib_metarecord_source_map_table mr,
1211                         $metabib_record_descriptor rd
1212                 WHERE   m.metarecord = mr.metarecord
1213                         $fts_list
1214                         $join_table_list
1215                         AND rd.record = m.source
1216                         $t_filter
1217                         $f_filter
1218                 GROUP BY m.metarecord
1219                 ORDER BY 2 DESC
1220                 LIMIT 10000
1221         SQL
1222
1223         if ($self->api_name !~ /staff/o) {
1224                 $select = <<"           SQL";
1225
1226                         SELECT  DISTINCT s.*
1227                           FROM  $asset_call_number_table cn,
1228                                 $metabib_metarecord_source_map_table mrs,
1229                                 $asset_copy_table cp,
1230                                 $cs_table cs,
1231                                 $cl_table cl,
1232                                 $descendants d,
1233                                 $metabib_record_descriptor ord,
1234                                 ($select) s
1235                           WHERE mrs.metarecord = s.metarecord
1236                                 AND cn.record = mrs.source
1237                                 AND cp.status = cs.id
1238                                 AND cp.location = cl.id
1239                                 AND cn.owning_lib = d.id
1240                                 AND cp.call_number = cn.id
1241                                 AND cp.opac_visible IS TRUE
1242                                 AND cs.holdable IS TRUE
1243                                 AND cl.opac_visible IS TRUE
1244                                 AND ord.record = mrs.source
1245                                 $ot_filter
1246                                 $of_filter
1247                           ORDER BY 2 DESC
1248                 SQL
1249         }
1250
1251
1252         $log->debug("Field Search SQL :: [$select]",DEBUG);
1253
1254         my $recs = $_cdbi->{title}->db_Main->selectall_arrayref(
1255                         $select, {},
1256                         @types, @forms,  ($self->api_name !~ /staff/o ? (@types, @forms) : () ) );
1257
1258         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
1259
1260         my $count = scalar(@$recs);
1261         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
1262                 next unless ($$rec[0]);
1263                 my ($mrid,$rank,$skip) = @$rec;
1264                 $client->respond( [$mrid, sprintf('%0.3f',$rank), $skip, $count] );
1265         }
1266         return undef;
1267 }
1268
1269 __PACKAGE__->register_method(
1270         api_name        => "open-ils.storage.metabib.post_filter.multiclass.search_fts.metarecord",
1271         method          => 'postfilter_search_multi_class_fts',
1272         api_level       => 1,
1273         stream          => 1,
1274         cachable        => 1,
1275 );
1276 __PACKAGE__->register_method(
1277         api_name        => "open-ils.storage.metabib.post_filter.multiclass.search_fts.metarecord.staff",
1278         method          => 'postfilter_search_multi_class_fts',
1279         api_level       => 1,
1280         stream          => 1,
1281         cachable        => 1,
1282 );
1283
1284
1285
1286 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
1287 sub postfilter_Z_search_class_fts {
1288         my $self = shift;
1289         my $client = shift;
1290         my %args = @_;
1291
1292         my $term = $args{term};
1293         #my $ou = $args{org_unit};
1294         #my $ou_type = $args{depth};
1295         my $limit = $args{limit} || 10;
1296         my $offset = $args{offset} || 0;
1297
1298         my (@types,@forms);
1299         my ($t_filter, $f_filter) = ('','');
1300         my ($ot_filter, $of_filter) = ('','');
1301
1302         if ($args{format}) {
1303                 my ($t, $f) = split '-', $args{format};
1304                 @types = split '', $t;
1305                 @forms = split '', $f;
1306                 if (@types) {
1307                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1308                         $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1309                 }
1310
1311                 if (@forms) {
1312                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1313                         $of_filter .= ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1314                 }
1315         }
1316
1317
1318
1319         #my $descendants = defined($ou_type) ?
1320         #                       "actor.org_unit_descendants($ou, $ou_type)" :
1321         #                       "actor.org_unit_descendants($ou)";
1322
1323         my $class = $self->{cdbi};
1324         my $search_table = $class->table;
1325         my $metabib_record_descriptor = metabib::record_descriptor->table;
1326
1327         my ($index_col) = $class->columns('FTS');
1328         $index_col ||= 'value';
1329
1330         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'f.value', "f.$index_col");
1331
1332         my $fts_where = $fts->sql_where_clause;
1333         my @fts_ranks = $fts->fts_rank;
1334
1335         my $rank = join(' + ', @fts_ranks);
1336
1337         my $select = <<"        SQL";
1338                 SELECT  f.source,
1339                         SUM(    $rank
1340                                 * CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END -- phrase order
1341                                 * CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END -- first word match
1342                                 * CASE WHEN f.value ~* ? THEN 2 ELSE 1 END -- only word match
1343                         )
1344                 FROM    $search_table f,
1345                         $metabib_record_descriptor rd
1346                 WHERE   $fts_where
1347                         AND rd.record = f.source
1348                         $t_filter
1349                         $f_filter
1350                 GROUP BY 1
1351                 ORDER BY 2 DESC, MIN(COALESCE(CHAR_LENGTH(f.value),1))
1352         SQL
1353
1354
1355         $log->debug("Z39.50 Search SQL :: [$select]",DEBUG);
1356
1357         my $SQLstring = join('%',$fts->words);
1358         my $REstring = join('\\s+',$fts->words);
1359         my $first_word = ($fts->words)[0].'%';
1360         my $recs =
1361                 $class->db_Main->selectall_arrayref(
1362                         $select, {},
1363                         '%'.lc($SQLstring).'%',                 # phrase order match
1364                         lc($first_word),                        # first word match
1365                         '^\\s*'.lc($REstring).'\\s*/?\s*$',     # full exact match
1366                         @types, @forms
1367                 );
1368
1369         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
1370
1371         my $count = scalar(@$recs);
1372         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
1373                 next unless ($rec);
1374                 my ($mrid,$rank) = @$rec;
1375                 $client->respond( [$mrid, sprintf('%0.3f',$rank), $count] );
1376         }
1377         return undef;
1378 }
1379
1380 for my $class ( qw/title author subject keyword series/ ) {
1381         __PACKAGE__->register_method(
1382                 api_name        => "open-ils.storage.metabib.$class.Zsearch",
1383                 method          => 'postfilter_Z_search_class_fts',
1384                 api_level       => 1,
1385                 stream          => 1,
1386                 cdbi            => "metabib::${class}_field_entry",
1387                 cachable        => 1,
1388         );
1389 }
1390
1391
1392 1;