Open-ILS/src/perlmods/OpenILS/Application/Storage/Publisher/metabib.pm

   1 package OpenILS::Application::Storage::Publisher::metabib;
   2 use base qw/OpenILS::Application::Storage::Publisher/;
   3 use vars qw/$VERSION/;
   4 use OpenSRF::EX qw/:try/;
   5 use OpenILS::Application::Storage::FTS;
   6 use OpenILS::Utils::Fieldmapper;
   7 use OpenSRF::Utils::Logger qw/:level/;
   8 use OpenSRF::Utils::Cache;
   9 use Data::Dumper;
  10 use Digest::MD5 qw/md5_hex/;
  11
  12
  13 my $log = 'OpenSRF::Utils::Logger';
  14
  15 $VERSION = 1;
  16
  17 # need to order record IDs by:
  18 #  1) format - text, movie, sound, software, images, maps, mixed, music, 3d
  19 #  2) proximity --- XXX Can't do it cheap...
  20 #  3) count
  21 sub ordered_records_from_metarecord {
  22         my $self = shift;
  23         my $client = shift;
  24         my $mr = shift;
  25         my $formats = shift;
  26
  27         my (@types,@forms);
  28
  29         if ($formats) {
  30                 my ($t, $f) = split '-', $formats;
  31                 @types = split '', $t;
  32                 @forms = split '', $f;
  33         }
  34
  35         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
  36         $copies_visible = '' if ($self->api_name =~ /staff/o);
  37
  38         my $sm_table = metabib::metarecord_source_map->table;
  39         my $rd_table = metabib::record_descriptor->table;
  40         my $cn_table = asset::call_number->table;
  41         my $cl_table = asset::copy_location->table;
  42         my $cp_table = asset::copy->table;
  43         my $cs_table = config::copy_status->table;
  44         my $out_table = actor::org_unit_type->table;
  45
  46         my $sql = <<"   SQL";
  47          SELECT *
  48            FROM (
  49                 SELECT  rd.record,
  50                         rd.item_type,
  51                         rd.item_form,
  52         SQL
  53
  54         if ($copies_visible) {
  55                 $sql .= <<"             SQL";
  56                         sum((SELECT     count(cp.id)
  57                                FROM     $cp_table cp
  58                                         JOIN $cs_table cs ON (cp.status = cs.id)
  59                                         JOIN $cl_table cl ON (cp.location = cl.id)
  60                                WHERE    cn.id = cp.call_number
  61                                         $copies_visible
  62                           )) AS count
  63                 SQL
  64         } else {
  65                 $sql .= '0 AS count';
  66         }
  67
  68         if ($copies_visible) {
  69                 $sql .= <<"             SQL";
  70                   FROM  $cn_table cn,
  71                         $sm_table sm,
  72                         $rd_table rd
  73                   WHERE rd.record = sm.source
  74                         AND cn.record = rd.record
  75                         AND sm.metarecord = ?
  76                 SQL
  77         } else {
  78                 $sql .= <<"             SQL";
  79                   FROM  $sm_table sm,
  80                         $rd_table rd
  81                   WHERE rd.record = sm.source
  82                         AND sm.metarecord = ?
  83                 SQL
  84         }
  85
  86         $sql .= <<"     SQL";
  87                   GROUP BY rd.record, rd.item_type, rd.item_form
  88                   ORDER BY
  89                         CASE
  90                                 WHEN rd.item_type IS NULL -- default
  91                                         THEN 0
  92                                 WHEN rd.item_type = '' -- default
  93                                         THEN 0
  94                                 WHEN rd.item_type IN ('a','t') -- books
  95                                         THEN 1
  96                                 WHEN rd.item_type = 'g' -- movies
  97                                         THEN 2
  98                                 WHEN rd.item_type IN ('i','j') -- sound recordings
  99                                         THEN 3
 100                                 WHEN rd.item_type = 'm' -- software
 101                                         THEN 4
 102                                 WHEN rd.item_type = 'k' -- images
 103                                         THEN 5
 104                                 WHEN rd.item_type IN ('e','f') -- maps
 105                                         THEN 6
 106                                 WHEN rd.item_type IN ('o','p') -- mixed
 107                                         THEN 7
 108                                 WHEN rd.item_type IN ('c','d') -- music
 109                                         THEN 8
 110                                 WHEN rd.item_type = 'r' -- 3d
 111                                         THEN 9
 112                         END,
 113                         count DESC
 114                 ) x
 115         SQL
 116
 117         if ($copies_visible) {
 118                 $sql .= ' WHERE x.count > 0'
 119         }
 120
 121         if (@types) {
 122                 $sql .= ' AND x.item_type IN ('.join(',',map{'?'}@types).')';
 123         }
 124
 125         if (@forms) {
 126                 $sql .= ' AND x.item_form IN ('.join(',',map{'?'}@forms).')';
 127         }
 128
 129         my $sth = metabib::metarecord_source_map->db_Main->prepare_cached($sql);
 130         $sth->execute("$mr", @types, @forms);
 131         while ( my $row = $sth->fetchrow_arrayref ) {
 132                 $client->respond( $$row[0] );
 133         }
 134         return undef;
 135
 136 }
 137 __PACKAGE__->register_method(
 138         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records',
 139         method          => 'ordered_records_from_metarecord',
 140         api_level       => 1,
 141         stream          => 1,
 142         cachable        => 1,
 143 );
 144 __PACKAGE__->register_method(
 145         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records.staff',
 146         method          => 'ordered_records_from_metarecord',
 147         api_level       => 1,
 148         stream          => 1,
 149         cachable        => 1,
 150 );
 151
 152
 153 sub metarecord_copy_count {
 154         my $self = shift;
 155         my $client = shift;
 156
 157         my %args = @_;
 158
 159         my $sm_table = metabib::metarecord_source_map->table;
 160         my $rd_table = metabib::record_descriptor->table;
 161         my $cn_table = asset::call_number->table;
 162         my $cp_table = asset::copy->table;
 163         my $cl_table = asset::copy_location->table;
 164         my $cs_table = config::copy_status->table;
 165         my $out_table = actor::org_unit_type->table;
 166         my $descendants = "actor.org_unit_descendants(u.id)";
 167         my $ancestors = "actor.org_unit_ancestors(?)";
 168
 169         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 170         $copies_visible = '' if ($self->api_name =~ /staff/o);
 171
 172         my (@types,@forms);
 173         my ($t_filter, $f_filter) = ('','');
 174
 175         if ($args{format}) {
 176                 my ($t, $f) = split '-', $args{format};
 177                 @types = split '', $t;
 178                 @forms = split '', $f;
 179                 if (@types) {
 180                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 181                 }
 182
 183                 if (@forms) {
 184                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 185                 }
 186         }
 187
 188         my $sql = <<"   SQL";
 189                 SELECT  t.depth,
 190                         u.id AS org_unit,
 191                         sum(
 192                                 (SELECT count(cp.id)
 193                                   FROM  $sm_table r
 194                                         JOIN $cn_table cn ON (cn.record = r.source)
 195                                         JOIN $rd_table rd ON (cn.record = rd.record)
 196                                         JOIN $cp_table cp ON (cn.id = cp.call_number)
 197                                         JOIN $cs_table cs ON (cp.status = cs.id)
 198                                         JOIN $cl_table cl ON (cp.location = cl.id)
 199                                         JOIN $descendants a ON (cp.circ_lib = a.id)
 200                                   WHERE r.metarecord = ?
 201                                         $copies_visible
 202                                         $t_filter
 203                                         $f_filter
 204                                 )
 205                         ) AS count,
 206                         sum(
 207                                 (SELECT count(cp.id)
 208                                   FROM  $sm_table r
 209                                         JOIN $cn_table cn ON (cn.record = r.source)
 210                                         JOIN $rd_table rd ON (cn.record = rd.record)
 211                                         JOIN $cp_table cp ON (cn.id = cp.call_number)
 212                                         JOIN $cs_table cs ON (cp.status = cs.id)
 213                                         JOIN $cl_table cl ON (cp.location = cl.id)
 214                                         JOIN $descendants a ON (cp.circ_lib = a.id)
 215                                   WHERE r.metarecord = ?
 216                                         AND cp.status = 0
 217                                         $copies_visible
 218                                         $t_filter
 219                                         $f_filter
 220                                 )
 221                         ) AS available
 222
 223                   FROM  $ancestors u
 224                         JOIN $out_table t ON (u.ou_type = t.id)
 225                   GROUP BY 1,2
 226         SQL
 227
 228         my $sth = metabib::metarecord_source_map->db_Main->prepare_cached($sql);
 229         $sth->execute(  ''.$args{metarecord},
 230                         @types,
 231                         @forms,
 232                         ''.$args{metarecord},
 233                         @types,
 234                         @forms,
 235                         ''.$args{org_unit},
 236         );
 237
 238         while ( my $row = $sth->fetchrow_hashref ) {
 239                 $client->respond( $row );
 240         }
 241         return undef;
 242 }
 243 __PACKAGE__->register_method(
 244         api_name        => 'open-ils.storage.metabib.metarecord.copy_count',
 245         method          => 'metarecord_copy_count',
 246         api_level       => 1,
 247         stream          => 1,
 248         cachable        => 1,
 249 );
 250 __PACKAGE__->register_method(
 251         api_name        => 'open-ils.storage.metabib.metarecord.copy_count.staff',
 252         method          => 'metarecord_copy_count',
 253         api_level       => 1,
 254         stream          => 1,
 255         cachable        => 1,
 256 );
 257
 258 sub multi_search_full_rec {
 259         my $self = shift;
 260         my $client = shift;
 261
 262         my %args = @_;
 263         my $class_join = $args{class_join} || 'AND';
 264         my @binds;
 265         my @selects;
 266
 267         for my $arg (@{ $args{searches} }) {
 268                 my $term = $$arg{term};
 269                 my $limiters = $$arg{restrict};
 270
 271                 my ($index_col) = metabib::full_rec->columns('FTS');
 272                 $index_col ||= 'value';
 273                 my $search_table = metabib::full_rec->table;
 274
 275                 my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
 276
 277                 my $fts_where = $fts->sql_where_clause();
 278                 my @fts_ranks = $fts->fts_rank;
 279
 280                 my $rank = join(' + ', @fts_ranks);
 281
 282                 my @wheres;
 283                 for my $limit (@$limiters) {
 284                         push @wheres, "( tag = ? AND subfield LIKE ? AND $fts_where )";
 285                         push @binds, $$limit{tag}, $$limit{subfield};
 286                         $log->debug("Limiting query using { tag => $$limit{tag}, subfield => $$limit{subfield} }", DEBUG);
 287                 }
 288                 my $where = join(' OR ', @wheres);
 289
 290                 push @selects, "SELECT record, sum($rank) FROM $search_table WHERE $where GROUP BY 1 ORDER BY 2 DESC";
 291
 292         }
 293
 294         my $descendants = defined($args{depth}) ?
 295                                 "actor.org_unit_descendants($args{org_unit}, $args{depth})" :
 296                                 defined($args{depth}) ?
 297                                         "actor.org_unit_descendants($args{org_unit})" :
 298                                         "actor.org_unit";
 299
 300
 301         my $metabib_record_descriptor = metabib::record_descriptor->table;
 302         my $metabib_metarecord = metabib::metarecord->table;
 303         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
 304         my $asset_call_number_table = asset::call_number->table;
 305         my $asset_copy_table = asset::copy->table;
 306         my $cs_table = config::copy_status->table;
 307         my $cl_table = asset::copy_location->table;
 308
 309         my $cj = ''; $cj = 'HAVING COUNT(x.record) > 1' if ($class_join eq 'AND');
 310         my $search_table = '(SELECT x.record, sum(x.sum) FROM (('.join(') UNION ALL (', @selects).")) x GROUP BY 1 $cj )";
 311
 312         my $has_vols = 'AND cn.owning_lib = d.id';
 313         my $has_copies = 'AND cp.call_number = cn.id';
 314         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 315
 316         if ($self->api_name =~ /staff/o) {
 317                 $copies_visible = '';
 318                 $has_copies = '' if ($ou_type == 0);
 319                 $has_vols = '' if ($ou_type == 0);
 320         }
 321
 322         my ($t_filter, $f_filter) = ('','');
 323
 324         if ($args{format}) {
 325                 my ($t, $f) = split '-', $args{format};
 326                 my @types = split '', $t;
 327                 my @forms = split '', $f;
 328                 if (@types) {
 329                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 330                 }
 331
 332                 if (@forms) {
 333                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 334                 }
 335                 push @binds, @types, @forms;
 336         }
 337
 338
 339         if ($copies_visible) {
 340                 $select = <<"           SQL";
 341                         SELECT  m.metarecord, sum(f.sum), count(DISTINCT cp.id), CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
 342                         FROM    $search_table f,
 343                                 $metabib_metarecord_source_map_table m,
 344                                 $asset_call_number_table cn,
 345                                 $asset_copy_table cp,
 346                                 $cs_table cs,
 347                                 $cl_table cl,
 348                                 $metabib_record_descriptor rd,
 349                                 $descendants d
 350                         WHERE   m.source = f.record
 351                                 AND cn.record = m.source
 352                                 AND rd.record = m.source
 353                                 AND cp.status = cs.id
 354                                 AND cp.location = cl.id
 355                                 $has_vols
 356                                 $has_copies
 357                                 $copies_visible
 358                                 $t_filter
 359                                 $f_filter
 360                         GROUP BY m.metarecord HAVING count(DISTINCT cp.id) > 0
 361                         ORDER BY 2 DESC,3 DESC
 362                 SQL
 363         } else {
 364                 $select = <<"           SQL";
 365                         SELECT  m.metarecord, 1, 0, CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
 366                         FROM    $search_table f,
 367                                 $metabib_metarecord_source_map_table m,
 368                                 $metabib_record_descriptor rd
 369                         WHERE   m.source = f.record
 370                                 AND rd.record = m.source
 371                                 $t_filter
 372                                 $f_filter
 373                         GROUP BY 1,2,3
 374                 SQL
 375         }
 376
 377
 378         $log->debug("Search SQL :: [$select]",DEBUG);
 379
 380         my $recs = metabib::full_rec->db_Main->selectall_arrayref("$select;", {}, @binds);
 381         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
 382
 383         $client->respond($_) for (@$recs);
 384         return undef;
 385 }
 386 __PACKAGE__->register_method(
 387         api_name        => 'open-ils.storage.metabib.full_rec.multi_search',
 388         method          => 'multi_search_full_rec',
 389         api_level       => 1,
 390         stream          => 1,
 391         cachable        => 1,
 392 );
 393 __PACKAGE__->register_method(
 394         api_name        => 'open-ils.storage.metabib.full_rec.multi_search.staff',
 395         method          => 'multi_search_full_rec',
 396         api_level       => 1,
 397         stream          => 1,
 398         cachable        => 1,
 399 );
 400
 401 sub search_full_rec {
 402         my $self = shift;
 403         my $client = shift;
 404
 405         my %args = @_;
 406
 407         my $term = $args{term};
 408         my $limiters = $args{restrict};
 409
 410         my ($index_col) = metabib::full_rec->columns('FTS');
 411         $index_col ||= 'value';
 412         my $search_table = metabib::full_rec->table;
 413
 414         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
 415
 416         my $fts_where = $fts->sql_where_clause();
 417         my @fts_ranks = $fts->fts_rank;
 418
 419         my $rank = join(' + ', @fts_ranks);
 420
 421         my @binds;
 422         my @wheres;
 423         for my $limit (@$limiters) {
 424                 push @wheres, "( tag = ? AND subfield LIKE ? AND $fts_where )";
 425                 push @binds, $$limit{tag}, $$limit{subfield};
 426                 $log->debug("Limiting query using { tag => $$limit{tag}, subfield => $$limit{subfield} }", DEBUG);
 427         }
 428         my $where = join(' OR ', @wheres);
 429
 430         my $select = "SELECT record, sum($rank) FROM $search_table WHERE $where GROUP BY 1 ORDER BY 2 DESC;";
 431
 432         $log->debug("Search SQL :: [$select]",DEBUG);
 433
 434         my $recs = metabib::full_rec->db_Main->selectall_arrayref($select, {}, @binds);
 435         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
 436
 437         $client->respond($_) for (@$recs);
 438         return undef;
 439 }
 440 __PACKAGE__->register_method(
 441         api_name        => 'open-ils.storage.direct.metabib.full_rec.search_fts.value',
 442         method          => 'search_full_rec',
 443         api_level       => 1,
 444         stream          => 1,
 445         cachable        => 1,
 446 );
 447 __PACKAGE__->register_method(
 448         api_name        => 'open-ils.storage.direct.metabib.full_rec.search_fts.index_vector',
 449         method          => 'search_full_rec',
 450         api_level       => 1,
 451         stream          => 1,
 452         cachable        => 1,
 453 );
 454
 455
 456 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
 457 sub search_class_fts {
 458         my $self = shift;
 459         my $client = shift;
 460         my %args = @_;
 461
 462         my $term = $args{term};
 463         my $ou = $args{org_unit};
 464         my $ou_type = $args{depth};
 465         my $limit = $args{limit};
 466         my $offset = $args{offset};
 467
 468         my $limit_clause = '';
 469         my $offset_clause = '';
 470
 471         $limit_clause = "LIMIT $limit" if (defined $limit and int($limit) > 0);
 472         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
 473
 474         my (@types,@forms);
 475         my ($t_filter, $f_filter) = ('','');
 476
 477         if ($args{format}) {
 478                 my ($t, $f) = split '-', $args{format};
 479                 @types = split '', $t;
 480                 @forms = split '', $f;
 481                 if (@types) {
 482                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 483                 }
 484
 485                 if (@forms) {
 486                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 487                 }
 488         }
 489
 490
 491
 492         my $descendants = defined($ou_type) ?
 493                                 "actor.org_unit_descendants($ou, $ou_type)" :
 494                                 "actor.org_unit_descendants($ou)";
 495
 496         my $class = $self->{cdbi};
 497         my $search_table = $class->table;
 498
 499         my $metabib_record_descriptor = metabib::record_descriptor->table;
 500         my $metabib_metarecord = metabib::metarecord->table;
 501         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
 502         my $asset_call_number_table = asset::call_number->table;
 503         my $asset_copy_table = asset::copy->table;
 504         my $cs_table = config::copy_status->table;
 505         my $cl_table = asset::copy_location->table;
 506
 507         my ($index_col) = $class->columns('FTS');
 508         $index_col ||= 'value';
 509
 510         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'f.value', "f.$index_col");
 511
 512         my $fts_where = $fts->sql_where_clause;
 513         my @fts_ranks = $fts->fts_rank;
 514
 515         my $rank = join(' + ', @fts_ranks);
 516
 517         my $has_vols = 'AND cn.owning_lib = d.id';
 518         my $has_copies = 'AND cp.call_number = cn.id';
 519         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 520
 521         my $visible_count = ', count(DISTINCT cp.id)';
 522         my $visible_count_test = 'HAVING count(DISTINCT cp.id) > 0';
 523
 524         if ($self->api_name =~ /staff/o) {
 525                 $copies_visible = '';
 526                 $visible_count_test = '';
 527                 $has_copies = '' if ($ou_type == 0);
 528                 $has_vols = '' if ($ou_type == 0);
 529         }
 530
 531         my $rank_calc = <<"     RANK";
 532                 , (SUM( $rank
 533                         * CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END -- phrase order
 534                         * CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END -- first word match
 535                         * CASE WHEN f.value ~* ? THEN 2 ELSE 1 END -- only word match
 536                 )/COUNT(m.source)), MIN(COALESCE(CHAR_LENGTH(f.value),1))
 537         RANK
 538
 539         $rank_calc = ',1 , 1' if ($self->api_name =~ /unordered/o);
 540
 541         if ($copies_visible) {
 542                 $select = <<"           SQL";
 543                         SELECT  m.metarecord $rank_calc $visible_count, CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
 544                         FROM    $search_table f,
 545                                 $metabib_metarecord_source_map_table m,
 546                                 $asset_call_number_table cn,
 547                                 $asset_copy_table cp,
 548                                 $cs_table cs,
 549                                 $cl_table cl,
 550                                 $metabib_record_descriptor rd,
 551                                 $descendants d
 552                         WHERE   $fts_where
 553                                 AND m.source = f.source
 554                                 AND cn.record = m.source
 555                                 AND rd.record = m.source
 556                                 AND cp.status = cs.id
 557                                 AND cp.location = cl.id
 558                                 $has_vols
 559                                 $has_copies
 560                                 $copies_visible
 561                                 $t_filter
 562                                 $f_filter
 563                         GROUP BY 1 $visible_count_test
 564                         ORDER BY 2 DESC,3
 565                         $limit_clause $offset_clause
 566                 SQL
 567         } else {
 568                 $select = <<"           SQL";
 569                         SELECT  m.metarecord $rank_calc, 0, CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
 570                         FROM    $search_table f,
 571                                 $metabib_metarecord_source_map_table m,
 572                                 $metabib_record_descriptor rd
 573                         WHERE   $fts_where
 574                                 AND m.source = f.source
 575                                 AND rd.record = m.source
 576                                 $t_filter
 577                                 $f_filter
 578                         GROUP BY 1, 4
 579                         ORDER BY 2 DESC,3
 580                         $limit_clause $offset_clause
 581                 SQL
 582         }
 583
 584         $log->debug("Field Search SQL :: [$select]",DEBUG);
 585
 586         my $SQLstring = join('%',$fts->words);
 587         my $REstring = join('\\s+',$fts->words);
 588         my $first_word = ($fts->words)[0].'%';
 589         my $recs = ($self->api_name =~ /unordered/o) ?
 590                         $class->db_Main->selectall_arrayref($select, {}, @types, @forms) :
 591                         $class->db_Main->selectall_arrayref($select, {},
 592                                 '%'.lc($SQLstring).'%',                 # phrase order match
 593                                 lc($first_word),                        # first word match
 594                                 '^\\s*'.lc($REstring).'\\s*/?\s*$',     # full exact match
 595                                 @types, @forms
 596                         );
 597
 598         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
 599
 600         $client->respond($_) for (map { [@$_[0,1,3,4]] } @$recs);
 601         return undef;
 602 }
 603
 604 for my $class ( qw/title author subject keyword series/ ) {
 605         __PACKAGE__->register_method(
 606                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord",
 607                 method          => 'search_class_fts',
 608                 api_level       => 1,
 609                 stream          => 1,
 610                 cdbi            => "metabib::${class}_field_entry",
 611                 cachable        => 1,
 612         );
 613         __PACKAGE__->register_method(
 614                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.unordered",
 615                 method          => 'search_class_fts',
 616                 api_level       => 1,
 617                 stream          => 1,
 618                 cdbi            => "metabib::${class}_field_entry",
 619                 cachable        => 1,
 620         );
 621         __PACKAGE__->register_method(
 622                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.staff",
 623                 method          => 'search_class_fts',
 624                 api_level       => 1,
 625                 stream          => 1,
 626                 cdbi            => "metabib::${class}_field_entry",
 627                 cachable        => 1,
 628         );
 629         __PACKAGE__->register_method(
 630                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.staff.unordered",
 631                 method          => 'search_class_fts',
 632                 api_level       => 1,
 633                 stream          => 1,
 634                 cdbi            => "metabib::${class}_field_entry",
 635                 cachable        => 1,
 636         );
 637 }
 638
 639 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
 640 sub search_class_fts_count {
 641         my $self = shift;
 642         my $client = shift;
 643         my %args = @_;
 644
 645         my $term = $args{term};
 646         my $ou = $args{org_unit};
 647         my $ou_type = $args{depth};
 648         my $limit = $args{limit} || 100;
 649         my $offset = $args{offset} || 0;
 650
 651         my $descendants = defined($ou_type) ?
 652                                 "actor.org_unit_descendants($ou, $ou_type)" :
 653                                 "actor.org_unit_descendants($ou)";
 654
 655         my (@types,@forms);
 656         my ($t_filter, $f_filter) = ('','');
 657
 658         if ($args{format}) {
 659                 my ($t, $f) = split '-', $args{format};
 660                 @types = split '', $t;
 661                 @forms = split '', $f;
 662                 if (@types) {
 663                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 664                 }
 665
 666                 if (@forms) {
 667                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 668                 }
 669         }
 670
 671
 672         (my $search_class = $self->api_name) =~ s/.*metabib.(\w+).search_fts.*/$1/o;
 673
 674         my $class = $self->{cdbi};
 675         my $search_table = $class->table;
 676
 677         my $metabib_record_descriptor = metabib::record_descriptor->table;
 678         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
 679         my $asset_call_number_table = asset::call_number->table;
 680         my $asset_copy_table = asset::copy->table;
 681         my $cs_table = config::copy_status->table;
 682         my $cl_table = asset::copy_location->table;
 683
 684         my ($index_col) = $class->columns('FTS');
 685         $index_col ||= 'value';
 686
 687         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
 688
 689         my $fts_where = $fts->sql_where_clause;
 690
 691         my $has_vols = 'AND cn.owning_lib = d.id';
 692         my $has_copies = 'AND cp.call_number = cn.id';
 693         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 694         if ($self->api_name =~ /staff/o) {
 695                 $copies_visible = '';
 696                 $has_vols = '' if ($ou_type == 0);
 697                 $has_copies = '' if ($ou_type == 0);
 698         }
 699
 700         # XXX test an "EXISTS version of descendant checking...
 701         my $select;
 702         if ($copies_visible) {
 703                 $select = <<"           SQL";
 704                 SELECT  count(distinct  m.metarecord)
 705                   FROM  $search_table f,
 706                         $metabib_metarecord_source_map_table m,
 707                         $asset_call_number_table cn,
 708                         $asset_copy_table cp,
 709                         $cs_table cs,
 710                         $cl_table cl,
 711                         $metabib_record_descriptor rd,
 712                         $descendants d
 713                   WHERE $fts_where
 714                         AND m.source = f.source
 715                         AND cn.record = m.source
 716                         AND rd.record = m.source
 717                         AND cp.status = cs.id
 718                         AND cp.location = cl.id
 719                         $has_vols
 720                         $has_copies
 721                         $copies_visible
 722                         $t_filter
 723                         $f_filter
 724                 SQL
 725         } else {
 726                 $select = <<"           SQL";
 727                 SELECT  count(distinct  m.metarecord)
 728                   FROM  $search_table f,
 729                         $metabib_metarecord_source_map_table m,
 730                         $metabib_record_descriptor rd
 731                   WHERE $fts_where
 732                         AND m.source = f.source
 733                         AND rd.record = m.source
 734                         $t_filter
 735                         $f_filter
 736                 SQL
 737         }
 738
 739         $log->debug("Field Search Count SQL :: [$select]",DEBUG);
 740
 741         my $recs = $class->db_Main->selectrow_arrayref($select, {}, @types, @forms)->[0];
 742
 743         $log->debug("Count Search yielded $recs results.",DEBUG);
 744
 745         return $recs;
 746
 747 }
 748 for my $class ( qw/title author subject keyword series/ ) {
 749         __PACKAGE__->register_method(
 750                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord_count",
 751                 method          => 'search_class_fts_count',
 752                 api_level       => 1,
 753                 stream          => 1,
 754                 cdbi            => "metabib::${class}_field_entry",
 755                 cachable        => 1,
 756         );
 757         __PACKAGE__->register_method(
 758                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord_count.staff",
 759                 method          => 'search_class_fts_count',
 760                 api_level       => 1,
 761                 stream          => 1,
 762                 cdbi            => "metabib::${class}_field_entry",
 763                 cachable        => 1,
 764         );
 765 }
 766
 767
 768 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
 769 sub new_search_class_fts {
 770         my $self = shift;
 771         my $client = shift;
 772         my %args = @_;
 773
 774         my $term = $args{term};
 775         my $ou = $args{org_unit};
 776         my $ou_type = $args{depth};
 777         my $limit = $args{limit};
 778         my $offset = $args{offset} || 0;
 779
 780         my $limit_clause = '';
 781         my $offset_clause = '';
 782
 783         $limit_clause = "LIMIT $limit" if (defined $limit and int($limit) > 0);
 784         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
 785
 786         my (@types,@forms);
 787         my ($t_filter, $f_filter) = ('','');
 788
 789         if ($args{format}) {
 790                 my ($t, $f) = split '-', $args{format};
 791                 @types = split '', $t;
 792                 @forms = split '', $f;
 793                 if (@types) {
 794                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 795                 }
 796
 797                 if (@forms) {
 798                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 799                 }
 800         }
 801
 802
 803
 804         my $descendants = defined($ou_type) ?
 805                                 "actor.org_unit_descendants($ou, $ou_type)" :
 806                                 "actor.org_unit_descendants($ou)";
 807
 808         my $class = $self->{cdbi};
 809         my $search_table = $class->table;
 810
 811         my $metabib_record_descriptor = metabib::record_descriptor->table;
 812         my $metabib_metarecord = metabib::metarecord->table;
 813         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
 814         my $asset_call_number_table = asset::call_number->table;
 815         my $asset_copy_table = asset::copy->table;
 816         my $cs_table = config::copy_status->table;
 817         my $cl_table = asset::copy_location->table;
 818
 819         my ($index_col) = $class->columns('FTS');
 820         $index_col ||= 'value';
 821
 822         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'f.value', "f.$index_col");
 823
 824         my $fts_where = $fts->sql_where_clause;
 825         my @fts_ranks = $fts->fts_rank;
 826
 827         my $rank = join(' + ', @fts_ranks);
 828
 829         if ($self->api_name !~ /staff/o) {
 830                 $select = <<"           SQL";
 831                         SELECT  m.metarecord,
 832                                 (SUM(   $rank
 833                                         * CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END -- phrase order
 834                                         * CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END -- first word match
 835                                         * CASE WHEN f.value ~* ? THEN 2 ELSE 1 END -- only word match
 836                                 )/COUNT(m.source)),
 837                                 CASE WHEN COUNT(DISTINCT rd.record) = 1 THEN MIN(m.source) ELSE 0 END
 838                         FROM    $search_table f,
 839                                 $metabib_metarecord_source_map_table m,
 840                                 $metabib_metarecord_source_map_table mr,
 841                                 $metabib_record_descriptor rd
 842                         WHERE   $fts_where
 843                                 AND m.source = f.source
 844                                 AND mr.metarecord = m.metarecord
 845                                 AND rd.record = mr.source
 846                                 $t_filter
 847                                 $f_filter
 848                                 AND EXISTS (
 849                                         SELECT  TRUE
 850                                           FROM  $asset_call_number_table cn,
 851                                                 $asset_copy_table cp,
 852                                                 $cs_table cs,
 853                                                 $cl_table cl,
 854                                                 $descendants d
 855                                           WHERE cn.record = mr.source
 856                                                 AND cp.status = cs.id
 857                                                 AND cp.location = cl.id
 858                                                 AND cn.owning_lib = d.id
 859                                                 AND cp.call_number = cn.id
 860                                                 AND cp.opac_visible IS TRUE
 861                                                 AND cs.holdable IS TRUE
 862                                                 AND cl.opac_visible IS TRUE )
 863                         GROUP BY m.metarecord
 864                         ORDER BY 2 DESC, MIN(COALESCE(CHAR_LENGTH(f.value),1))
 865                 SQL
 866         } else {
 867                 $select = <<"           SQL";
 868                         SELECT  m.metarecord,
 869                                 (SUM(   $rank
 870                                         * CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END -- phrase order
 871                                         * CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END -- first word match
 872                                         * CASE WHEN f.value ~* ? THEN 2 ELSE 1 END -- only word match
 873                                 )/COUNT(m.source)),
 874                                 CASE WHEN COUNT(DISTINCT rd.record) = 1 THEN MIN(m.source) ELSE 0 END
 875                         FROM    $search_table f,
 876                                 $metabib_metarecord_source_map_table m,
 877                                 $metabib_metarecord_source_map_table mr,
 878                                 $metabib_record_descriptor rd
 879                         WHERE   $fts_where
 880                                 AND m.source = f.source
 881                                 AND m.metarecord = mr.metarecord
 882                                 AND rd.record = m.source
 883                                 $t_filter
 884                                 $f_filter
 885                         GROUP BY m.metarecord
 886                         ORDER BY 2 DESC, MIN(COALESCE(CHAR_LENGTH(f.value),1))
 887                 SQL
 888         }
 889
 890         $log->debug("Field Search SQL :: [$select]",DEBUG);
 891
 892         my $SQLstring = join('%',$fts->words);
 893         my $REstring = join('\\s+',$fts->words);
 894         my $first_word = ($fts->words)[0].'%';
 895         my $recs = ($self->api_name =~ /unordered/o) ?
 896                         $class->db_Main->selectall_arrayref($select, {}, @types, @forms) :
 897                         $class->db_Main->selectall_arrayref($select, {},
 898                                 '%'.lc($SQLstring).'%',                 # phrase order match
 899                                 lc($first_word),                        # first word match
 900                                 '^\\s*'.lc($REstring).'\\s*/?\s*$',     # full exact match
 901                                 @types, @forms
 902                         );
 903
 904         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
 905
 906         my $count = scalar(@$recs);
 907         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
 908                 my ($mrid,$rank,$skip) = @$rec;
 909                 $client->respond( [$mrid, sprintf('%0.3f',$rank), $skip, $count] );
 910         }
 911         return undef;
 912 }
 913
 914 for my $class ( qw/title author subject keyword series/ ) {
 915         __PACKAGE__->register_method(
 916                 api_name        => "open-ils.storage.metabib.$class.new_search_fts.metarecord",
 917                 method          => 'new_search_class_fts',
 918                 api_level       => 1,
 919                 stream          => 1,
 920                 cdbi            => "metabib::${class}_field_entry",
 921                 cachable        => 1,
 922         );
 923         __PACKAGE__->register_method(
 924                 api_name        => "open-ils.storage.metabib.$class.new_search_fts.metarecord.staff",
 925                 method          => 'new_search_class_fts',
 926                 api_level       => 1,
 927                 stream          => 1,
 928                 cdbi            => "metabib::${class}_field_entry",
 929                 cachable        => 1,
 930         );
 931 }
 932
 933
 934
 935
 936 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
 937 sub postfilter_search_class_fts {
 938         my $self = shift;
 939         my $client = shift;
 940         my %args = @_;
 941
 942         my $term = $args{term};
 943         my $ou = $args{org_unit};
 944         my $ou_type = $args{depth};
 945         my $limit = $args{limit};
 946         my $offset = $args{offset} || 0;
 947
 948         my $outer_limit = 1000;
 949
 950         my $limit_clause = '';
 951         my $offset_clause = '';
 952
 953         $limit_clause = "LIMIT $outer_limit";
 954         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
 955
 956         my (@types,@forms);
 957         my ($t_filter, $f_filter) = ('','');
 958         my ($ot_filter, $of_filter) = ('','');
 959
 960         if ($args{format}) {
 961                 my ($t, $f) = split '-', $args{format};
 962                 @types = split '', $t;
 963                 @forms = split '', $f;
 964                 if (@types) {
 965                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 966                         $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
 967                 }
 968
 969                 if (@forms) {
 970                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 971                         $of_filter .= ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
 972                 }
 973         }
 974
 975
 976
 977         my $descendants = defined($ou_type) ?
 978                                 "actor.org_unit_descendants($ou, $ou_type)" :
 979                                 "actor.org_unit_descendants($ou)";
 980
 981         my $class = $self->{cdbi};
 982         my $search_table = $class->table;
 983
 984         my $metabib_record_descriptor = metabib::record_descriptor->table;
 985         my $metabib_metarecord = metabib::metarecord->table;
 986         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
 987         my $asset_call_number_table = asset::call_number->table;
 988         my $asset_copy_table = asset::copy->table;
 989         my $cs_table = config::copy_status->table;
 990         my $cl_table = asset::copy_location->table;
 991
 992         my ($index_col) = $class->columns('FTS');
 993         $index_col ||= 'value';
 994
 995         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'f.value', "f.$index_col");
 996
 997         my $fts_where = $fts->sql_where_clause;
 998         my @fts_ranks = $fts->fts_rank;
 999
1000         my $rank = join(' + ', @fts_ranks);
1001
1002         my $select = <<"        SQL";
1003                 SELECT  m.metarecord,
1004                         (SUM(   $rank
1005                                 * CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END -- phrase order
1006                                 * CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END -- first word match
1007                                 * CASE WHEN f.value ~* ? THEN 2 ELSE 1 END -- only word match
1008                         )/COUNT(m.source)),
1009                         CASE WHEN COUNT(DISTINCT rd.record) = 1 THEN MIN(m.source) ELSE 0 END
1010                 FROM    $search_table f,
1011                         $metabib_metarecord_source_map_table m,
1012                         $metabib_metarecord_source_map_table mr,
1013                         $metabib_record_descriptor rd
1014                 WHERE   $fts_where
1015                         AND m.source = f.source
1016                         AND m.metarecord = mr.metarecord
1017                         AND rd.record = f.source
1018                         $t_filter
1019                         $f_filter
1020                 GROUP BY m.metarecord
1021                 ORDER BY 2 DESC, MIN(COALESCE(CHAR_LENGTH(f.value),1))
1022                 LIMIT 10000
1023         SQL
1024
1025         if ($self->api_name !~ /staff/o) {
1026                 $select = <<"           SQL";
1027
1028                         SELECT  DISTINCT s.*
1029                           FROM  $asset_call_number_table cn,
1030                                 $metabib_metarecord_source_map_table mrs,
1031                                 $asset_copy_table cp,
1032                                 $cs_table cs,
1033                                 $cl_table cl,
1034                                 $descendants d,
1035                                 $metabib_record_descriptor ord,
1036                                 ($select) s
1037                           WHERE mrs.metarecord = s.metarecord
1038                                 AND cn.record = mrs.source
1039                                 AND cp.status = cs.id
1040                                 AND cp.location = cl.id
1041                                 AND cn.owning_lib = d.id
1042                                 AND cp.call_number = cn.id
1043                                 AND cp.opac_visible IS TRUE
1044                                 AND cs.holdable IS TRUE
1045                                 AND cl.opac_visible IS TRUE
1046                                 AND ord.record = mrs.source
1047                                 $ot_filter
1048                                 $of_filter
1049                           ORDER BY 2 DESC
1050                 SQL
1051         }
1052
1053
1054         $log->debug("Field Search SQL :: [$select]",DEBUG);
1055
1056         my $SQLstring = join('%',$fts->words);
1057         my $REstring = join('\\s+',$fts->words);
1058         my $first_word = ($fts->words)[0].'%';
1059         my $recs = $class->db_Main->selectall_arrayref(
1060                         $select, {},
1061                         '%'.lc($SQLstring).'%',                 # phrase order match
1062                         lc($first_word),                        # first word match
1063                         '^\\s*'.lc($REstring).'\\s*/?\s*$',     # full exact match
1064                         @types, @forms,  @types, @forms );
1065
1066         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
1067
1068         my $count = scalar(@$recs);
1069         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
1070                 my ($mrid,$rank,$skip) = @$rec;
1071                 $client->respond( [$mrid, sprintf('%0.3f',$rank), $skip, $count] );
1072         }
1073         return undef;
1074 }
1075
1076 for my $class ( qw/title author subject keyword series/ ) {
1077         __PACKAGE__->register_method(
1078                 api_name        => "open-ils.storage.metabib.$class.post_filter.search_fts.metarecord",
1079                 method          => 'postfilter_search_class_fts',
1080                 api_level       => 1,
1081                 stream          => 1,
1082                 cdbi            => "metabib::${class}_field_entry",
1083                 cachable        => 1,
1084         );
1085         __PACKAGE__->register_method(
1086                 api_name        => "open-ils.storage.metabib.$class.post_filter.search_fts.metarecord.staff",
1087                 method          => 'postfilter_search_class_fts',
1088                 api_level       => 1,
1089                 stream          => 1,
1090                 cdbi            => "metabib::${class}_field_entry",
1091                 cachable        => 1,
1092         );
1093 }
1094
1095
1096 my $_cdbi = {   title   => "metabib::title_field_entry",
1097                 author  => "metabib::author_field_entry",
1098                 subject => "metabib::subject_field_entry",
1099                 keyword => "metabib::keyword_field_entry",
1100                 series  => "metabib::series_field_entry",
1101 };
1102
1103
1104
1105 1;