Open-ILS/src/perlmods/OpenILS/Application/Storage/Publisher/metabib.pm

   1 package OpenILS::Application::Storage::Publisher::metabib;
   2 use base qw/OpenILS::Application::Storage::Publisher/;
   3 use vars qw/$VERSION/;
   4 use OpenSRF::EX qw/:try/;
   5 use OpenILS::Application::Storage::FTS;
   6 use OpenILS::Utils::Fieldmapper;
   7 use OpenSRF::Utils::Logger qw/:level/;
   8 use OpenSRF::Utils::Cache;
   9 use Data::Dumper;
  10 use Digest::MD5 qw/md5_hex/;
  11
  12
  13 my $log = 'OpenSRF::Utils::Logger';
  14
  15 $VERSION = 1;
  16
  17 # need to order record IDs by:
  18 #  1) format - text, movie, sound, software, images, maps, mixed, music, 3d
  19 #  2) proximity --- XXX Can't do it cheap...
  20 #  3) count
  21 sub ordered_records_from_metarecord {
  22         my $self = shift;
  23         my $client = shift;
  24         my $mr = shift;
  25         my $formats = shift;
  26
  27         my (@types,@forms);
  28
  29         if ($formats) {
  30                 my ($t, $f) = split '-', $formats;
  31                 @types = split '', $t;
  32                 @forms = split '', $f;
  33         }
  34
  35         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
  36         $copies_visible = '' if ($self->api_name =~ /staff/o);
  37
  38         my $sm_table = metabib::metarecord_source_map->table;
  39         my $rd_table = metabib::record_descriptor->table;
  40         my $cn_table = asset::call_number->table;
  41         my $cl_table = asset::copy_location->table;
  42         my $cp_table = asset::copy->table;
  43         my $cs_table = config::copy_status->table;
  44         my $out_table = actor::org_unit_type->table;
  45
  46         my $sql = <<"   SQL";
  47          SELECT *
  48            FROM (
  49                 SELECT  rd.record,
  50                         rd.item_type,
  51                         rd.item_form,
  52         SQL
  53
  54         if ($copies_visible) {
  55                 $sql .= <<"             SQL";
  56                         sum((SELECT     count(cp.id)
  57                                FROM     $cp_table cp
  58                                         JOIN $cs_table cs ON (cp.status = cs.id)
  59                                         JOIN $cl_table cl ON (cp.location = cl.id)
  60                                WHERE    cn.id = cp.call_number
  61                                         $copies_visible
  62                           )) AS count
  63                 SQL
  64         } else {
  65                 $sql .= '0 AS count';
  66         }
  67
  68         if ($copies_visible) {
  69                 $sql .= <<"             SQL";
  70                   FROM  $cn_table cn,
  71                         $sm_table sm,
  72                         $rd_table rd
  73                   WHERE rd.record = sm.source
  74                         AND cn.record = rd.record
  75                         AND sm.metarecord = ?
  76                 SQL
  77         } else {
  78                 $sql .= <<"             SQL";
  79                   FROM  $sm_table sm,
  80                         $rd_table rd
  81                   WHERE rd.record = sm.source
  82                         AND sm.metarecord = ?
  83                 SQL
  84         }
  85
  86         $sql .= <<"     SQL";
  87                   GROUP BY rd.record, rd.item_type, rd.item_form
  88                   ORDER BY
  89                         CASE
  90                                 WHEN rd.item_type IS NULL -- default
  91                                         THEN 0
  92                                 WHEN rd.item_type = '' -- default
  93                                         THEN 0
  94                                 WHEN rd.item_type IN ('a','t') -- books
  95                                         THEN 1
  96                                 WHEN rd.item_type = 'g' -- movies
  97                                         THEN 2
  98                                 WHEN rd.item_type IN ('i','j') -- sound recordings
  99                                         THEN 3
 100                                 WHEN rd.item_type = 'm' -- software
 101                                         THEN 4
 102                                 WHEN rd.item_type = 'k' -- images
 103                                         THEN 5
 104                                 WHEN rd.item_type IN ('e','f') -- maps
 105                                         THEN 6
 106                                 WHEN rd.item_type IN ('o','p') -- mixed
 107                                         THEN 7
 108                                 WHEN rd.item_type IN ('c','d') -- music
 109                                         THEN 8
 110                                 WHEN rd.item_type = 'r' -- 3d
 111                                         THEN 9
 112                         END,
 113                         count DESC
 114                 ) x
 115         SQL
 116
 117         if ($copies_visible) {
 118                 $sql .= ' WHERE x.count > 0'
 119         }
 120
 121         if (@types) {
 122                 $sql .= ' AND x.item_type IN ('.join(',',map{'?'}@types).')';
 123         }
 124
 125         if (@forms) {
 126                 $sql .= ' AND x.item_form IN ('.join(',',map{'?'}@forms).')';
 127         }
 128
 129         my $sth = metabib::metarecord_source_map->db_Main->prepare_cached($sql);
 130         $sth->execute("$mr", @types, @forms);
 131         while ( my $row = $sth->fetchrow_arrayref ) {
 132                 $client->respond( $$row[0] );
 133         }
 134         return undef;
 135
 136 }
 137 __PACKAGE__->register_method(
 138         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records',
 139         method          => 'ordered_records_from_metarecord',
 140         api_level       => 1,
 141         stream          => 1,
 142         cachable        => 1,
 143 );
 144 __PACKAGE__->register_method(
 145         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records.staff',
 146         method          => 'ordered_records_from_metarecord',
 147         api_level       => 1,
 148         stream          => 1,
 149         cachable        => 1,
 150 );
 151
 152
 153 sub metarecord_copy_count {
 154         my $self = shift;
 155         my $client = shift;
 156
 157         my %args = @_;
 158
 159         my $sm_table = metabib::metarecord_source_map->table;
 160         my $cn_table = asset::call_number->table;
 161         my $cp_table = asset::copy->table;
 162         my $cl_table = asset::copy_location->table;
 163         my $cs_table = config::copy_status->table;
 164         my $out_table = actor::org_unit_type->table;
 165         my $descendants = "actor.org_unit_descendants(u.id)";
 166         my $ancestors = "actor.org_unit_ancestors(?)";
 167
 168         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 169         $copies_visible = '' if ($self->api_name =~ /staff/o);
 170
 171         my $sql = <<"   SQL";
 172                 SELECT  t.depth,
 173                         u.id AS org_unit,
 174                         sum(
 175                                 (SELECT count(cp.id)
 176                                   FROM  $sm_table r
 177                                         JOIN $cn_table cn ON (cn.record = r.source)
 178                                         JOIN $cp_table cp ON (cn.id = cp.call_number)
 179                                         JOIN $cs_table cs ON (cp.status = cs.id)
 180                                         JOIN $cl_table cl ON (cp.location = cl.id)
 181                                         JOIN $descendants a ON (cp.circ_lib = a.id)
 182                                   WHERE r.metarecord = ?
 183                                         $copies_visible
 184                                 )
 185                         ) AS count,
 186                         sum(
 187                                 (SELECT count(cp.id)
 188                                   FROM  $sm_table r
 189                                         JOIN $cn_table cn ON (cn.record = r.source)
 190                                         JOIN $cp_table cp ON (cn.id = cp.call_number)
 191                                         JOIN $cs_table cs ON (cp.status = cs.id)
 192                                         JOIN $cl_table cl ON (cp.location = cl.id)
 193                                         JOIN $descendants a ON (cp.circ_lib = a.id)
 194                                   WHERE r.metarecord = ?
 195                                         AND cp.status = 0
 196                                         $copies_visible
 197                                 )
 198                         ) AS available
 199
 200                   FROM  $ancestors u
 201                         JOIN $out_table t ON (u.ou_type = t.id)
 202                   GROUP BY 1,2
 203         SQL
 204
 205         my $sth = metabib::metarecord_source_map->db_Main->prepare_cached($sql);
 206         $sth->execute(''.$args{metarecord}, ''.$args{metarecord}, ''.$args{org_unit});
 207         while ( my $row = $sth->fetchrow_hashref ) {
 208                 $client->respond( $row );
 209         }
 210         return undef;
 211 }
 212 __PACKAGE__->register_method(
 213         api_name        => 'open-ils.storage.metabib.metarecord.copy_count',
 214         method          => 'metarecord_copy_count',
 215         api_level       => 1,
 216         stream          => 1,
 217         cachable        => 1,
 218 );
 219 __PACKAGE__->register_method(
 220         api_name        => 'open-ils.storage.metabib.metarecord.copy_count.staff',
 221         method          => 'metarecord_copy_count',
 222         api_level       => 1,
 223         stream          => 1,
 224         cachable        => 1,
 225 );
 226
 227 sub multi_search_full_rec {
 228         my $self = shift;
 229         my $client = shift;
 230
 231         my %args = @_;
 232         my $class_join = $args{class_join} || 'AND';
 233         my @binds;
 234         my @selects;
 235
 236         for my $arg (@{ $args{searches} }) {
 237                 my $term = $$arg{term};
 238                 my $limiters = $$arg{restrict};
 239
 240                 my ($index_col) = metabib::full_rec->columns('FTS');
 241                 $index_col ||= 'value';
 242                 my $search_table = metabib::full_rec->table;
 243
 244                 my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
 245
 246                 my $fts_where = $fts->sql_where_clause();
 247                 my @fts_ranks = $fts->fts_rank;
 248
 249                 my $rank = join(' + ', @fts_ranks);
 250
 251                 my @wheres;
 252                 for my $limit (@$limiters) {
 253                         push @wheres, "( tag = ? AND subfield LIKE ? AND $fts_where )";
 254                         push @binds, $$limit{tag}, $$limit{subfield};
 255                         $log->debug("Limiting query using { tag => $$limit{tag}, subfield => $$limit{subfield} }", DEBUG);
 256                 }
 257                 my $where = join(' OR ', @wheres);
 258
 259                 push @selects, "SELECT record, sum($rank) FROM $search_table WHERE $where GROUP BY 1 ORDER BY 2 DESC";
 260
 261         }
 262
 263         my $descendants = defined($args{depth}) ?
 264                                 "actor.org_unit_descendants($args{org_unit}, $args{depth})" :
 265                                 defined($args{depth}) ?
 266                                         "actor.org_unit_descendants($args{org_unit})" :
 267                                         "actor.org_unit";
 268
 269
 270         my $metabib_record_descriptor = metabib::record_descriptor->table;
 271         my $metabib_metarecord = metabib::metarecord->table;
 272         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
 273         my $asset_call_number_table = asset::call_number->table;
 274         my $asset_copy_table = asset::copy->table;
 275         my $cs_table = config::copy_status->table;
 276         my $cl_table = asset::copy_location->table;
 277
 278         my $cj = ''; $cj = 'HAVING COUNT(x.record) > 1' if ($class_join eq 'AND');
 279         my $search_table = '(SELECT x.record, sum(x.sum) FROM (('.join(') UNION ALL (', @selects).")) x GROUP BY 1 $cj )";
 280
 281         my $has_vols = 'AND cn.owning_lib = d.id';
 282         my $has_copies = 'AND cp.call_number = cn.id';
 283         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 284
 285         if ($self->api_name =~ /staff/o) {
 286                 $copies_visible = '';
 287                 $has_copies = '' if ($ou_type == 0);
 288                 $has_vols = '' if ($ou_type == 0);
 289         }
 290
 291         my ($t_filter, $f_filter) = ('','');
 292
 293         if ($args{format}) {
 294                 my ($t, $f) = split '-', $args{format};
 295                 my @types = split '', $t;
 296                 my @forms = split '', $f;
 297                 if (@types) {
 298                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 299                 }
 300
 301                 if (@forms) {
 302                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 303                 }
 304                 push @binds, @types, @forms;
 305         }
 306
 307
 308         if ($copies_visible) {
 309                 $select = <<"           SQL";
 310                         SELECT  m.metarecord, sum(f.sum), count(DISTINCT cp.id), CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
 311                         FROM    $search_table f,
 312                                 $metabib_metarecord_source_map_table m,
 313                                 $asset_call_number_table cn,
 314                                 $asset_copy_table cp,
 315                                 $cs_table cs,
 316                                 $cl_table cl,
 317                                 $metabib_record_descriptor rd,
 318                                 $descendants d
 319                         WHERE   m.source = f.record
 320                                 AND cn.record = m.source
 321                                 AND rd.record = m.source
 322                                 AND cp.status = cs.id
 323                                 AND cp.location = cl.id
 324                                 $has_vols
 325                                 $has_copies
 326                                 $copies_visible
 327                                 $t_filter
 328                                 $f_filter
 329                         GROUP BY m.metarecord HAVING count(DISTINCT cp.id) > 0
 330                         ORDER BY 2 DESC,3 DESC
 331                 SQL
 332         } else {
 333                 $select = <<"           SQL";
 334                         SELECT  m.metarecord, 1, 0, CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
 335                         FROM    $search_table f,
 336                                 $metabib_metarecord_source_map_table m,
 337                                 $metabib_record_descriptor rd
 338                         WHERE   m.source = f.record
 339                                 AND rd.record = m.source
 340                                 $t_filter
 341                                 $f_filter
 342                         GROUP BY 1,2,3
 343                 SQL
 344         }
 345
 346
 347         $log->debug("Search SQL :: [$select]",DEBUG);
 348
 349         my $recs = metabib::full_rec->db_Main->selectall_arrayref("$select;", {}, @binds);
 350         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
 351
 352         $client->respond($_) for (@$recs);
 353         return undef;
 354 }
 355 __PACKAGE__->register_method(
 356         api_name        => 'open-ils.storage.metabib.full_rec.multi_search',
 357         method          => 'multi_search_full_rec',
 358         api_level       => 1,
 359         stream          => 1,
 360         cachable        => 1,
 361 );
 362 __PACKAGE__->register_method(
 363         api_name        => 'open-ils.storage.metabib.full_rec.multi_search.staff',
 364         method          => 'multi_search_full_rec',
 365         api_level       => 1,
 366         stream          => 1,
 367         cachable        => 1,
 368 );
 369
 370 sub search_full_rec {
 371         my $self = shift;
 372         my $client = shift;
 373
 374         my %args = @_;
 375
 376         my $term = $args{term};
 377         my $limiters = $args{restrict};
 378
 379         my ($index_col) = metabib::full_rec->columns('FTS');
 380         $index_col ||= 'value';
 381         my $search_table = metabib::full_rec->table;
 382
 383         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
 384
 385         my $fts_where = $fts->sql_where_clause();
 386         my @fts_ranks = $fts->fts_rank;
 387
 388         my $rank = join(' + ', @fts_ranks);
 389
 390         my @binds;
 391         my @wheres;
 392         for my $limit (@$limiters) {
 393                 push @wheres, "( tag = ? AND subfield LIKE ? AND $fts_where )";
 394                 push @binds, $$limit{tag}, $$limit{subfield};
 395                 $log->debug("Limiting query using { tag => $$limit{tag}, subfield => $$limit{subfield} }", DEBUG);
 396         }
 397         my $where = join(' OR ', @wheres);
 398
 399         my $select = "SELECT record, sum($rank) FROM $search_table WHERE $where GROUP BY 1 ORDER BY 2 DESC;";
 400
 401         $log->debug("Search SQL :: [$select]",DEBUG);
 402
 403         my $recs = metabib::full_rec->db_Main->selectall_arrayref($select, {}, @binds);
 404         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
 405
 406         $client->respond($_) for (@$recs);
 407         return undef;
 408 }
 409 __PACKAGE__->register_method(
 410         api_name        => 'open-ils.storage.direct.metabib.full_rec.search_fts.value',
 411         method          => 'search_full_rec',
 412         api_level       => 1,
 413         stream          => 1,
 414         cachable        => 1,
 415 );
 416 __PACKAGE__->register_method(
 417         api_name        => 'open-ils.storage.direct.metabib.full_rec.search_fts.index_vector',
 418         method          => 'search_full_rec',
 419         api_level       => 1,
 420         stream          => 1,
 421         cachable        => 1,
 422 );
 423
 424
 425 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
 426 sub search_class_fts {
 427         my $self = shift;
 428         my $client = shift;
 429         my %args = @_;
 430
 431         my $term = $args{term};
 432         my $ou = $args{org_unit};
 433         my $ou_type = $args{depth};
 434         my $limit = $args{limit};
 435         my $offset = $args{offset};
 436
 437         my $limit_clause = '';
 438         my $offset_clause = '';
 439
 440         $limit_clause = "LIMIT $limit" if (defined $limit and int($limit) > 0);
 441         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
 442
 443         my (@types,@forms);
 444         my ($t_filter, $f_filter) = ('','');
 445
 446         if ($args{format}) {
 447                 my ($t, $f) = split '-', $args{format};
 448                 @types = split '', $t;
 449                 @forms = split '', $f;
 450                 if (@types) {
 451                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 452                 }
 453
 454                 if (@forms) {
 455                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 456                 }
 457         }
 458
 459
 460
 461         my $descendants = defined($ou_type) ?
 462                                 "actor.org_unit_descendants($ou, $ou_type)" :
 463                                 "actor.org_unit_descendants($ou)";
 464
 465         my $class = $self->{cdbi};
 466         my $search_table = $class->table;
 467
 468         my $metabib_record_descriptor = metabib::record_descriptor->table;
 469         my $metabib_metarecord = metabib::metarecord->table;
 470         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
 471         my $asset_call_number_table = asset::call_number->table;
 472         my $asset_copy_table = asset::copy->table;
 473         my $cs_table = config::copy_status->table;
 474         my $cl_table = asset::copy_location->table;
 475
 476         my ($index_col) = $class->columns('FTS');
 477         $index_col ||= 'value';
 478
 479         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'f.value', "f.$index_col");
 480
 481         my $fts_where = $fts->sql_where_clause;
 482         my @fts_ranks = $fts->fts_rank;
 483
 484         my $rank = join(' + ', @fts_ranks);
 485
 486         my $has_vols = 'AND cn.owning_lib = d.id';
 487         my $has_copies = 'AND cp.call_number = cn.id';
 488         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 489
 490         my $visible_count = ', count(DISTINCT cp.id)';
 491         my $visible_count_test = 'HAVING count(DISTINCT cp.id) > 0';
 492
 493         if ($self->api_name =~ /staff/o) {
 494                 $copies_visible = '';
 495                 $visible_count_test = '';
 496                 $has_copies = '' if ($ou_type == 0);
 497                 $has_vols = '' if ($ou_type == 0);
 498         }
 499
 500         my $rank_calc = <<"     RANK";
 501                 , (SUM( $rank
 502                         * CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END -- phrase order
 503                         * CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END -- first word match
 504                         * CASE WHEN f.value ~* ? THEN 2 ELSE 1 END -- only word match
 505                 )/COUNT(m.source)), MIN(COALESCE(CHAR_LENGTH(f.value),1))
 506         RANK
 507
 508         $rank_calc = ',1 , 1' if ($self->api_name =~ /unordered/o);
 509
 510         if ($copies_visible) {
 511                 $select = <<"           SQL";
 512                         SELECT  m.metarecord $rank_calc $visible_count, CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
 513                         FROM    $search_table f,
 514                                 $metabib_metarecord_source_map_table m,
 515                                 $asset_call_number_table cn,
 516                                 $asset_copy_table cp,
 517                                 $cs_table cs,
 518                                 $cl_table cl,
 519                                 $metabib_record_descriptor rd,
 520                                 $descendants d
 521                         WHERE   $fts_where
 522                                 AND m.source = f.source
 523                                 AND cn.record = m.source
 524                                 AND rd.record = m.source
 525                                 AND cp.status = cs.id
 526                                 AND cp.location = cl.id
 527                                 $has_vols
 528                                 $has_copies
 529                                 $copies_visible
 530                                 $t_filter
 531                                 $f_filter
 532                         GROUP BY 1 $visible_count_test
 533                         ORDER BY 2 DESC,3
 534                         $limit_clause $offset_clause
 535                 SQL
 536         } else {
 537                 $select = <<"           SQL";
 538                         SELECT  m.metarecord $rank_calc, 0, CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
 539                         FROM    $search_table f,
 540                                 $metabib_metarecord_source_map_table m,
 541                                 $metabib_record_descriptor rd
 542                         WHERE   $fts_where
 543                                 AND m.source = f.source
 544                                 AND rd.record = m.source
 545                                 $t_filter
 546                                 $f_filter
 547                         GROUP BY 1, 4
 548                         ORDER BY 2 DESC,3
 549                         $limit_clause $offset_clause
 550                 SQL
 551         }
 552
 553         $log->debug("Field Search SQL :: [$select]",DEBUG);
 554
 555         my $SQLstring = join('%',$fts->words);
 556         my $REstring = join('\\s+',$fts->words);
 557         my $first_word = ($fts->words)[0].'%';
 558         my $recs = ($self->api_name =~ /unordered/o) ?
 559                         $class->db_Main->selectall_arrayref($select, {}, @types, @forms) :
 560                         $class->db_Main->selectall_arrayref($select, {},
 561                                 '%'.lc($SQLstring).'%',                 # phrase order match
 562                                 lc($first_word),                        # first word match
 563                                 '^\\s*'.lc($REstring).'\\s*/?\s*$',     # full exact match
 564                                 @types, @forms
 565                         );
 566
 567         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
 568
 569         $client->respond($_) for (map { [@$_[0,1,3,4]] } @$recs);
 570         return undef;
 571 }
 572
 573 for my $class ( qw/title author subject keyword series/ ) {
 574         __PACKAGE__->register_method(
 575                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord",
 576                 method          => 'search_class_fts',
 577                 api_level       => 1,
 578                 stream          => 1,
 579                 cdbi            => "metabib::${class}_field_entry",
 580                 cachable        => 1,
 581         );
 582         __PACKAGE__->register_method(
 583                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.unordered",
 584                 method          => 'search_class_fts',
 585                 api_level       => 1,
 586                 stream          => 1,
 587                 cdbi            => "metabib::${class}_field_entry",
 588                 cachable        => 1,
 589         );
 590         __PACKAGE__->register_method(
 591                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.staff",
 592                 method          => 'search_class_fts',
 593                 api_level       => 1,
 594                 stream          => 1,
 595                 cdbi            => "metabib::${class}_field_entry",
 596                 cachable        => 1,
 597         );
 598         __PACKAGE__->register_method(
 599                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.staff.unordered",
 600                 method          => 'search_class_fts',
 601                 api_level       => 1,
 602                 stream          => 1,
 603                 cdbi            => "metabib::${class}_field_entry",
 604                 cachable        => 1,
 605         );
 606 }
 607
 608 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
 609 sub search_class_fts_count {
 610         my $self = shift;
 611         my $client = shift;
 612         my %args = @_;
 613
 614         my $term = $args{term};
 615         my $ou = $args{org_unit};
 616         my $ou_type = $args{depth};
 617         my $limit = $args{limit} || 100;
 618         my $offset = $args{offset} || 0;
 619
 620         my $descendants = defined($ou_type) ?
 621                                 "actor.org_unit_descendants($ou, $ou_type)" :
 622                                 "actor.org_unit_descendants($ou)";
 623
 624         my (@types,@forms);
 625         my ($t_filter, $f_filter) = ('','');
 626
 627         if ($args{format}) {
 628                 my ($t, $f) = split '-', $args{format};
 629                 @types = split '', $t;
 630                 @forms = split '', $f;
 631                 if (@types) {
 632                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 633                 }
 634
 635                 if (@forms) {
 636                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 637                 }
 638         }
 639
 640
 641         (my $search_class = $self->api_name) =~ s/.*metabib.(\w+).search_fts.*/$1/o;
 642
 643         my $class = $self->{cdbi};
 644         my $search_table = $class->table;
 645
 646         my $metabib_record_descriptor = metabib::record_descriptor->table;
 647         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
 648         my $asset_call_number_table = asset::call_number->table;
 649         my $asset_copy_table = asset::copy->table;
 650         my $cs_table = config::copy_status->table;
 651         my $cl_table = asset::copy_location->table;
 652
 653         my ($index_col) = $class->columns('FTS');
 654         $index_col ||= 'value';
 655
 656         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
 657
 658         my $fts_where = $fts->sql_where_clause;
 659
 660         my $has_vols = 'AND cn.owning_lib = d.id';
 661         my $has_copies = 'AND cp.call_number = cn.id';
 662         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
 663         if ($self->api_name =~ /staff/o) {
 664                 $copies_visible = '';
 665                 $has_vols = '' if ($ou_type == 0);
 666                 $has_copies = '' if ($ou_type == 0);
 667         }
 668
 669         # XXX test an "EXISTS version of descendant checking...
 670         my $select;
 671         if ($copies_visible) {
 672                 $select = <<"           SQL";
 673                 SELECT  count(distinct  m.metarecord)
 674                   FROM  $search_table f,
 675                         $metabib_metarecord_source_map_table m,
 676                         $asset_call_number_table cn,
 677                         $asset_copy_table cp,
 678                         $cs_table cs,
 679                         $cl_table cl,
 680                         $metabib_record_descriptor rd,
 681                         $descendants d
 682                   WHERE $fts_where
 683                         AND m.source = f.source
 684                         AND cn.record = m.source
 685                         AND rd.record = m.source
 686                         AND cp.status = cs.id
 687                         AND cp.location = cl.id
 688                         $has_vols
 689                         $has_copies
 690                         $copies_visible
 691                         $t_filter
 692                         $f_filter
 693                 SQL
 694         } else {
 695                 $select = <<"           SQL";
 696                 SELECT  count(distinct  m.metarecord)
 697                   FROM  $search_table f,
 698                         $metabib_metarecord_source_map_table m,
 699                         $metabib_record_descriptor rd
 700                   WHERE $fts_where
 701                         AND m.source = f.source
 702                         AND rd.record = m.source
 703                         $t_filter
 704                         $f_filter
 705                 SQL
 706         }
 707
 708         $log->debug("Field Search Count SQL :: [$select]",DEBUG);
 709
 710         my $recs = $class->db_Main->selectrow_arrayref($select, {}, @types, @forms)->[0];
 711
 712         $log->debug("Count Search yielded $recs results.",DEBUG);
 713
 714         return $recs;
 715
 716 }
 717 for my $class ( qw/title author subject keyword series/ ) {
 718         __PACKAGE__->register_method(
 719                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord_count",
 720                 method          => 'search_class_fts_count',
 721                 api_level       => 1,
 722                 stream          => 1,
 723                 cdbi            => "metabib::${class}_field_entry",
 724                 cachable        => 1,
 725         );
 726         __PACKAGE__->register_method(
 727                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord_count.staff",
 728                 method          => 'search_class_fts_count',
 729                 api_level       => 1,
 730                 stream          => 1,
 731                 cdbi            => "metabib::${class}_field_entry",
 732                 cachable        => 1,
 733         );
 734 }
 735
 736
 737
 738
 739
 740 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
 741 sub new_search_class_fts {
 742         my $self = shift;
 743         my $client = shift;
 744         my %args = @_;
 745
 746         my $term = $args{term};
 747         my $ou = $args{org_unit};
 748         my $ou_type = $args{depth};
 749         my $limit = $args{limit};
 750         my $offset = $args{offset} || 0;
 751
 752         my $limit_clause = '';
 753         my $offset_clause = '';
 754
 755         $limit_clause = "LIMIT $limit" if (defined $limit and int($limit) > 0);
 756         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
 757
 758         my (@types,@forms);
 759         my ($t_filter, $f_filter) = ('','');
 760
 761         if ($args{format}) {
 762                 my ($t, $f) = split '-', $args{format};
 763                 @types = split '', $t;
 764                 @forms = split '', $f;
 765                 if (@types) {
 766                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
 767                 }
 768
 769                 if (@forms) {
 770                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
 771                 }
 772         }
 773
 774
 775
 776         my $descendants = defined($ou_type) ?
 777                                 "actor.org_unit_descendants($ou, $ou_type)" :
 778                                 "actor.org_unit_descendants($ou)";
 779
 780         my $class = $self->{cdbi};
 781         my $search_table = $class->table;
 782
 783         my $metabib_record_descriptor = metabib::record_descriptor->table;
 784         my $metabib_metarecord = metabib::metarecord->table;
 785         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
 786         my $asset_call_number_table = asset::call_number->table;
 787         my $asset_copy_table = asset::copy->table;
 788         my $cs_table = config::copy_status->table;
 789         my $cl_table = asset::copy_location->table;
 790
 791         my ($index_col) = $class->columns('FTS');
 792         $index_col ||= 'value';
 793
 794         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'f.value', "f.$index_col");
 795
 796         my $fts_where = $fts->sql_where_clause;
 797         my @fts_ranks = $fts->fts_rank;
 798
 799         my $rank = join(' + ', @fts_ranks);
 800
 801         if ($self->api_name !~ /staff/o) {
 802                 $select = <<"           SQL";
 803                         SELECT  m.metarecord,
 804                                 (SUM(   $rank
 805                                         * CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END -- phrase order
 806                                         * CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END -- first word match
 807                                         * CASE WHEN f.value ~* ? THEN 2 ELSE 1 END -- only word match
 808                                 )/COUNT(m.source)),
 809                                 CASE WHEN COUNT(mr.source) = 1 THEN MIN(m.source) ELSE 0 END
 810                         FROM    $search_table f,
 811                                 $metabib_metarecord_source_map_table m,
 812                                 $metabib_metarecord_source_map_table mr,
 813                                 $metabib_record_descriptor rd
 814                         WHERE   $fts_where
 815                                 AND m.source = f.source
 816                                 AND mr.metarecord = m.metarecord
 817                                 AND rd.record = mr.source
 818                                 $t_filter
 819                                 $f_filter
 820                                 AND EXISTS (
 821                                         SELECT  TRUE
 822                                           FROM  $asset_call_number_table cn,
 823                                                 $asset_copy_table cp,
 824                                                 $cs_table cs,
 825                                                 $cl_table cl,
 826                                                 $descendants d
 827                                           WHERE cn.record = mr.source
 828                                                 AND cp.status = cs.id
 829                                                 AND cp.location = cl.id
 830                                                 AND cn.owning_lib = d.id
 831                                                 AND cp.call_number = cn.id
 832                                                 AND cp.opac_visible IS TRUE
 833                                                 AND cs.holdable IS TRUE
 834                                                 AND cl.opac_visible IS TRUE )
 835                         GROUP BY m.metarecord
 836                         ORDER BY 2 DESC, MIN(COALESCE(CHAR_LENGTH(f.value),1))
 837                 SQL
 838         } else {
 839                 $select = <<"           SQL";
 840                         SELECT  m.metarecord,
 841                                 (SUM(   $rank
 842                                         * CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END -- phrase order
 843                                         * CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END -- first word match
 844                                         * CASE WHEN f.value ~* ? THEN 2 ELSE 1 END -- only word match
 845                                 )/COUNT(m.source)),
 846                                 CASE WHEN COUNT(mr.source) = 1 THEN MIN(m.source) ELSE 0 END
 847                         FROM    $search_table f,
 848                                 $metabib_metarecord_source_map_table m,
 849                                 $metabib_metarecord_source_map_table mr,
 850                                 $metabib_record_descriptor rd
 851                         WHERE   $fts_where
 852                                 AND m.source = f.source
 853                                 AND m.metarecord = mr.metarecord
 854                                 AND rd.record = m.source
 855                                 $t_filter
 856                                 $f_filter
 857                         GROUP BY m.metarecord
 858                         ORDER BY 2 DESC, MIN(COALESCE(CHAR_LENGTH(f.value),1))
 859                 SQL
 860         }
 861
 862         $log->debug("Field Search SQL :: [$select]",DEBUG);
 863
 864         my $SQLstring = join('%',$fts->words);
 865         my $REstring = join('\\s+',$fts->words);
 866         my $first_word = ($fts->words)[0].'%';
 867         my $recs = ($self->api_name =~ /unordered/o) ?
 868                         $class->db_Main->selectall_arrayref($select, {}, @types, @forms) :
 869                         $class->db_Main->selectall_arrayref($select, {},
 870                                 '%'.lc($SQLstring).'%',                 # phrase order match
 871                                 lc($first_word),                        # first word match
 872                                 '^\\s*'.lc($REstring).'\\s*/?\s*$',     # full exact match
 873                                 @types, @forms
 874                         );
 875
 876         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
 877
 878         my $count = scalar(@$recs);
 879         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
 880                 my ($mrid,$rank,$skip) = @$rec;
 881                 $client->respond( [$mrid, sprintf('%0.3f',$rank), $skip, $count] );
 882         }
 883         return undef;
 884 }
 885
 886 for my $class ( qw/title author subject keyword series/ ) {
 887         __PACKAGE__->register_method(
 888                 api_name        => "open-ils.storage.metabib.$class.new_search_fts.metarecord",
 889                 method          => 'new_search_class_fts',
 890                 api_level       => 1,
 891                 stream          => 1,
 892                 cdbi            => "metabib::${class}_field_entry",
 893                 cachable        => 1,
 894         );
 895         __PACKAGE__->register_method(
 896                 api_name        => "open-ils.storage.metabib.$class.new_search_fts.metarecord.staff",
 897                 method          => 'new_search_class_fts',
 898                 api_level       => 1,
 899                 stream          => 1,
 900                 cdbi            => "metabib::${class}_field_entry",
 901                 cachable        => 1,
 902         );
 903 }
 904
 905
 906 my $_cdbi = {   title   => "metabib::title_field_entry",
 907                 author  => "metabib::author_field_entry",
 908                 subject => "metabib::subject_field_entry",
 909                 keyword => "metabib::keyword_field_entry",
 910                 series  => "metabib::series_field_entry",
 911 };
 912
 913
 914
 915 1;