c423d73cb83953c2798ca8d3391f3bf1bb22fef2
[working/Evergreen.git] / Open-ILS / src / perlmods / OpenILS / Application / Storage / Publisher / metabib.pm
1 package OpenILS::Application::Storage::Publisher::metabib;
2 use base qw/OpenILS::Application::Storage::Publisher/;
3 use vars qw/$VERSION/;
4 use OpenSRF::EX qw/:try/;
5 use OpenILS::Application::Storage::FTS;
6 use OpenILS::Utils::Fieldmapper;
7 use OpenSRF::Utils::Logger qw/:level/;
8 use OpenSRF::Utils::Cache;
9 use Data::Dumper;
10 use Digest::MD5 qw/md5_hex/;
11
12
13 my $log = 'OpenSRF::Utils::Logger';
14
15 $VERSION = 1;
16
17 # need to order record IDs by:
18 #  1) format - text, movie, sound, software, images, maps, mixed, music, 3d
19 #  2) proximity --- XXX Can't do it cheap...
20 #  3) count
21 sub ordered_records_from_metarecord {
22         my $self = shift;
23         my $client = shift;
24         my $mr = shift;
25         my $formats = shift;
26
27         my (@types,@forms);
28
29         if ($formats) {
30                 my ($t, $f) = split '-', $formats;
31                 @types = split '', $t;
32                 @forms = split '', $f;
33         }
34
35         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
36         $copies_visible = '' if ($self->api_name =~ /staff/o);
37
38         my $sm_table = metabib::metarecord_source_map->table;
39         my $rd_table = metabib::record_descriptor->table;
40         my $cn_table = asset::call_number->table;
41         my $cl_table = asset::copy_location->table;
42         my $cp_table = asset::copy->table;
43         my $cs_table = config::copy_status->table;
44         my $out_table = actor::org_unit_type->table;
45
46         my $sql = <<"   SQL";
47          SELECT *
48            FROM (
49                 SELECT  rd.record,
50                         rd.item_type,
51                         rd.item_form,
52         SQL
53
54         if ($copies_visible) {
55                 $sql .= <<"             SQL"; 
56                         sum((SELECT     count(cp.id)
57                                FROM     $cp_table cp
58                                         JOIN $cs_table cs ON (cp.status = cs.id)
59                                         JOIN $cl_table cl ON (cp.location = cl.id)
60                                WHERE    cn.id = cp.call_number
61                                         $copies_visible
62                           )) AS count
63                 SQL
64         } else {
65                 $sql .= '0 AS count';
66         }
67
68         if ($copies_visible) {
69                 $sql .= <<"             SQL";
70                   FROM  $cn_table cn,
71                         $sm_table sm,
72                         $rd_table rd
73                   WHERE rd.record = sm.source
74                         AND cn.record = rd.record
75                         AND sm.metarecord = ?
76                 SQL
77         } else {
78                 $sql .= <<"             SQL";
79                   FROM  $sm_table sm,
80                         $rd_table rd
81                   WHERE rd.record = sm.source
82                         AND sm.metarecord = ?
83                 SQL
84         }
85
86         $sql .= <<"     SQL";
87                   GROUP BY rd.record, rd.item_type, rd.item_form
88                   ORDER BY
89                         CASE
90                                 WHEN rd.item_type IS NULL -- default
91                                         THEN 0
92                                 WHEN rd.item_type = '' -- default
93                                         THEN 0
94                                 WHEN rd.item_type IN ('a','t') -- books
95                                         THEN 1
96                                 WHEN rd.item_type = 'g' -- movies
97                                         THEN 2
98                                 WHEN rd.item_type IN ('i','j') -- sound recordings
99                                         THEN 3
100                                 WHEN rd.item_type = 'm' -- software
101                                         THEN 4
102                                 WHEN rd.item_type = 'k' -- images
103                                         THEN 5
104                                 WHEN rd.item_type IN ('e','f') -- maps
105                                         THEN 6
106                                 WHEN rd.item_type IN ('o','p') -- mixed
107                                         THEN 7
108                                 WHEN rd.item_type IN ('c','d') -- music
109                                         THEN 8
110                                 WHEN rd.item_type = 'r' -- 3d
111                                         THEN 9
112                         END,
113                         count DESC
114                 ) x
115         SQL
116
117         if ($copies_visible) {
118                 $sql .= ' WHERE x.count > 0'
119         }
120
121         if (@types) {
122                 $sql .= ' AND x.item_type IN ('.join(',',map{'?'}@types).')';
123         }
124
125         if (@forms) {
126                 $sql .= ' AND x.item_form IN ('.join(',',map{'?'}@forms).')';
127         }
128
129         my $sth = metabib::metarecord_source_map->db_Main->prepare_cached($sql);
130         $sth->execute("$mr", @types, @forms);
131         while ( my $row = $sth->fetchrow_arrayref ) {
132                 $client->respond( $$row[0] );
133         }
134         return undef;
135
136 }
137 __PACKAGE__->register_method(
138         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records',
139         method          => 'ordered_records_from_metarecord',
140         api_level       => 1,
141         stream          => 1,
142         cachable        => 1,
143 );
144 __PACKAGE__->register_method(
145         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records.staff',
146         method          => 'ordered_records_from_metarecord',
147         api_level       => 1,
148         stream          => 1,
149         cachable        => 1,
150 );
151
152
153 sub metarecord_copy_count {
154         my $self = shift;
155         my $client = shift;
156
157         my %args = @_;
158
159         my $sm_table = metabib::metarecord_source_map->table;
160         my $rd_table = metabib::record_descriptor->table;
161         my $cn_table = asset::call_number->table;
162         my $cp_table = asset::copy->table;
163         my $cl_table = asset::copy_location->table;
164         my $cs_table = config::copy_status->table;
165         my $out_table = actor::org_unit_type->table;
166         my $descendants = "actor.org_unit_descendants(u.id)";
167         my $ancestors = "actor.org_unit_ancestors(?)";
168
169         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
170         $copies_visible = '' if ($self->api_name =~ /staff/o);
171
172         my (@types,@forms);
173         my ($t_filter, $f_filter) = ('','');
174
175         if ($args{format}) {
176                 my ($t, $f) = split '-', $args{format};
177                 @types = split '', $t;
178                 @forms = split '', $f;
179                 if (@types) {
180                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
181                 }
182
183                 if (@forms) {
184                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
185                 }
186         }
187
188         my $sql = <<"   SQL";
189                 SELECT  t.depth,
190                         u.id AS org_unit,
191                         sum(
192                                 (SELECT count(cp.id)
193                                   FROM  $sm_table r
194                                         JOIN $cn_table cn ON (cn.record = r.source)
195                                         JOIN $rd_table rd ON (cn.record = rd.record)
196                                         JOIN $cp_table cp ON (cn.id = cp.call_number)
197                                         JOIN $cs_table cs ON (cp.status = cs.id)
198                                         JOIN $cl_table cl ON (cp.location = cl.id)
199                                         JOIN $descendants a ON (cp.circ_lib = a.id)
200                                   WHERE r.metarecord = ?
201                                         $copies_visible
202                                         $t_filter
203                                         $f_filter
204                                 )
205                         ) AS count,
206                         sum(
207                                 (SELECT count(cp.id)
208                                   FROM  $sm_table r
209                                         JOIN $cn_table cn ON (cn.record = r.source)
210                                         JOIN $rd_table rd ON (cn.record = rd.record)
211                                         JOIN $cp_table cp ON (cn.id = cp.call_number)
212                                         JOIN $cs_table cs ON (cp.status = cs.id)
213                                         JOIN $cl_table cl ON (cp.location = cl.id)
214                                         JOIN $descendants a ON (cp.circ_lib = a.id)
215                                   WHERE r.metarecord = ?
216                                         AND cp.status = 0
217                                         $copies_visible
218                                         $t_filter
219                                         $f_filter
220                                 )
221                         ) AS available
222
223                   FROM  $ancestors u
224                         JOIN $out_table t ON (u.ou_type = t.id)
225                   GROUP BY 1,2
226         SQL
227
228         my $sth = metabib::metarecord_source_map->db_Main->prepare_cached($sql);
229         $sth->execute(  ''.$args{metarecord},
230                         @types, 
231                         @forms,
232                         ''.$args{metarecord},
233                         @types, 
234                         @forms,
235                         ''.$args{org_unit}, 
236         ); 
237
238         while ( my $row = $sth->fetchrow_hashref ) {
239                 $client->respond( $row );
240         }
241         return undef;
242 }
243 __PACKAGE__->register_method(
244         api_name        => 'open-ils.storage.metabib.metarecord.copy_count',
245         method          => 'metarecord_copy_count',
246         api_level       => 1,
247         stream          => 1,
248         cachable        => 1,
249 );
250 __PACKAGE__->register_method(
251         api_name        => 'open-ils.storage.metabib.metarecord.copy_count.staff',
252         method          => 'metarecord_copy_count',
253         api_level       => 1,
254         stream          => 1,
255         cachable        => 1,
256 );
257
258 sub multi_search_full_rec {
259         my $self = shift;
260         my $client = shift;
261
262         my %args = @_;  
263         my $class_join = $args{class_join} || 'AND';
264         my @binds;
265         my @selects;
266
267         for my $arg (@{ $args{searches} }) {
268                 my $term = $$arg{term};
269                 my $limiters = $$arg{restrict};
270
271                 my ($index_col) = metabib::full_rec->columns('FTS');
272                 $index_col ||= 'value';
273                 my $search_table = metabib::full_rec->table;
274
275                 my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
276
277                 my $fts_where = $fts->sql_where_clause();
278                 my @fts_ranks = $fts->fts_rank;
279
280                 my $rank = join(' + ', @fts_ranks);
281
282                 my @wheres;
283                 for my $limit (@$limiters) {
284                         push @wheres, "( tag = ? AND subfield LIKE ? AND $fts_where )";
285                         push @binds, $$limit{tag}, $$limit{subfield};
286                         $log->debug("Limiting query using { tag => $$limit{tag}, subfield => $$limit{subfield} }", DEBUG);
287                 }
288                 my $where = join(' OR ', @wheres);
289
290                 push @selects, "SELECT record, sum($rank) FROM $search_table WHERE $where GROUP BY 1 ORDER BY 2 DESC";
291
292         }
293
294         my $descendants = defined($args{depth}) ?
295                                 "actor.org_unit_descendants($args{org_unit}, $args{depth})" :
296                                 defined($args{depth}) ?
297                                         "actor.org_unit_descendants($args{org_unit})" :
298                                         "actor.org_unit";
299
300
301         my $metabib_record_descriptor = metabib::record_descriptor->table;
302         my $metabib_metarecord = metabib::metarecord->table;
303         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
304         my $asset_call_number_table = asset::call_number->table;
305         my $asset_copy_table = asset::copy->table;
306         my $cs_table = config::copy_status->table;
307         my $cl_table = asset::copy_location->table;
308
309         my $cj = ''; $cj = 'HAVING COUNT(x.record) > 1' if ($class_join eq 'AND');
310         my $search_table = '(SELECT x.record, sum(x.sum) FROM (('.join(') UNION ALL (', @selects).")) x GROUP BY 1 $cj )";
311
312         my $has_vols = 'AND cn.owning_lib = d.id';
313         my $has_copies = 'AND cp.call_number = cn.id';
314         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
315
316         if ($self->api_name =~ /staff/o) {
317                 $copies_visible = '';
318                 $has_copies = '' if ($ou_type == 0);
319                 $has_vols = '' if ($ou_type == 0);
320         }
321
322         my ($t_filter, $f_filter) = ('','');
323
324         if ($args{format}) {
325                 my ($t, $f) = split '-', $args{format};
326                 my @types = split '', $t;
327                 my @forms = split '', $f;
328                 if (@types) {
329                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
330                 }
331
332                 if (@forms) {
333                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
334                 }
335                 push @binds, @types, @forms;
336         }
337
338
339         if ($copies_visible) {
340                 $select = <<"           SQL";
341                         SELECT  m.metarecord, sum(f.sum), count(DISTINCT cp.id), CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
342                         FROM    $search_table f,
343                                 $metabib_metarecord_source_map_table m,
344                                 $asset_call_number_table cn,
345                                 $asset_copy_table cp,
346                                 $cs_table cs,
347                                 $cl_table cl,
348                                 $metabib_record_descriptor rd,
349                                 $descendants d
350                         WHERE   m.source = f.record
351                                 AND cn.record = m.source
352                                 AND rd.record = m.source
353                                 AND cp.status = cs.id
354                                 AND cp.location = cl.id
355                                 $has_vols
356                                 $has_copies
357                                 $copies_visible
358                                 $t_filter
359                                 $f_filter
360                         GROUP BY m.metarecord HAVING count(DISTINCT cp.id) > 0
361                         ORDER BY 2 DESC,3 DESC
362                 SQL
363         } else {
364                 $select = <<"           SQL";
365                         SELECT  m.metarecord, 1, 0, CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
366                         FROM    $search_table f,
367                                 $metabib_metarecord_source_map_table m,
368                                 $metabib_record_descriptor rd
369                         WHERE   m.source = f.record
370                                 AND rd.record = m.source
371                                 $t_filter
372                                 $f_filter
373                         GROUP BY 1,2,3 
374                 SQL
375         }
376
377
378         $log->debug("Search SQL :: [$select]",DEBUG);
379
380         my $recs = metabib::full_rec->db_Main->selectall_arrayref("$select;", {}, @binds);
381         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
382
383         $client->respond($_) for (@$recs);
384         return undef;
385 }
386 __PACKAGE__->register_method(
387         api_name        => 'open-ils.storage.metabib.full_rec.multi_search',
388         method          => 'multi_search_full_rec',
389         api_level       => 1,
390         stream          => 1,
391         cachable        => 1,
392 );
393 __PACKAGE__->register_method(
394         api_name        => 'open-ils.storage.metabib.full_rec.multi_search.staff',
395         method          => 'multi_search_full_rec',
396         api_level       => 1,
397         stream          => 1,
398         cachable        => 1,
399 );
400
401 sub search_full_rec {
402         my $self = shift;
403         my $client = shift;
404
405         my %args = @_;
406         
407         my $term = $args{term};
408         my $limiters = $args{restrict};
409
410         my ($index_col) = metabib::full_rec->columns('FTS');
411         $index_col ||= 'value';
412         my $search_table = metabib::full_rec->table;
413
414         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
415
416         my $fts_where = $fts->sql_where_clause();
417         my @fts_ranks = $fts->fts_rank;
418
419         my $rank = join(' + ', @fts_ranks);
420
421         my @binds;
422         my @wheres;
423         for my $limit (@$limiters) {
424                 push @wheres, "( tag = ? AND subfield LIKE ? AND $fts_where )";
425                 push @binds, $$limit{tag}, $$limit{subfield};
426                 $log->debug("Limiting query using { tag => $$limit{tag}, subfield => $$limit{subfield} }", DEBUG);
427         }
428         my $where = join(' OR ', @wheres);
429
430         my $select = "SELECT record, sum($rank) FROM $search_table WHERE $where GROUP BY 1 ORDER BY 2 DESC;";
431
432         $log->debug("Search SQL :: [$select]",DEBUG);
433
434         my $recs = metabib::full_rec->db_Main->selectall_arrayref($select, {}, @binds);
435         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
436
437         $client->respond($_) for (@$recs);
438         return undef;
439 }
440 __PACKAGE__->register_method(
441         api_name        => 'open-ils.storage.direct.metabib.full_rec.search_fts.value',
442         method          => 'search_full_rec',
443         api_level       => 1,
444         stream          => 1,
445         cachable        => 1,
446 );
447 __PACKAGE__->register_method(
448         api_name        => 'open-ils.storage.direct.metabib.full_rec.search_fts.index_vector',
449         method          => 'search_full_rec',
450         api_level       => 1,
451         stream          => 1,
452         cachable        => 1,
453 );
454
455
456 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
457 sub search_class_fts {
458         my $self = shift;
459         my $client = shift;
460         my %args = @_;
461         
462         my $term = $args{term};
463         my $ou = $args{org_unit};
464         my $ou_type = $args{depth};
465         my $limit = $args{limit};
466         my $offset = $args{offset};
467
468         my $limit_clause = '';
469         my $offset_clause = '';
470
471         $limit_clause = "LIMIT $limit" if (defined $limit and int($limit) > 0);
472         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
473
474         my (@types,@forms);
475         my ($t_filter, $f_filter) = ('','');
476
477         if ($args{format}) {
478                 my ($t, $f) = split '-', $args{format};
479                 @types = split '', $t;
480                 @forms = split '', $f;
481                 if (@types) {
482                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
483                 }
484
485                 if (@forms) {
486                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
487                 }
488         }
489
490
491
492         my $descendants = defined($ou_type) ?
493                                 "actor.org_unit_descendants($ou, $ou_type)" :
494                                 "actor.org_unit_descendants($ou)";
495
496         my $class = $self->{cdbi};
497         my $search_table = $class->table;
498
499         my $metabib_record_descriptor = metabib::record_descriptor->table;
500         my $metabib_metarecord = metabib::metarecord->table;
501         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
502         my $asset_call_number_table = asset::call_number->table;
503         my $asset_copy_table = asset::copy->table;
504         my $cs_table = config::copy_status->table;
505         my $cl_table = asset::copy_location->table;
506
507         my ($index_col) = $class->columns('FTS');
508         $index_col ||= 'value';
509
510         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'f.value', "f.$index_col");
511
512         my $fts_where = $fts->sql_where_clause;
513         my @fts_ranks = $fts->fts_rank;
514
515         my $rank = join(' + ', @fts_ranks);
516
517         my $has_vols = 'AND cn.owning_lib = d.id';
518         my $has_copies = 'AND cp.call_number = cn.id';
519         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
520
521         my $visible_count = ', count(DISTINCT cp.id)';
522         my $visible_count_test = 'HAVING count(DISTINCT cp.id) > 0';
523
524         if ($self->api_name =~ /staff/o) {
525                 $copies_visible = '';
526                 $visible_count_test = '';
527                 $has_copies = '' if ($ou_type == 0);
528                 $has_vols = '' if ($ou_type == 0);
529         }
530
531         my $rank_calc = <<"     RANK";
532                 , (SUM( $rank
533                         * CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END -- phrase order
534                         * CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END -- first word match
535                         * CASE WHEN f.value ~* ? THEN 2 ELSE 1 END -- only word match
536                 )/COUNT(m.source)), MIN(COALESCE(CHAR_LENGTH(f.value),1))
537         RANK
538
539         $rank_calc = ',1 , 1' if ($self->api_name =~ /unordered/o);
540
541         if ($copies_visible) {
542                 $select = <<"           SQL";
543                         SELECT  m.metarecord $rank_calc $visible_count, CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
544                         FROM    $search_table f,
545                                 $metabib_metarecord_source_map_table m,
546                                 $asset_call_number_table cn,
547                                 $asset_copy_table cp,
548                                 $cs_table cs,
549                                 $cl_table cl,
550                                 $metabib_record_descriptor rd,
551                                 $descendants d
552                         WHERE   $fts_where
553                                 AND m.source = f.source
554                                 AND cn.record = m.source
555                                 AND rd.record = m.source
556                                 AND cp.status = cs.id
557                                 AND cp.location = cl.id
558                                 $has_vols
559                                 $has_copies
560                                 $copies_visible
561                                 $t_filter
562                                 $f_filter
563                         GROUP BY 1 $visible_count_test
564                         ORDER BY 2 DESC,3
565                         $limit_clause $offset_clause
566                 SQL
567         } else {
568                 $select = <<"           SQL";
569                         SELECT  m.metarecord $rank_calc, 0, CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
570                         FROM    $search_table f,
571                                 $metabib_metarecord_source_map_table m,
572                                 $metabib_record_descriptor rd
573                         WHERE   $fts_where
574                                 AND m.source = f.source
575                                 AND rd.record = m.source
576                                 $t_filter
577                                 $f_filter
578                         GROUP BY 1, 4
579                         ORDER BY 2 DESC,3
580                         $limit_clause $offset_clause
581                 SQL
582         }
583
584         $log->debug("Field Search SQL :: [$select]",DEBUG);
585
586         my $SQLstring = join('%',$fts->words);
587         my $REstring = join('\\s+',$fts->words);
588         my $first_word = ($fts->words)[0].'%';
589         my $recs = ($self->api_name =~ /unordered/o) ? 
590                         $class->db_Main->selectall_arrayref($select, {}, @types, @forms) :
591                         $class->db_Main->selectall_arrayref($select, {},
592                                 '%'.lc($SQLstring).'%',                 # phrase order match
593                                 lc($first_word),                        # first word match
594                                 '^\\s*'.lc($REstring).'\\s*/?\s*$',     # full exact match
595                                 @types, @forms
596                         );
597         
598         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
599
600         $client->respond($_) for (map { [@$_[0,1,3,4]] } @$recs);
601         return undef;
602 }
603
604 for my $class ( qw/title author subject keyword series/ ) {
605         __PACKAGE__->register_method(
606                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord",
607                 method          => 'search_class_fts',
608                 api_level       => 1,
609                 stream          => 1,
610                 cdbi            => "metabib::${class}_field_entry",
611                 cachable        => 1,
612         );
613         __PACKAGE__->register_method(
614                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.unordered",
615                 method          => 'search_class_fts',
616                 api_level       => 1,
617                 stream          => 1,
618                 cdbi            => "metabib::${class}_field_entry",
619                 cachable        => 1,
620         );
621         __PACKAGE__->register_method(
622                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.staff",
623                 method          => 'search_class_fts',
624                 api_level       => 1,
625                 stream          => 1,
626                 cdbi            => "metabib::${class}_field_entry",
627                 cachable        => 1,
628         );
629         __PACKAGE__->register_method(
630                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.staff.unordered",
631                 method          => 'search_class_fts',
632                 api_level       => 1,
633                 stream          => 1,
634                 cdbi            => "metabib::${class}_field_entry",
635                 cachable        => 1,
636         );
637 }
638
639 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
640 sub search_class_fts_count {
641         my $self = shift;
642         my $client = shift;
643         my %args = @_;
644         
645         my $term = $args{term};
646         my $ou = $args{org_unit};
647         my $ou_type = $args{depth};
648         my $limit = $args{limit} || 100;
649         my $offset = $args{offset} || 0;
650
651         my $descendants = defined($ou_type) ?
652                                 "actor.org_unit_descendants($ou, $ou_type)" :
653                                 "actor.org_unit_descendants($ou)";
654                 
655         my (@types,@forms);
656         my ($t_filter, $f_filter) = ('','');
657
658         if ($args{format}) {
659                 my ($t, $f) = split '-', $args{format};
660                 @types = split '', $t;
661                 @forms = split '', $f;
662                 if (@types) {
663                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
664                 }
665
666                 if (@forms) {
667                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
668                 }
669         }
670
671
672         (my $search_class = $self->api_name) =~ s/.*metabib.(\w+).search_fts.*/$1/o;
673
674         my $class = $self->{cdbi};
675         my $search_table = $class->table;
676
677         my $metabib_record_descriptor = metabib::record_descriptor->table;
678         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
679         my $asset_call_number_table = asset::call_number->table;
680         my $asset_copy_table = asset::copy->table;
681         my $cs_table = config::copy_status->table;
682         my $cl_table = asset::copy_location->table;
683
684         my ($index_col) = $class->columns('FTS');
685         $index_col ||= 'value';
686
687         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
688
689         my $fts_where = $fts->sql_where_clause;
690
691         my $has_vols = 'AND cn.owning_lib = d.id';
692         my $has_copies = 'AND cp.call_number = cn.id';
693         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
694         if ($self->api_name =~ /staff/o) {
695                 $copies_visible = '';
696                 $has_vols = '' if ($ou_type == 0);
697                 $has_copies = '' if ($ou_type == 0);
698         }
699
700         # XXX test an "EXISTS version of descendant checking...
701         my $select;
702         if ($copies_visible) {
703                 $select = <<"           SQL";
704                 SELECT  count(distinct  m.metarecord)
705                   FROM  $search_table f,
706                         $metabib_metarecord_source_map_table m,
707                         $asset_call_number_table cn,
708                         $asset_copy_table cp,
709                         $cs_table cs,
710                         $cl_table cl,
711                         $metabib_record_descriptor rd,
712                         $descendants d
713                   WHERE $fts_where
714                         AND m.source = f.source
715                         AND cn.record = m.source
716                         AND rd.record = m.source
717                         AND cp.status = cs.id
718                         AND cp.location = cl.id
719                         $has_vols
720                         $has_copies
721                         $copies_visible
722                         $t_filter
723                         $f_filter
724                 SQL
725         } else {
726                 $select = <<"           SQL";
727                 SELECT  count(distinct  m.metarecord)
728                   FROM  $search_table f,
729                         $metabib_metarecord_source_map_table m,
730                         $metabib_record_descriptor rd
731                   WHERE $fts_where
732                         AND m.source = f.source
733                         AND rd.record = m.source
734                         $t_filter
735                         $f_filter
736                 SQL
737         }
738
739         $log->debug("Field Search Count SQL :: [$select]",DEBUG);
740
741         my $recs = $class->db_Main->selectrow_arrayref($select, {}, @types, @forms)->[0];
742         
743         $log->debug("Count Search yielded $recs results.",DEBUG);
744
745         return $recs;
746
747 }
748 for my $class ( qw/title author subject keyword series/ ) {
749         __PACKAGE__->register_method(
750                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord_count",
751                 method          => 'search_class_fts_count',
752                 api_level       => 1,
753                 stream          => 1,
754                 cdbi            => "metabib::${class}_field_entry",
755                 cachable        => 1,
756         );
757         __PACKAGE__->register_method(
758                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord_count.staff",
759                 method          => 'search_class_fts_count',
760                 api_level       => 1,
761                 stream          => 1,
762                 cdbi            => "metabib::${class}_field_entry",
763                 cachable        => 1,
764         );
765 }
766
767
768 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
769 sub new_search_class_fts {
770         my $self = shift;
771         my $client = shift;
772         my %args = @_;
773         
774         my $term = $args{term};
775         my $ou = $args{org_unit};
776         my $ou_type = $args{depth};
777         my $limit = $args{limit};
778         my $offset = $args{offset} || 0;
779
780         my $limit_clause = '';
781         my $offset_clause = '';
782
783         $limit_clause = "LIMIT $limit" if (defined $limit and int($limit) > 0);
784         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
785
786         my (@types,@forms);
787         my ($t_filter, $f_filter) = ('','');
788
789         if ($args{format}) {
790                 my ($t, $f) = split '-', $args{format};
791                 @types = split '', $t;
792                 @forms = split '', $f;
793                 if (@types) {
794                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
795                 }
796
797                 if (@forms) {
798                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
799                 }
800         }
801
802
803
804         my $descendants = defined($ou_type) ?
805                                 "actor.org_unit_descendants($ou, $ou_type)" :
806                                 "actor.org_unit_descendants($ou)";
807
808         my $class = $self->{cdbi};
809         my $search_table = $class->table;
810
811         my $metabib_record_descriptor = metabib::record_descriptor->table;
812         my $metabib_metarecord = metabib::metarecord->table;
813         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
814         my $asset_call_number_table = asset::call_number->table;
815         my $asset_copy_table = asset::copy->table;
816         my $cs_table = config::copy_status->table;
817         my $cl_table = asset::copy_location->table;
818
819         my ($index_col) = $class->columns('FTS');
820         $index_col ||= 'value';
821
822         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'f.value', "f.$index_col");
823
824         my $fts_where = $fts->sql_where_clause;
825         my @fts_ranks = $fts->fts_rank;
826
827         my $rank = join(' + ', @fts_ranks);
828
829         if ($self->api_name !~ /staff/o) {
830                 $select = <<"           SQL";
831                         SELECT  m.metarecord, 
832                                 (SUM(   $rank
833                                         * CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END -- phrase order
834                                         * CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END -- first word match
835                                         * CASE WHEN f.value ~* ? THEN 2 ELSE 1 END -- only word match
836                                 )/COUNT(m.source)),
837                                 CASE WHEN COUNT(DISTINCT rd.record) = 1 THEN MIN(m.source) ELSE 0 END
838                         FROM    $search_table f,
839                                 $metabib_metarecord_source_map_table m,
840                                 $metabib_metarecord_source_map_table mr,
841                                 $metabib_record_descriptor rd
842                         WHERE   $fts_where
843                                 AND m.source = f.source
844                                 AND mr.metarecord = m.metarecord
845                                 AND rd.record = mr.source
846                                 $t_filter
847                                 $f_filter
848                                 AND EXISTS (
849                                         SELECT  TRUE
850                                           FROM  $asset_call_number_table cn,
851                                                 $asset_copy_table cp,
852                                                 $cs_table cs,
853                                                 $cl_table cl,
854                                                 $descendants d
855                                           WHERE cn.record = mr.source
856                                                 AND cp.status = cs.id
857                                                 AND cp.location = cl.id
858                                                 AND cn.owning_lib = d.id
859                                                 AND cp.call_number = cn.id
860                                                 AND cp.opac_visible IS TRUE
861                                                 AND cs.holdable IS TRUE
862                                                 AND cl.opac_visible IS TRUE )
863                         GROUP BY m.metarecord
864                         ORDER BY 2 DESC, MIN(COALESCE(CHAR_LENGTH(f.value),1))
865                 SQL
866         } else {
867                 $select = <<"           SQL";
868                         SELECT  m.metarecord,
869                                 (SUM(   $rank
870                                         * CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END -- phrase order
871                                         * CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END -- first word match
872                                         * CASE WHEN f.value ~* ? THEN 2 ELSE 1 END -- only word match
873                                 )/COUNT(m.source)),
874                                 CASE WHEN COUNT(DISTINCT rd.record) = 1 THEN MIN(m.source) ELSE 0 END
875                         FROM    $search_table f,
876                                 $metabib_metarecord_source_map_table m,
877                                 $metabib_metarecord_source_map_table mr,
878                                 $metabib_record_descriptor rd
879                         WHERE   $fts_where
880                                 AND m.source = f.source
881                                 AND m.metarecord = mr.metarecord
882                                 AND rd.record = m.source
883                                 $t_filter
884                                 $f_filter
885                         GROUP BY m.metarecord
886                         ORDER BY 2 DESC, MIN(COALESCE(CHAR_LENGTH(f.value),1))
887                 SQL
888         }
889
890         $log->debug("Field Search SQL :: [$select]",DEBUG);
891
892         my $SQLstring = join('%',$fts->words);
893         my $REstring = join('\\s+',$fts->words);
894         my $first_word = ($fts->words)[0].'%';
895         my $recs = ($self->api_name =~ /unordered/o) ? 
896                         $class->db_Main->selectall_arrayref($select, {}, @types, @forms) :
897                         $class->db_Main->selectall_arrayref($select, {},
898                                 '%'.lc($SQLstring).'%',                 # phrase order match
899                                 lc($first_word),                        # first word match
900                                 '^\\s*'.lc($REstring).'\\s*/?\s*$',     # full exact match
901                                 @types, @forms
902                         );
903         
904         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
905
906         my $count = scalar(@$recs);
907         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
908                 my ($mrid,$rank,$skip) = @$rec;
909                 $client->respond( [$mrid, sprintf('%0.3f',$rank), $skip, $count] );
910         }
911         return undef;
912 }
913
914 for my $class ( qw/title author subject keyword series/ ) {
915         __PACKAGE__->register_method(
916                 api_name        => "open-ils.storage.metabib.$class.new_search_fts.metarecord",
917                 method          => 'new_search_class_fts',
918                 api_level       => 1,
919                 stream          => 1,
920                 cdbi            => "metabib::${class}_field_entry",
921                 cachable        => 1,
922         );
923         __PACKAGE__->register_method(
924                 api_name        => "open-ils.storage.metabib.$class.new_search_fts.metarecord.staff",
925                 method          => 'new_search_class_fts',
926                 api_level       => 1,
927                 stream          => 1,
928                 cdbi            => "metabib::${class}_field_entry",
929                 cachable        => 1,
930         );
931 }
932
933
934
935
936 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
937 sub postfilter_search_class_fts {
938         my $self = shift;
939         my $client = shift;
940         my %args = @_;
941         
942         my $term = $args{term};
943         my $ou = $args{org_unit};
944         my $ou_type = $args{depth};
945         my $limit = $args{limit};
946         my $offset = $args{offset} || 0;
947
948         my $outer_limit = 1000;
949
950         my $limit_clause = '';
951         my $offset_clause = '';
952
953         $limit_clause = "LIMIT $outer_limit";
954         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
955
956         my (@types,@forms);
957         my ($t_filter, $f_filter) = ('','');
958
959         if ($args{format}) {
960                 my ($t, $f) = split '-', $args{format};
961                 @types = split '', $t;
962                 @forms = split '', $f;
963                 if (@types) {
964                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
965                 }
966
967                 if (@forms) {
968                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
969                 }
970         }
971
972
973
974         my $descendants = defined($ou_type) ?
975                                 "actor.org_unit_descendants($ou, $ou_type)" :
976                                 "actor.org_unit_descendants($ou)";
977
978         my $class = $self->{cdbi};
979         my $search_table = $class->table;
980
981         my $metabib_record_descriptor = metabib::record_descriptor->table;
982         my $metabib_metarecord = metabib::metarecord->table;
983         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
984         my $asset_call_number_table = asset::call_number->table;
985         my $asset_copy_table = asset::copy->table;
986         my $cs_table = config::copy_status->table;
987         my $cl_table = asset::copy_location->table;
988
989         my ($index_col) = $class->columns('FTS');
990         $index_col ||= 'value';
991
992         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'f.value', "f.$index_col");
993
994         my $fts_where = $fts->sql_where_clause;
995         my @fts_ranks = $fts->fts_rank;
996
997         my $rank = join(' + ', @fts_ranks);
998
999         my $select = <<"        SQL";
1000                 SELECT  m.metarecord,
1001                         (SUM(   $rank
1002                                 * CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END -- phrase order
1003                                 * CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END -- first word match
1004                                 * CASE WHEN f.value ~* ? THEN 2 ELSE 1 END -- only word match
1005                         )/COUNT(m.source)),
1006                         CASE WHEN COUNT(DISTINCT rd.record) = 1 THEN MIN(m.source) ELSE 0 END
1007                 FROM    $search_table f,
1008                         $metabib_metarecord_source_map_table m,
1009                         $metabib_metarecord_source_map_table mr,
1010                         $metabib_record_descriptor rd
1011                 WHERE   $fts_where
1012                         AND m.source = f.source
1013                         AND m.metarecord = mr.metarecord
1014                         AND rd.record = m.source
1015                         $t_filter
1016                         $f_filter
1017                 GROUP BY m.metarecord
1018                 ORDER BY 2 DESC, MIN(COALESCE(CHAR_LENGTH(f.value),1))
1019                 LIMIT 10000
1020         SQL
1021
1022         if ($self->api_name !~ /staff/o) {
1023                 $select = <<"           SQL";
1024
1025                         SELECT  DISTINCT s.*
1026                           FROM  $asset_call_number_table cn,
1027                                 $metabib_metarecord_source_map_table mr,
1028                                 $asset_copy_table cp,
1029                                 $cs_table cs,
1030                                 $cl_table cl,
1031                                 $descendants d,
1032                                 ($select) s
1033                           WHERE mr.metarecord = s.metarecord
1034                                 AND cn.record = mr.source
1035                                 AND cp.status = cs.id
1036                                 AND cp.location = cl.id
1037                                 AND cn.owning_lib = d.id
1038                                 AND cp.call_number = cn.id
1039                                 AND cp.opac_visible IS TRUE
1040                                 AND cs.holdable IS TRUE
1041                                 AND cl.opac_visible IS TRUE
1042                           ORDER BY 2 DESC
1043                 SQL
1044         }
1045
1046
1047         $log->debug("Field Search SQL :: [$select]",DEBUG);
1048
1049         my $SQLstring = join('%',$fts->words);
1050         my $REstring = join('\\s+',$fts->words);
1051         my $first_word = ($fts->words)[0].'%';
1052         my $recs = $class->db_Main->selectall_arrayref(
1053                         $select, {},
1054                         '%'.lc($SQLstring).'%',                 # phrase order match
1055                         lc($first_word),                        # first word match
1056                         '^\\s*'.lc($REstring).'\\s*/?\s*$',     # full exact match
1057                         @types, @forms );
1058         
1059         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
1060
1061         my $count = scalar(@$recs);
1062         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
1063                 my ($mrid,$rank,$skip) = @$rec;
1064                 $client->respond( [$mrid, sprintf('%0.3f',$rank), $skip, $count] );
1065         }
1066         return undef;
1067 }
1068
1069 for my $class ( qw/title author subject keyword series/ ) {
1070         __PACKAGE__->register_method(
1071                 api_name        => "open-ils.storage.metabib.$class.post_filter.search_fts.metarecord",
1072                 method          => 'postfilter_search_class_fts',
1073                 api_level       => 1,
1074                 stream          => 1,
1075                 cdbi            => "metabib::${class}_field_entry",
1076                 cachable        => 1,
1077         );
1078         __PACKAGE__->register_method(
1079                 api_name        => "open-ils.storage.metabib.$class.post_filter.search_fts.metarecord.staff",
1080                 method          => 'postfilter_search_class_fts',
1081                 api_level       => 1,
1082                 stream          => 1,
1083                 cdbi            => "metabib::${class}_field_entry",
1084                 cachable        => 1,
1085         );
1086 }
1087
1088
1089 my $_cdbi = {   title   => "metabib::title_field_entry",
1090                 author  => "metabib::author_field_entry",
1091                 subject => "metabib::subject_field_entry",
1092                 keyword => "metabib::keyword_field_entry",
1093                 series  => "metabib::series_field_entry",
1094 };
1095
1096
1097
1098 1;