fixing visibility tests, skip check, and removing local copy count
[Evergreen.git] / Open-ILS / src / perlmods / OpenILS / Application / Storage / Publisher / metabib.pm
1 package OpenILS::Application::Storage::Publisher::metabib;
2 use base qw/OpenILS::Application::Storage::Publisher/;
3 use vars qw/$VERSION/;
4 use OpenSRF::EX qw/:try/;
5 use OpenILS::Application::Storage::FTS;
6 use OpenILS::Utils::Fieldmapper;
7 use OpenSRF::Utils::Logger qw/:level/;
8 use OpenSRF::Utils::Cache;
9 use Data::Dumper;
10 use Digest::MD5 qw/md5_hex/;
11
12
13 my $log = 'OpenSRF::Utils::Logger';
14
15 $VERSION = 1;
16
17 # need to order record IDs by:
18 #  1) format - text, movie, sound, software, images, maps, mixed, music, 3d
19 #  2) proximity --- XXX Can't do it cheap...
20 #  3) count
21 sub ordered_records_from_metarecord {
22         my $self = shift;
23         my $client = shift;
24         my $mr = shift;
25         my $formats = shift;
26
27         my (@types,@forms);
28
29         if ($formats) {
30                 my ($t, $f) = split '-', $formats;
31                 @types = split '', $t;
32                 @forms = split '', $f;
33         }
34
35         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
36         $copies_visible = '' if ($self->api_name =~ /staff/o);
37
38         my $sm_table = metabib::metarecord_source_map->table;
39         my $rd_table = metabib::record_descriptor->table;
40         my $cn_table = asset::call_number->table;
41         my $cl_table = asset::copy_location->table;
42         my $cp_table = asset::copy->table;
43         my $cs_table = config::copy_status->table;
44         my $out_table = actor::org_unit_type->table;
45
46         my $sql = <<"   SQL";
47          SELECT *
48            FROM (
49                 SELECT  rd.record,
50                         rd.item_type,
51                         rd.item_form,
52         SQL
53
54         if ($copies_visible) {
55                 $sql .= <<"             SQL"; 
56                         sum((SELECT     count(cp.id)
57                                FROM     $cp_table cp
58                                         JOIN $cs_table cs ON (cp.status = cs.id)
59                                         JOIN $cl_table cl ON (cp.location = cl.id)
60                                WHERE    cn.id = cp.call_number
61                                         $copies_visible
62                           )) AS count
63                 SQL
64         } else {
65                 $sql .= '0 AS count';
66         }
67
68         if ($copies_visible) {
69                 $sql .= <<"             SQL";
70                   FROM  $cn_table cn,
71                         $sm_table sm,
72                         $rd_table rd
73                   WHERE rd.record = sm.source
74                         AND cn.record = rd.record
75                         AND sm.metarecord = ?
76                 SQL
77         } else {
78                 $sql .= <<"             SQL";
79                   FROM  $sm_table sm,
80                         $rd_table rd
81                   WHERE rd.record = sm.source
82                         AND sm.metarecord = ?
83                 SQL
84         }
85
86         $sql .= <<"     SQL";
87                   GROUP BY rd.record, rd.item_type, rd.item_form
88                   ORDER BY
89                         CASE
90                                 WHEN rd.item_type IS NULL -- default
91                                         THEN 0
92                                 WHEN rd.item_type = '' -- default
93                                         THEN 0
94                                 WHEN rd.item_type IN ('a','t') -- books
95                                         THEN 1
96                                 WHEN rd.item_type = 'g' -- movies
97                                         THEN 2
98                                 WHEN rd.item_type IN ('i','j') -- sound recordings
99                                         THEN 3
100                                 WHEN rd.item_type = 'm' -- software
101                                         THEN 4
102                                 WHEN rd.item_type = 'k' -- images
103                                         THEN 5
104                                 WHEN rd.item_type IN ('e','f') -- maps
105                                         THEN 6
106                                 WHEN rd.item_type IN ('o','p') -- mixed
107                                         THEN 7
108                                 WHEN rd.item_type IN ('c','d') -- music
109                                         THEN 8
110                                 WHEN rd.item_type = 'r' -- 3d
111                                         THEN 9
112                         END,
113                         count DESC
114                 ) x
115         SQL
116
117         if ($copies_visible) {
118                 $sql .= ' WHERE x.count > 0'
119         }
120
121         if (@types) {
122                 $sql .= ' AND x.item_type IN ('.join(',',map{'?'}@types).')';
123         }
124
125         if (@forms) {
126                 $sql .= ' AND x.item_form IN ('.join(',',map{'?'}@forms).')';
127         }
128
129         my $sth = metabib::metarecord_source_map->db_Main->prepare_cached($sql);
130         $sth->execute("$mr", @types, @forms);
131         while ( my $row = $sth->fetchrow_arrayref ) {
132                 $client->respond( $$row[0] );
133         }
134         return undef;
135
136 }
137 __PACKAGE__->register_method(
138         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records',
139         method          => 'ordered_records_from_metarecord',
140         api_level       => 1,
141         stream          => 1,
142         cachable        => 1,
143 );
144 __PACKAGE__->register_method(
145         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records.staff',
146         method          => 'ordered_records_from_metarecord',
147         api_level       => 1,
148         stream          => 1,
149         cachable        => 1,
150 );
151
152
153 sub metarecord_copy_count {
154         my $self = shift;
155         my $client = shift;
156
157         my %args = @_;
158
159         my $sm_table = metabib::metarecord_source_map->table;
160         my $cn_table = asset::call_number->table;
161         my $cp_table = asset::copy->table;
162         my $cl_table = asset::copy_location->table;
163         my $cs_table = config::copy_status->table;
164         my $out_table = actor::org_unit_type->table;
165         my $descendants = "actor.org_unit_descendants(u.id)";
166         my $ancestors = "actor.org_unit_ancestors(?)";
167
168         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
169         $copies_visible = '' if ($self->api_name =~ /staff/o);
170
171         my $sql = <<"   SQL";
172                 SELECT  t.depth,
173                         u.id AS org_unit,
174                         sum(
175                                 (SELECT count(cp.id)
176                                   FROM  $sm_table r
177                                         JOIN $cn_table cn ON (cn.record = r.source)
178                                         JOIN $cp_table cp ON (cn.id = cp.call_number)
179                                         JOIN $cs_table cs ON (cp.status = cs.id)
180                                         JOIN $cl_table cl ON (cp.location = cl.id)
181                                         JOIN $descendants a ON (cp.circ_lib = a.id)
182                                   WHERE r.metarecord = ?
183                                         $copies_visible
184                                 )
185                         ) AS count,
186                         sum(
187                                 (SELECT count(cp.id)
188                                   FROM  $sm_table r
189                                         JOIN $cn_table cn ON (cn.record = r.source)
190                                         JOIN $cp_table cp ON (cn.id = cp.call_number)
191                                         JOIN $cs_table cs ON (cp.status = cs.id)
192                                         JOIN $cl_table cl ON (cp.location = cl.id)
193                                         JOIN $descendants a ON (cp.circ_lib = a.id)
194                                   WHERE r.metarecord = ?
195                                         AND cp.status = 0
196                                         $copies_visible
197                                 )
198                         ) AS available
199
200                   FROM  $ancestors u
201                         JOIN $out_table t ON (u.ou_type = t.id)
202                   GROUP BY 1,2
203         SQL
204
205         my $sth = metabib::metarecord_source_map->db_Main->prepare_cached($sql);
206         $sth->execute(''.$args{metarecord}, ''.$args{metarecord}, ''.$args{org_unit});
207         while ( my $row = $sth->fetchrow_hashref ) {
208                 $client->respond( $row );
209         }
210         return undef;
211 }
212 __PACKAGE__->register_method(
213         api_name        => 'open-ils.storage.metabib.metarecord.copy_count',
214         method          => 'metarecord_copy_count',
215         api_level       => 1,
216         stream          => 1,
217         cachable        => 1,
218 );
219 __PACKAGE__->register_method(
220         api_name        => 'open-ils.storage.metabib.metarecord.copy_count.staff',
221         method          => 'metarecord_copy_count',
222         api_level       => 1,
223         stream          => 1,
224         cachable        => 1,
225 );
226
227 sub multi_search_full_rec {
228         my $self = shift;
229         my $client = shift;
230
231         my %args = @_;  
232         my $class_join = $args{class_join} || 'AND';
233         my @binds;
234         my @selects;
235
236         for my $arg (@{ $args{searches} }) {
237                 my $term = $$arg{term};
238                 my $limiters = $$arg{restrict};
239
240                 my ($index_col) = metabib::full_rec->columns('FTS');
241                 $index_col ||= 'value';
242                 my $search_table = metabib::full_rec->table;
243
244                 my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
245
246                 my $fts_where = $fts->sql_where_clause();
247                 my @fts_ranks = $fts->fts_rank;
248
249                 my $rank = join(' + ', @fts_ranks);
250
251                 my @wheres;
252                 for my $limit (@$limiters) {
253                         push @wheres, "( tag = ? AND subfield LIKE ? AND $fts_where )";
254                         push @binds, $$limit{tag}, $$limit{subfield};
255                         $log->debug("Limiting query using { tag => $$limit{tag}, subfield => $$limit{subfield} }", DEBUG);
256                 }
257                 my $where = join(' OR ', @wheres);
258
259                 push @selects, "SELECT record, sum($rank) FROM $search_table WHERE $where GROUP BY 1 ORDER BY 2 DESC";
260
261         }
262
263         my $descendants = defined($args{depth}) ?
264                                 "actor.org_unit_descendants($args{org_unit}, $args{depth})" :
265                                 defined($args{depth}) ?
266                                         "actor.org_unit_descendants($args{org_unit})" :
267                                         "actor.org_unit";
268
269
270         my $metabib_record_descriptor = metabib::record_descriptor->table;
271         my $metabib_metarecord = metabib::metarecord->table;
272         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
273         my $asset_call_number_table = asset::call_number->table;
274         my $asset_copy_table = asset::copy->table;
275         my $cs_table = config::copy_status->table;
276         my $cl_table = asset::copy_location->table;
277
278         my $cj = ''; $cj = 'HAVING COUNT(x.record) > 1' if ($class_join eq 'AND');
279         my $search_table = '(SELECT x.record, sum(x.sum) FROM (('.join(') UNION ALL (', @selects).")) x GROUP BY 1 $cj )";
280
281         my $has_vols = 'AND cn.owning_lib = d.id';
282         my $has_copies = 'AND cp.call_number = cn.id';
283         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
284
285         if ($self->api_name =~ /staff/o) {
286                 $copies_visible = '';
287                 $has_copies = '' if ($ou_type == 0);
288                 $has_vols = '' if ($ou_type == 0);
289         }
290
291         my ($t_filter, $f_filter) = ('','');
292
293         if ($args{format}) {
294                 my ($t, $f) = split '-', $args{format};
295                 my @types = split '', $t;
296                 my @forms = split '', $f;
297                 if (@types) {
298                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
299                 }
300
301                 if (@forms) {
302                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
303                 }
304                 push @binds, @types, @forms;
305         }
306
307
308         if ($copies_visible) {
309                 $select = <<"           SQL";
310                         SELECT  m.metarecord, sum(f.sum), count(DISTINCT cp.id), CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
311                         FROM    $search_table f,
312                                 $metabib_metarecord_source_map_table m,
313                                 $asset_call_number_table cn,
314                                 $asset_copy_table cp,
315                                 $cs_table cs,
316                                 $cl_table cl,
317                                 $metabib_record_descriptor rd,
318                                 $descendants d
319                         WHERE   m.source = f.record
320                                 AND cn.record = m.source
321                                 AND rd.record = m.source
322                                 AND cp.status = cs.id
323                                 AND cp.location = cl.id
324                                 $has_vols
325                                 $has_copies
326                                 $copies_visible
327                                 $t_filter
328                                 $f_filter
329                         GROUP BY m.metarecord HAVING count(DISTINCT cp.id) > 0
330                         ORDER BY 2 DESC,3 DESC
331                 SQL
332         } else {
333                 $select = <<"           SQL";
334                         SELECT  m.metarecord, 1, 0, CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
335                         FROM    $search_table f,
336                                 $metabib_metarecord_source_map_table m,
337                                 $metabib_record_descriptor rd
338                         WHERE   m.source = f.record
339                                 AND rd.record = m.source
340                                 $t_filter
341                                 $f_filter
342                         GROUP BY 1,2,3 
343                 SQL
344         }
345
346
347         $log->debug("Search SQL :: [$select]",DEBUG);
348
349         my $recs = metabib::full_rec->db_Main->selectall_arrayref("$select;", {}, @binds);
350         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
351
352         $client->respond($_) for (@$recs);
353         return undef;
354 }
355 __PACKAGE__->register_method(
356         api_name        => 'open-ils.storage.metabib.full_rec.multi_search',
357         method          => 'multi_search_full_rec',
358         api_level       => 1,
359         stream          => 1,
360         cachable        => 1,
361 );
362 __PACKAGE__->register_method(
363         api_name        => 'open-ils.storage.metabib.full_rec.multi_search.staff',
364         method          => 'multi_search_full_rec',
365         api_level       => 1,
366         stream          => 1,
367         cachable        => 1,
368 );
369
370 sub search_full_rec {
371         my $self = shift;
372         my $client = shift;
373
374         my %args = @_;
375         
376         my $term = $args{term};
377         my $limiters = $args{restrict};
378
379         my ($index_col) = metabib::full_rec->columns('FTS');
380         $index_col ||= 'value';
381         my $search_table = metabib::full_rec->table;
382
383         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
384
385         my $fts_where = $fts->sql_where_clause();
386         my @fts_ranks = $fts->fts_rank;
387
388         my $rank = join(' + ', @fts_ranks);
389
390         my @binds;
391         my @wheres;
392         for my $limit (@$limiters) {
393                 push @wheres, "( tag = ? AND subfield LIKE ? AND $fts_where )";
394                 push @binds, $$limit{tag}, $$limit{subfield};
395                 $log->debug("Limiting query using { tag => $$limit{tag}, subfield => $$limit{subfield} }", DEBUG);
396         }
397         my $where = join(' OR ', @wheres);
398
399         my $select = "SELECT record, sum($rank) FROM $search_table WHERE $where GROUP BY 1 ORDER BY 2 DESC;";
400
401         $log->debug("Search SQL :: [$select]",DEBUG);
402
403         my $recs = metabib::full_rec->db_Main->selectall_arrayref($select, {}, @binds);
404         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
405
406         $client->respond($_) for (@$recs);
407         return undef;
408 }
409 __PACKAGE__->register_method(
410         api_name        => 'open-ils.storage.direct.metabib.full_rec.search_fts.value',
411         method          => 'search_full_rec',
412         api_level       => 1,
413         stream          => 1,
414         cachable        => 1,
415 );
416 __PACKAGE__->register_method(
417         api_name        => 'open-ils.storage.direct.metabib.full_rec.search_fts.index_vector',
418         method          => 'search_full_rec',
419         api_level       => 1,
420         stream          => 1,
421         cachable        => 1,
422 );
423
424
425 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
426 sub search_class_fts {
427         my $self = shift;
428         my $client = shift;
429         my %args = @_;
430         
431         my $term = $args{term};
432         my $ou = $args{org_unit};
433         my $ou_type = $args{depth};
434         my $limit = $args{limit};
435         my $offset = $args{offset};
436
437         my $limit_clause = '';
438         my $offset_clause = '';
439
440         $limit_clause = "LIMIT $limit" if (defined $limit and int($limit) > 0);
441         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
442
443         my (@types,@forms);
444         my ($t_filter, $f_filter) = ('','');
445
446         if ($args{format}) {
447                 my ($t, $f) = split '-', $args{format};
448                 @types = split '', $t;
449                 @forms = split '', $f;
450                 if (@types) {
451                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
452                 }
453
454                 if (@forms) {
455                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
456                 }
457         }
458
459
460
461         my $descendants = defined($ou_type) ?
462                                 "actor.org_unit_descendants($ou, $ou_type)" :
463                                 "actor.org_unit_descendants($ou)";
464
465         my $class = $self->{cdbi};
466         my $search_table = $class->table;
467
468         my $metabib_record_descriptor = metabib::record_descriptor->table;
469         my $metabib_metarecord = metabib::metarecord->table;
470         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
471         my $asset_call_number_table = asset::call_number->table;
472         my $asset_copy_table = asset::copy->table;
473         my $cs_table = config::copy_status->table;
474         my $cl_table = asset::copy_location->table;
475
476         my ($index_col) = $class->columns('FTS');
477         $index_col ||= 'value';
478
479         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'f.value', "f.$index_col");
480
481         my $fts_where = $fts->sql_where_clause;
482         my @fts_ranks = $fts->fts_rank;
483
484         my $rank = join(' + ', @fts_ranks);
485
486         my $has_vols = 'AND cn.owning_lib = d.id';
487         my $has_copies = 'AND cp.call_number = cn.id';
488         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
489
490         my $visible_count = ', count(DISTINCT cp.id)';
491         my $visible_count_test = 'HAVING count(DISTINCT cp.id) > 0';
492
493         if ($self->api_name =~ /staff/o) {
494                 $copies_visible = '';
495                 $visible_count_test = '';
496                 $has_copies = '' if ($ou_type == 0);
497                 $has_vols = '' if ($ou_type == 0);
498         }
499
500         my $rank_calc = <<"     RANK";
501                 , (SUM( $rank
502                         * CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END -- phrase order
503                         * CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END -- first word match
504                         * CASE WHEN f.value ~* ? THEN 2 ELSE 1 END -- only word match
505                 )/COUNT(m.source)), MIN(COALESCE(CHAR_LENGTH(f.value),1))
506         RANK
507
508         $rank_calc = ',1 , 1' if ($self->api_name =~ /unordered/o);
509
510         if ($copies_visible) {
511                 $select = <<"           SQL";
512                         SELECT  m.metarecord $rank_calc $visible_count, CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
513                         FROM    $search_table f,
514                                 $metabib_metarecord_source_map_table m,
515                                 $asset_call_number_table cn,
516                                 $asset_copy_table cp,
517                                 $cs_table cs,
518                                 $cl_table cl,
519                                 $metabib_record_descriptor rd,
520                                 $descendants d
521                         WHERE   $fts_where
522                                 AND m.source = f.source
523                                 AND cn.record = m.source
524                                 AND rd.record = m.source
525                                 AND cp.status = cs.id
526                                 AND cp.location = cl.id
527                                 $has_vols
528                                 $has_copies
529                                 $copies_visible
530                                 $t_filter
531                                 $f_filter
532                         GROUP BY 1 $visible_count_test
533                         ORDER BY 2 DESC,3
534                         $limit_clause $offset_clause
535                 SQL
536         } else {
537                 $select = <<"           SQL";
538                         SELECT  m.metarecord $rank_calc, 0, CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
539                         FROM    $search_table f,
540                                 $metabib_metarecord_source_map_table m,
541                                 $metabib_record_descriptor rd
542                         WHERE   $fts_where
543                                 AND m.source = f.source
544                                 AND rd.record = m.source
545                                 $t_filter
546                                 $f_filter
547                         GROUP BY 1, 4
548                         ORDER BY 2 DESC,3
549                         $limit_clause $offset_clause
550                 SQL
551         }
552
553         $log->debug("Field Search SQL :: [$select]",DEBUG);
554
555         my $SQLstring = join('%',$fts->words);
556         my $REstring = join('\\s+',$fts->words);
557         my $first_word = ($fts->words)[0].'%';
558         my $recs = ($self->api_name =~ /unordered/o) ? 
559                         $class->db_Main->selectall_arrayref($select, {}, @types, @forms) :
560                         $class->db_Main->selectall_arrayref($select, {},
561                                 '%'.lc($SQLstring).'%',                 # phrase order match
562                                 lc($first_word),                        # first word match
563                                 '^\\s*'.lc($REstring).'\\s*/?\s*$',     # full exact match
564                                 @types, @forms
565                         );
566         
567         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
568
569         $client->respond($_) for (map { [@$_[0,1,3,4]] } @$recs);
570         return undef;
571 }
572
573 for my $class ( qw/title author subject keyword series/ ) {
574         __PACKAGE__->register_method(
575                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord",
576                 method          => 'search_class_fts',
577                 api_level       => 1,
578                 stream          => 1,
579                 cdbi            => "metabib::${class}_field_entry",
580                 cachable        => 1,
581         );
582         __PACKAGE__->register_method(
583                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.unordered",
584                 method          => 'search_class_fts',
585                 api_level       => 1,
586                 stream          => 1,
587                 cdbi            => "metabib::${class}_field_entry",
588                 cachable        => 1,
589         );
590         __PACKAGE__->register_method(
591                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.staff",
592                 method          => 'search_class_fts',
593                 api_level       => 1,
594                 stream          => 1,
595                 cdbi            => "metabib::${class}_field_entry",
596                 cachable        => 1,
597         );
598         __PACKAGE__->register_method(
599                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.staff.unordered",
600                 method          => 'search_class_fts',
601                 api_level       => 1,
602                 stream          => 1,
603                 cdbi            => "metabib::${class}_field_entry",
604                 cachable        => 1,
605         );
606 }
607
608 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
609 sub search_class_fts_count {
610         my $self = shift;
611         my $client = shift;
612         my %args = @_;
613         
614         my $term = $args{term};
615         my $ou = $args{org_unit};
616         my $ou_type = $args{depth};
617         my $limit = $args{limit} || 100;
618         my $offset = $args{offset} || 0;
619
620         my $descendants = defined($ou_type) ?
621                                 "actor.org_unit_descendants($ou, $ou_type)" :
622                                 "actor.org_unit_descendants($ou)";
623                 
624         my (@types,@forms);
625         my ($t_filter, $f_filter) = ('','');
626
627         if ($args{format}) {
628                 my ($t, $f) = split '-', $args{format};
629                 @types = split '', $t;
630                 @forms = split '', $f;
631                 if (@types) {
632                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
633                 }
634
635                 if (@forms) {
636                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
637                 }
638         }
639
640
641         (my $search_class = $self->api_name) =~ s/.*metabib.(\w+).search_fts.*/$1/o;
642
643         my $class = $self->{cdbi};
644         my $search_table = $class->table;
645
646         my $metabib_record_descriptor = metabib::record_descriptor->table;
647         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
648         my $asset_call_number_table = asset::call_number->table;
649         my $asset_copy_table = asset::copy->table;
650         my $cs_table = config::copy_status->table;
651         my $cl_table = asset::copy_location->table;
652
653         my ($index_col) = $class->columns('FTS');
654         $index_col ||= 'value';
655
656         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
657
658         my $fts_where = $fts->sql_where_clause;
659
660         my $has_vols = 'AND cn.owning_lib = d.id';
661         my $has_copies = 'AND cp.call_number = cn.id';
662         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
663         if ($self->api_name =~ /staff/o) {
664                 $copies_visible = '';
665                 $has_vols = '' if ($ou_type == 0);
666                 $has_copies = '' if ($ou_type == 0);
667         }
668
669         # XXX test an "EXISTS version of descendant checking...
670         my $select;
671         if ($copies_visible) {
672                 $select = <<"           SQL";
673                 SELECT  count(distinct  m.metarecord)
674                   FROM  $search_table f,
675                         $metabib_metarecord_source_map_table m,
676                         $asset_call_number_table cn,
677                         $asset_copy_table cp,
678                         $cs_table cs,
679                         $cl_table cl,
680                         $metabib_record_descriptor rd,
681                         $descendants d
682                   WHERE $fts_where
683                         AND m.source = f.source
684                         AND cn.record = m.source
685                         AND rd.record = m.source
686                         AND cp.status = cs.id
687                         AND cp.location = cl.id
688                         $has_vols
689                         $has_copies
690                         $copies_visible
691                         $t_filter
692                         $f_filter
693                 SQL
694         } else {
695                 $select = <<"           SQL";
696                 SELECT  count(distinct  m.metarecord)
697                   FROM  $search_table f,
698                         $metabib_metarecord_source_map_table m,
699                         $metabib_record_descriptor rd
700                   WHERE $fts_where
701                         AND m.source = f.source
702                         AND rd.record = m.source
703                         $t_filter
704                         $f_filter
705                 SQL
706         }
707
708         $log->debug("Field Search Count SQL :: [$select]",DEBUG);
709
710         my $recs = $class->db_Main->selectrow_arrayref($select, {}, @types, @forms)->[0];
711         
712         $log->debug("Count Search yielded $recs results.",DEBUG);
713
714         return $recs;
715
716 }
717 for my $class ( qw/title author subject keyword series/ ) {
718         __PACKAGE__->register_method(
719                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord_count",
720                 method          => 'search_class_fts_count',
721                 api_level       => 1,
722                 stream          => 1,
723                 cdbi            => "metabib::${class}_field_entry",
724                 cachable        => 1,
725         );
726         __PACKAGE__->register_method(
727                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord_count.staff",
728                 method          => 'search_class_fts_count',
729                 api_level       => 1,
730                 stream          => 1,
731                 cdbi            => "metabib::${class}_field_entry",
732                 cachable        => 1,
733         );
734 }
735
736
737
738
739
740 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
741 sub new_search_class_fts {
742         my $self = shift;
743         my $client = shift;
744         my %args = @_;
745         
746         my $term = $args{term};
747         my $ou = $args{org_unit};
748         my $ou_type = $args{depth};
749         my $limit = $args{limit};
750         my $offset = $args{offset} || 0;
751
752         my $limit_clause = '';
753         my $offset_clause = '';
754
755         $limit_clause = "LIMIT $limit" if (defined $limit and int($limit) > 0);
756         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
757
758         my (@types,@forms);
759         my ($t_filter, $f_filter) = ('','');
760
761         if ($args{format}) {
762                 my ($t, $f) = split '-', $args{format};
763                 @types = split '', $t;
764                 @forms = split '', $f;
765                 if (@types) {
766                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
767                 }
768
769                 if (@forms) {
770                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
771                 }
772         }
773
774
775
776         my $descendants = defined($ou_type) ?
777                                 "actor.org_unit_descendants($ou, $ou_type)" :
778                                 "actor.org_unit_descendants($ou)";
779
780         my $class = $self->{cdbi};
781         my $search_table = $class->table;
782
783         my $metabib_record_descriptor = metabib::record_descriptor->table;
784         my $metabib_metarecord = metabib::metarecord->table;
785         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
786         my $asset_call_number_table = asset::call_number->table;
787         my $asset_copy_table = asset::copy->table;
788         my $cs_table = config::copy_status->table;
789         my $cl_table = asset::copy_location->table;
790
791         my ($index_col) = $class->columns('FTS');
792         $index_col ||= 'value';
793
794         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'f.value', "f.$index_col");
795
796         my $fts_where = $fts->sql_where_clause;
797         my @fts_ranks = $fts->fts_rank;
798
799         my $rank = join(' + ', @fts_ranks);
800
801         if ($self->api_name !~ /staff/o) {
802                 $select = <<"           SQL";
803                         SELECT  m.metarecord, 
804                                 (SUM(   $rank
805                                         * CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END -- phrase order
806                                         * CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END -- first word match
807                                         * CASE WHEN f.value ~* ? THEN 2 ELSE 1 END -- only word match
808                                 )/COUNT(m.source)),
809                                 CASE WHEN COUNT(mr.source) = 1 THEN MIN(m.source) ELSE 0 END
810                         FROM    $search_table f,
811                                 $metabib_metarecord_source_map_table m,
812                                 $metabib_metarecord_source_map_table mr,
813                                 $metabib_record_descriptor rd
814                         WHERE   $fts_where
815                                 AND m.source = f.source
816                                 AND mr.metarecord = m.metarecord
817                                 AND rd.record = mr.source
818                                 $t_filter
819                                 $f_filter
820                                 AND EXISTS (
821                                         SELECT  TRUE
822                                           FROM  $asset_call_number_table cn,
823                                                 $asset_copy_table cp,
824                                                 $cs_table cs,
825                                                 $cl_table cl,
826                                                 $descendants d
827                                           WHERE cn.record = mr.source
828                                                 AND cp.status = cs.id
829                                                 AND cp.location = cl.id
830                                                 AND cn.owning_lib = d.id
831                                                 AND cp.call_number = cn.id
832                                                 AND cp.opac_visible IS TRUE
833                                                 AND cs.holdable IS TRUE
834                                                 AND cl.opac_visible IS TRUE )
835                         GROUP BY m.metarecord
836                         ORDER BY 2 DESC, MIN(COALESCE(CHAR_LENGTH(f.value),1))
837                 SQL
838         } else {
839                 $select = <<"           SQL";
840                         SELECT  m.metarecord,
841                                 (SUM(   $rank
842                                         * CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END -- phrase order
843                                         * CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END -- first word match
844                                         * CASE WHEN f.value ~* ? THEN 2 ELSE 1 END -- only word match
845                                 )/COUNT(m.source)),
846                                 CASE WHEN COUNT(mr.source) = 1 THEN MIN(m.source) ELSE 0 END
847                         FROM    $search_table f,
848                                 $metabib_metarecord_source_map_table m,
849                                 $metabib_metarecord_source_map_table mr,
850                                 $metabib_record_descriptor rd
851                         WHERE   $fts_where
852                                 AND m.source = f.source
853                                 AND m.metarecord = mr.metarecord
854                                 AND rd.record = m.source
855                                 $t_filter
856                                 $f_filter
857                         GROUP BY m.metarecord
858                         ORDER BY 2 DESC, MIN(COALESCE(CHAR_LENGTH(f.value),1))
859                 SQL
860         }
861
862         $log->debug("Field Search SQL :: [$select]",DEBUG);
863
864         my $SQLstring = join('%',$fts->words);
865         my $REstring = join('\\s+',$fts->words);
866         my $first_word = ($fts->words)[0].'%';
867         my $recs = ($self->api_name =~ /unordered/o) ? 
868                         $class->db_Main->selectall_arrayref($select, {}, @types, @forms) :
869                         $class->db_Main->selectall_arrayref($select, {},
870                                 '%'.lc($SQLstring).'%',                 # phrase order match
871                                 lc($first_word),                        # first word match
872                                 '^\\s*'.lc($REstring).'\\s*/?\s*$',     # full exact match
873                                 @types, @forms
874                         );
875         
876         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
877
878         my $count = scalar(@$recs);
879         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
880                 my ($mrid,$rank,$skip) = @$rec;
881                 $client->respond( [$mrid, sprintf('%0.3f',$rank), $skip, $count] );
882         }
883         return undef;
884 }
885
886 for my $class ( qw/title author subject keyword series/ ) {
887         __PACKAGE__->register_method(
888                 api_name        => "open-ils.storage.metabib.$class.new_search_fts.metarecord",
889                 method          => 'new_search_class_fts',
890                 api_level       => 1,
891                 stream          => 1,
892                 cdbi            => "metabib::${class}_field_entry",
893                 cachable        => 1,
894         );
895         __PACKAGE__->register_method(
896                 api_name        => "open-ils.storage.metabib.$class.new_search_fts.metarecord.staff",
897                 method          => 'new_search_class_fts',
898                 api_level       => 1,
899                 stream          => 1,
900                 cdbi            => "metabib::${class}_field_entry",
901                 cachable        => 1,
902         );
903 }
904
905
906 my $_cdbi = {   title   => "metabib::title_field_entry",
907                 author  => "metabib::author_field_entry",
908                 subject => "metabib::subject_field_entry",
909                 keyword => "metabib::keyword_field_entry",
910                 series  => "metabib::series_field_entry",
911 };
912
913
914
915 1;