]> git.evergreen-ils.org Git - Evergreen.git/blob - Open-ILS/src/perlmods/OpenILS/Application/Storage/Publisher/metabib.pm
3c6dd180c4d8fbcf025bad7fb427c03f08e8674b
[Evergreen.git] / Open-ILS / src / perlmods / OpenILS / Application / Storage / Publisher / metabib.pm
1 package OpenILS::Application::Storage::Publisher::metabib;
2 use base qw/OpenILS::Application::Storage::Publisher/;
3 use vars qw/$VERSION/;
4 use OpenSRF::EX qw/:try/;
5 use OpenILS::Application::Storage::FTS;
6 use OpenILS::Utils::Fieldmapper;
7 use OpenSRF::Utils::Logger qw/:level/;
8 use OpenSRF::Utils::Cache;
9 use Data::Dumper;
10 use Digest::MD5 qw/md5_hex/;
11
12
13 my $log = 'OpenSRF::Utils::Logger';
14
15 $VERSION = 1;
16
17 # need to order record IDs by:
18 #  1) format - text, movie, sound, software, images, maps, mixed, music, 3d
19 #  2) proximity --- XXX Can't do it cheap...
20 #  3) count
21 sub ordered_records_from_metarecord {
22         my $self = shift;
23         my $client = shift;
24         my $mr = shift;
25         my $formats = shift;
26
27         my (@types,@forms);
28
29         if ($formats) {
30                 my ($t, $f) = split '-', $formats;
31                 @types = split '', $t;
32                 @forms = split '', $f;
33         }
34
35         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
36         $copies_visible = '' if ($self->api_name =~ /staff/o);
37
38         my $sm_table = metabib::metarecord_source_map->table;
39         my $rd_table = metabib::record_descriptor->table;
40         my $cn_table = asset::call_number->table;
41         my $cl_table = asset::copy_location->table;
42         my $cp_table = asset::copy->table;
43         my $cs_table = config::copy_status->table;
44         my $out_table = actor::org_unit_type->table;
45
46         my $sql = <<"   SQL";
47          SELECT *
48            FROM (
49                 SELECT  rd.record,
50                         rd.item_type,
51                         rd.item_form,
52         SQL
53
54         if ($copies_visible) {
55                 $sql .= <<"             SQL"; 
56                         sum((SELECT     count(cp.id)
57                                FROM     $cp_table cp
58                                         JOIN $cs_table cs ON (cp.status = cs.id)
59                                         JOIN $cl_table cl ON (cp.location = cl.id)
60                                WHERE    cn.id = cp.call_number
61                                         $copies_visible
62                           )) AS count
63                 SQL
64         } else {
65                 $sql .= '0 AS count';
66         }
67
68         if ($copies_visible) {
69                 $sql .= <<"             SQL";
70                   FROM  $cn_table cn,
71                         $sm_table sm,
72                         $rd_table rd
73                   WHERE rd.record = sm.source
74                         AND cn.record = rd.record
75                         AND sm.metarecord = ?
76                 SQL
77         } else {
78                 $sql .= <<"             SQL";
79                   FROM  $sm_table sm,
80                         $rd_table rd
81                   WHERE rd.record = sm.source
82                         AND sm.metarecord = ?
83                 SQL
84         }
85
86         $sql .= <<"     SQL";
87                   GROUP BY rd.record, rd.item_type, rd.item_form
88                   ORDER BY
89                         CASE
90                                 WHEN rd.item_type IS NULL -- default
91                                         THEN 0
92                                 WHEN rd.item_type = '' -- default
93                                         THEN 0
94                                 WHEN rd.item_type IN ('a','t') -- books
95                                         THEN 1
96                                 WHEN rd.item_type = 'g' -- movies
97                                         THEN 2
98                                 WHEN rd.item_type IN ('i','j') -- sound recordings
99                                         THEN 3
100                                 WHEN rd.item_type = 'm' -- software
101                                         THEN 4
102                                 WHEN rd.item_type = 'k' -- images
103                                         THEN 5
104                                 WHEN rd.item_type IN ('e','f') -- maps
105                                         THEN 6
106                                 WHEN rd.item_type IN ('o','p') -- mixed
107                                         THEN 7
108                                 WHEN rd.item_type IN ('c','d') -- music
109                                         THEN 8
110                                 WHEN rd.item_type = 'r' -- 3d
111                                         THEN 9
112                         END,
113                         count DESC
114                 ) x
115         SQL
116
117         if ($copies_visible) {
118                 $sql .= ' WHERE x.count > 0'
119         }
120
121         if (@types) {
122                 $sql .= ' AND x.item_type IN ('.join(',',map{'?'}@types).')';
123         }
124
125         if (@forms) {
126                 $sql .= ' AND x.item_form IN ('.join(',',map{'?'}@forms).')';
127         }
128
129         my $sth = metabib::metarecord_source_map->db_Main->prepare_cached($sql);
130         $sth->execute("$mr", @types, @forms);
131         while ( my $row = $sth->fetchrow_arrayref ) {
132                 $client->respond( $$row[0] );
133         }
134         return undef;
135
136 }
137 __PACKAGE__->register_method(
138         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records',
139         method          => 'ordered_records_from_metarecord',
140         api_level       => 1,
141         stream          => 1,
142         cachable        => 1,
143 );
144 __PACKAGE__->register_method(
145         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records.staff',
146         method          => 'ordered_records_from_metarecord',
147         api_level       => 1,
148         stream          => 1,
149         cachable        => 1,
150 );
151
152
153 sub metarecord_copy_count {
154         my $self = shift;
155         my $client = shift;
156
157         my %args = @_;
158
159         my $sm_table = metabib::metarecord_source_map->table;
160         my $rd_table = metabib::record_descriptor->table;
161         my $cn_table = asset::call_number->table;
162         my $cp_table = asset::copy->table;
163         my $cl_table = asset::copy_location->table;
164         my $cs_table = config::copy_status->table;
165         my $out_table = actor::org_unit_type->table;
166         my $descendants = "actor.org_unit_descendants(u.id)";
167         my $ancestors = "actor.org_unit_ancestors(?)";
168
169         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
170         $copies_visible = '' if ($self->api_name =~ /staff/o);
171
172         my (@types,@forms);
173         my ($t_filter, $f_filter) = ('','');
174
175         if ($args{format}) {
176                 my ($t, $f) = split '-', $args{format};
177                 @types = split '', $t;
178                 @forms = split '', $f;
179                 if (@types) {
180                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
181                 }
182
183                 if (@forms) {
184                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
185                 }
186         }
187
188         my $sql = <<"   SQL";
189                 SELECT  t.depth,
190                         u.id AS org_unit,
191                         sum(
192                                 (SELECT count(cp.id)
193                                   FROM  $sm_table r
194                                         JOIN $cn_table cn ON (cn.record = r.source)
195                                         JOIN $rd_table rd ON (cn.record = rd.record)
196                                         JOIN $cp_table cp ON (cn.id = cp.call_number)
197                                         JOIN $cs_table cs ON (cp.status = cs.id)
198                                         JOIN $cl_table cl ON (cp.location = cl.id)
199                                         JOIN $descendants a ON (cp.circ_lib = a.id)
200                                   WHERE r.metarecord = ?
201                                         $copies_visible
202                                         $t_filter
203                                         $f_filter
204                                 )
205                         ) AS count,
206                         sum(
207                                 (SELECT count(cp.id)
208                                   FROM  $sm_table r
209                                         JOIN $cn_table cn ON (cn.record = r.source)
210                                         JOIN $rd_table rd ON (cn.record = rd.record)
211                                         JOIN $cp_table cp ON (cn.id = cp.call_number)
212                                         JOIN $cs_table cs ON (cp.status = cs.id)
213                                         JOIN $cl_table cl ON (cp.location = cl.id)
214                                         JOIN $descendants a ON (cp.circ_lib = a.id)
215                                   WHERE r.metarecord = ?
216                                         AND cp.status = 0
217                                         $copies_visible
218                                         $t_filter
219                                         $f_filter
220                                 )
221                         ) AS available
222
223                   FROM  $ancestors u
224                         JOIN $out_table t ON (u.ou_type = t.id)
225                   GROUP BY 1,2
226         SQL
227
228         my $sth = metabib::metarecord_source_map->db_Main->prepare_cached($sql);
229         $sth->execute(  ''.$args{metarecord},
230                         @types, 
231                         @forms,
232                         ''.$args{metarecord},
233                         @types, 
234                         @forms,
235                         ''.$args{org_unit}, 
236         ); 
237
238         while ( my $row = $sth->fetchrow_hashref ) {
239                 $client->respond( $row );
240         }
241         return undef;
242 }
243 __PACKAGE__->register_method(
244         api_name        => 'open-ils.storage.metabib.metarecord.copy_count',
245         method          => 'metarecord_copy_count',
246         api_level       => 1,
247         stream          => 1,
248         cachable        => 1,
249 );
250 __PACKAGE__->register_method(
251         api_name        => 'open-ils.storage.metabib.metarecord.copy_count.staff',
252         method          => 'metarecord_copy_count',
253         api_level       => 1,
254         stream          => 1,
255         cachable        => 1,
256 );
257
258 sub multi_search_full_rec {
259         my $self = shift;
260         my $client = shift;
261
262         my %args = @_;  
263         my $class_join = $args{class_join} || 'AND';
264         my $limit = $args{limit} || 100;
265         my $offset = $args{offset} || 0;
266         my @binds;
267         my @selects;
268
269         for my $arg (@{ $args{searches} }) {
270                 my $term = $$arg{term};
271                 my $limiters = $$arg{restrict};
272
273                 my ($index_col) = metabib::full_rec->columns('FTS');
274                 $index_col ||= 'value';
275                 my $search_table = metabib::full_rec->table;
276
277                 my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
278
279                 my $fts_where = $fts->sql_where_clause();
280                 my @fts_ranks = $fts->fts_rank;
281
282                 my $rank = join(' + ', @fts_ranks);
283
284                 my @wheres;
285                 for my $limit (@$limiters) {
286                         push @wheres, "( tag = ? AND subfield LIKE ? AND $fts_where )";
287                         push @binds, $$limit{tag}, $$limit{subfield};
288                         $log->debug("Limiting query using { tag => $$limit{tag}, subfield => $$limit{subfield} }", DEBUG);
289                 }
290                 my $where = join(' OR ', @wheres);
291
292                 push @selects, "SELECT id, record, $rank as sum FROM $search_table WHERE $where";
293
294         }
295
296         my $descendants = defined($args{depth}) ?
297                                 "actor.org_unit_descendants($args{org_unit}, $args{depth})" :
298                                 "actor.org_unit_descendants($args{org_unit})" ;
299
300
301         my $metabib_record_descriptor = metabib::record_descriptor->table;
302         my $metabib_metarecord = metabib::metarecord->table;
303         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
304         my $asset_call_number_table = asset::call_number->table;
305         my $asset_copy_table = asset::copy->table;
306         my $cs_table = config::copy_status->table;
307         my $cl_table = asset::copy_location->table;
308
309         my $cj = 'HAVING COUNT(x.id) = ' . scalar(@selects) if ($class_join eq 'AND');
310         my $search_table =
311                 '(SELECT x.record, sum(x.sum) FROM (('.
312                         join(') UNION ALL (', @selects).
313                         ")) x GROUP BY 1 $cj ORDER BY 2 DESC )";
314
315         my $has_vols = 'AND cn.owning_lib = d.id';
316         my $has_copies = 'AND cp.call_number = cn.id';
317         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
318
319         if ($self->api_name =~ /staff/o) {
320                 $copies_visible = '';
321                 $has_copies = '' if ($ou_type == 0);
322                 $has_vols = '' if ($ou_type == 0);
323         }
324
325         my ($t_filter, $f_filter) = ('','');
326
327         if ($args{format}) {
328                 my ($t, $f) = split '-', $args{format};
329                 my @types = split '', $t;
330                 my @forms = split '', $f;
331                 if (@types) {
332                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
333                 }
334
335                 if (@forms) {
336                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
337                 }
338                 push @binds, @types, @forms;
339         }
340
341
342         if ($copies_visible) {
343                 $select = <<"           SQL";
344                         SELECT  m.metarecord, sum(f.sum), count(DISTINCT cp.id), CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
345                         FROM    $search_table f,
346                                 $metabib_metarecord_source_map_table m,
347                                 $asset_call_number_table cn,
348                                 $asset_copy_table cp,
349                                 $cs_table cs,
350                                 $cl_table cl,
351                                 $metabib_record_descriptor rd,
352                                 $descendants d
353                         WHERE   m.source = f.record
354                                 AND cn.record = m.source
355                                 AND rd.record = m.source
356                                 AND cp.status = cs.id
357                                 AND cp.location = cl.id
358                                 $has_vols
359                                 $has_copies
360                                 $copies_visible
361                                 $t_filter
362                                 $f_filter
363                         GROUP BY m.metarecord HAVING count(DISTINCT cp.id) > 0
364                         ORDER BY 2 DESC,3 DESC
365                 SQL
366         } else {
367                 $select = <<"           SQL";
368                         SELECT  m.metarecord, 1, 0, CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
369                         FROM    $search_table f,
370                                 $metabib_metarecord_source_map_table m,
371                                 $metabib_record_descriptor rd
372                         WHERE   m.source = f.record
373                                 AND rd.record = m.source
374                                 $t_filter
375                                 $f_filter
376                         GROUP BY 1,2,3 
377                 SQL
378         }
379
380
381         $log->debug("Search SQL :: [$select]",DEBUG);
382
383         my $recs = metabib::full_rec->db_Main->selectall_arrayref("$select;", {}, @binds);
384         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
385
386         my $count = @$recs;
387         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
388                 next unless ($$rec[0]);
389                 my ($mrid,$rank,$junk,$skip) = @$rec;
390                 $client->respond( [$mrid, sprintf('%0.3f',$rank), $skip, $count] );
391         }
392         return undef;
393 }
394 __PACKAGE__->register_method(
395         api_name        => 'open-ils.storage.metabib.full_rec.multi_search',
396         method          => 'multi_search_full_rec',
397         api_level       => 1,
398         stream          => 1,
399         cachable        => 1,
400 );
401 __PACKAGE__->register_method(
402         api_name        => 'open-ils.storage.metabib.full_rec.multi_search.staff',
403         method          => 'multi_search_full_rec',
404         api_level       => 1,
405         stream          => 1,
406         cachable        => 1,
407 );
408
409 sub search_full_rec {
410         my $self = shift;
411         my $client = shift;
412
413         my %args = @_;
414         
415         my $term = $args{term};
416         my $limiters = $args{restrict};
417
418         my ($index_col) = metabib::full_rec->columns('FTS');
419         $index_col ||= 'value';
420         my $search_table = metabib::full_rec->table;
421
422         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
423
424         my $fts_where = $fts->sql_where_clause();
425         my @fts_ranks = $fts->fts_rank;
426
427         my $rank = join(' + ', @fts_ranks);
428
429         my @binds;
430         my @wheres;
431         for my $limit (@$limiters) {
432                 push @wheres, "( tag = ? AND subfield LIKE ? AND $fts_where )";
433                 push @binds, $$limit{tag}, $$limit{subfield};
434                 $log->debug("Limiting query using { tag => $$limit{tag}, subfield => $$limit{subfield} }", DEBUG);
435         }
436         my $where = join(' OR ', @wheres);
437
438         my $select = "SELECT record, sum($rank) FROM $search_table WHERE $where GROUP BY 1 ORDER BY 2 DESC;";
439
440         $log->debug("Search SQL :: [$select]",DEBUG);
441
442         my $recs = metabib::full_rec->db_Main->selectall_arrayref($select, {}, @binds);
443         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
444
445         $client->respond($_) for (@$recs);
446         return undef;
447 }
448 __PACKAGE__->register_method(
449         api_name        => 'open-ils.storage.direct.metabib.full_rec.search_fts.value',
450         method          => 'search_full_rec',
451         api_level       => 1,
452         stream          => 1,
453         cachable        => 1,
454 );
455 __PACKAGE__->register_method(
456         api_name        => 'open-ils.storage.direct.metabib.full_rec.search_fts.index_vector',
457         method          => 'search_full_rec',
458         api_level       => 1,
459         stream          => 1,
460         cachable        => 1,
461 );
462
463
464 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
465 sub search_class_fts {
466         my $self = shift;
467         my $client = shift;
468         my %args = @_;
469         
470         my $term = $args{term};
471         my $ou = $args{org_unit};
472         my $ou_type = $args{depth};
473         my $limit = $args{limit};
474         my $offset = $args{offset};
475
476         my $limit_clause = '';
477         my $offset_clause = '';
478
479         $limit_clause = "LIMIT $limit" if (defined $limit and int($limit) > 0);
480         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
481
482         my (@types,@forms);
483         my ($t_filter, $f_filter) = ('','');
484
485         if ($args{format}) {
486                 my ($t, $f) = split '-', $args{format};
487                 @types = split '', $t;
488                 @forms = split '', $f;
489                 if (@types) {
490                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
491                 }
492
493                 if (@forms) {
494                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
495                 }
496         }
497
498
499
500         my $descendants = defined($ou_type) ?
501                                 "actor.org_unit_descendants($ou, $ou_type)" :
502                                 "actor.org_unit_descendants($ou)";
503
504         my $class = $self->{cdbi};
505         my $search_table = $class->table;
506
507         my $metabib_record_descriptor = metabib::record_descriptor->table;
508         my $metabib_metarecord = metabib::metarecord->table;
509         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
510         my $asset_call_number_table = asset::call_number->table;
511         my $asset_copy_table = asset::copy->table;
512         my $cs_table = config::copy_status->table;
513         my $cl_table = asset::copy_location->table;
514
515         my ($index_col) = $class->columns('FTS');
516         $index_col ||= 'value';
517
518         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'f.value', "f.$index_col");
519
520         my $fts_where = $fts->sql_where_clause;
521         my @fts_ranks = $fts->fts_rank;
522
523         my $rank = join(' + ', @fts_ranks);
524
525         my $has_vols = 'AND cn.owning_lib = d.id';
526         my $has_copies = 'AND cp.call_number = cn.id';
527         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
528
529         my $visible_count = ', count(DISTINCT cp.id)';
530         my $visible_count_test = 'HAVING count(DISTINCT cp.id) > 0';
531
532         if ($self->api_name =~ /staff/o) {
533                 $copies_visible = '';
534                 $visible_count_test = '';
535                 $has_copies = '' if ($ou_type == 0);
536                 $has_vols = '' if ($ou_type == 0);
537         }
538
539         my $rank_calc = <<"     RANK";
540                 , (SUM( $rank
541                         * CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END -- phrase order
542                         * CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END -- first word match
543                         * CASE WHEN f.value ~* ? THEN 2 ELSE 1 END -- only word match
544                 )/COUNT(m.source)), MIN(COALESCE(CHAR_LENGTH(f.value),1))
545         RANK
546
547         $rank_calc = ',1 , 1' if ($self->api_name =~ /unordered/o);
548
549         if ($copies_visible) {
550                 $select = <<"           SQL";
551                         SELECT  m.metarecord $rank_calc $visible_count, CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
552                         FROM    $search_table f,
553                                 $metabib_metarecord_source_map_table m,
554                                 $asset_call_number_table cn,
555                                 $asset_copy_table cp,
556                                 $cs_table cs,
557                                 $cl_table cl,
558                                 $metabib_record_descriptor rd,
559                                 $descendants d
560                         WHERE   $fts_where
561                                 AND m.source = f.source
562                                 AND cn.record = m.source
563                                 AND rd.record = m.source
564                                 AND cp.status = cs.id
565                                 AND cp.location = cl.id
566                                 $has_vols
567                                 $has_copies
568                                 $copies_visible
569                                 $t_filter
570                                 $f_filter
571                         GROUP BY 1 $visible_count_test
572                         ORDER BY 2 DESC,3
573                         $limit_clause $offset_clause
574                 SQL
575         } else {
576                 $select = <<"           SQL";
577                         SELECT  m.metarecord $rank_calc, 0, CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
578                         FROM    $search_table f,
579                                 $metabib_metarecord_source_map_table m,
580                                 $metabib_record_descriptor rd
581                         WHERE   $fts_where
582                                 AND m.source = f.source
583                                 AND rd.record = m.source
584                                 $t_filter
585                                 $f_filter
586                         GROUP BY 1, 4
587                         ORDER BY 2 DESC,3
588                         $limit_clause $offset_clause
589                 SQL
590         }
591
592         $log->debug("Field Search SQL :: [$select]",DEBUG);
593
594         my $SQLstring = join('%',$fts->words);
595         my $REstring = join('\\s+',$fts->words);
596         my $first_word = ($fts->words)[0].'%';
597         my $recs = ($self->api_name =~ /unordered/o) ? 
598                         $class->db_Main->selectall_arrayref($select, {}, @types, @forms) :
599                         $class->db_Main->selectall_arrayref($select, {},
600                                 '%'.lc($SQLstring).'%',                 # phrase order match
601                                 lc($first_word),                        # first word match
602                                 '^\\s*'.lc($REstring).'\\s*/?\s*$',     # full exact match
603                                 @types, @forms
604                         );
605         
606         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
607
608         $client->respond($_) for (map { [@$_[0,1,3,4]] } @$recs);
609         return undef;
610 }
611
612 for my $class ( qw/title author subject keyword series/ ) {
613         __PACKAGE__->register_method(
614                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord",
615                 method          => 'search_class_fts',
616                 api_level       => 1,
617                 stream          => 1,
618                 cdbi            => "metabib::${class}_field_entry",
619                 cachable        => 1,
620         );
621         __PACKAGE__->register_method(
622                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.unordered",
623                 method          => 'search_class_fts',
624                 api_level       => 1,
625                 stream          => 1,
626                 cdbi            => "metabib::${class}_field_entry",
627                 cachable        => 1,
628         );
629         __PACKAGE__->register_method(
630                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.staff",
631                 method          => 'search_class_fts',
632                 api_level       => 1,
633                 stream          => 1,
634                 cdbi            => "metabib::${class}_field_entry",
635                 cachable        => 1,
636         );
637         __PACKAGE__->register_method(
638                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.staff.unordered",
639                 method          => 'search_class_fts',
640                 api_level       => 1,
641                 stream          => 1,
642                 cdbi            => "metabib::${class}_field_entry",
643                 cachable        => 1,
644         );
645 }
646
647 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
648 sub search_class_fts_count {
649         my $self = shift;
650         my $client = shift;
651         my %args = @_;
652         
653         my $term = $args{term};
654         my $ou = $args{org_unit};
655         my $ou_type = $args{depth};
656         my $limit = $args{limit} || 100;
657         my $offset = $args{offset} || 0;
658
659         my $descendants = defined($ou_type) ?
660                                 "actor.org_unit_descendants($ou, $ou_type)" :
661                                 "actor.org_unit_descendants($ou)";
662                 
663         my (@types,@forms);
664         my ($t_filter, $f_filter) = ('','');
665
666         if ($args{format}) {
667                 my ($t, $f) = split '-', $args{format};
668                 @types = split '', $t;
669                 @forms = split '', $f;
670                 if (@types) {
671                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
672                 }
673
674                 if (@forms) {
675                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
676                 }
677         }
678
679
680         (my $search_class = $self->api_name) =~ s/.*metabib.(\w+).search_fts.*/$1/o;
681
682         my $class = $self->{cdbi};
683         my $search_table = $class->table;
684
685         my $metabib_record_descriptor = metabib::record_descriptor->table;
686         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
687         my $asset_call_number_table = asset::call_number->table;
688         my $asset_copy_table = asset::copy->table;
689         my $cs_table = config::copy_status->table;
690         my $cl_table = asset::copy_location->table;
691
692         my ($index_col) = $class->columns('FTS');
693         $index_col ||= 'value';
694
695         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
696
697         my $fts_where = $fts->sql_where_clause;
698
699         my $has_vols = 'AND cn.owning_lib = d.id';
700         my $has_copies = 'AND cp.call_number = cn.id';
701         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
702         if ($self->api_name =~ /staff/o) {
703                 $copies_visible = '';
704                 $has_vols = '' if ($ou_type == 0);
705                 $has_copies = '' if ($ou_type == 0);
706         }
707
708         # XXX test an "EXISTS version of descendant checking...
709         my $select;
710         if ($copies_visible) {
711                 $select = <<"           SQL";
712                 SELECT  count(distinct  m.metarecord)
713                   FROM  $search_table f,
714                         $metabib_metarecord_source_map_table m,
715                         $metabib_metarecord_source_map_table mr,
716                         $asset_call_number_table cn,
717                         $asset_copy_table cp,
718                         $cs_table cs,
719                         $cl_table cl,
720                         $metabib_record_descriptor rd,
721                         $descendants d
722                   WHERE $fts_where
723                         AND mr.source = f.source
724                         AND mr.metarecord = m.metarecord
725                         AND cn.record = m.source
726                         AND rd.record = m.source
727                         AND cp.status = cs.id
728                         AND cp.location = cl.id
729                         $has_vols
730                         $has_copies
731                         $copies_visible
732                         $t_filter
733                         $f_filter
734                 SQL
735         } else {
736                 $select = <<"           SQL";
737                 SELECT  count(distinct  m.metarecord)
738                   FROM  $search_table f,
739                         $metabib_metarecord_source_map_table m,
740                         $metabib_metarecord_source_map_table mr,
741                         $metabib_record_descriptor rd
742                   WHERE $fts_where
743                         AND mr.source = f.source
744                         AND mr.metarecord = m.metarecord
745                         AND rd.record = m.source
746                         $t_filter
747                         $f_filter
748                 SQL
749         }
750
751         $log->debug("Field Search Count SQL :: [$select]",DEBUG);
752
753         my $recs = $class->db_Main->selectrow_arrayref($select, {}, @types, @forms)->[0];
754         
755         $log->debug("Count Search yielded $recs results.",DEBUG);
756
757         return $recs;
758
759 }
760 for my $class ( qw/title author subject keyword series/ ) {
761         __PACKAGE__->register_method(
762                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord_count",
763                 method          => 'search_class_fts_count',
764                 api_level       => 1,
765                 stream          => 1,
766                 cdbi            => "metabib::${class}_field_entry",
767                 cachable        => 1,
768         );
769         __PACKAGE__->register_method(
770                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord_count.staff",
771                 method          => 'search_class_fts_count',
772                 api_level       => 1,
773                 stream          => 1,
774                 cdbi            => "metabib::${class}_field_entry",
775                 cachable        => 1,
776         );
777 }
778
779
780 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
781 sub new_search_class_fts {
782         my $self = shift;
783         my $client = shift;
784         my %args = @_;
785         
786         my $term = $args{term};
787         my $ou = $args{org_unit};
788         my $ou_type = $args{depth};
789         my $limit = $args{limit};
790         my $offset = $args{offset} || 0;
791
792         my $limit_clause = '';
793         my $offset_clause = '';
794
795         $limit_clause = "LIMIT $limit" if (defined $limit and int($limit) > 0);
796         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
797
798         my (@types,@forms);
799         my ($t_filter, $f_filter) = ('','');
800
801         if ($args{format}) {
802                 my ($t, $f) = split '-', $args{format};
803                 @types = split '', $t;
804                 @forms = split '', $f;
805                 if (@types) {
806                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
807                 }
808
809                 if (@forms) {
810                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
811                 }
812         }
813
814
815
816         my $descendants = defined($ou_type) ?
817                                 "actor.org_unit_descendants($ou, $ou_type)" :
818                                 "actor.org_unit_descendants($ou)";
819
820         my $class = $self->{cdbi};
821         my $search_table = $class->table;
822
823         my $metabib_record_descriptor = metabib::record_descriptor->table;
824         my $metabib_metarecord = metabib::metarecord->table;
825         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
826         my $asset_call_number_table = asset::call_number->table;
827         my $asset_copy_table = asset::copy->table;
828         my $cs_table = config::copy_status->table;
829         my $cl_table = asset::copy_location->table;
830
831         my ($index_col) = $class->columns('FTS');
832         $index_col ||= 'value';
833
834         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'f.value', "f.$index_col");
835
836         my $fts_where = $fts->sql_where_clause;
837         my @fts_ranks = $fts->fts_rank;
838
839         my $rank = join(' + ', @fts_ranks);
840
841         if ($self->api_name !~ /staff/o) {
842                 $select = <<"           SQL";
843                         SELECT  m.metarecord, 
844                                 (SUM(   $rank
845                                         * CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END -- phrase order
846                                         * CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END -- first word match
847                                         * CASE WHEN f.value ~* ? THEN 2 ELSE 1 END -- only word match
848                                 )/COUNT(m.source)),
849                                 CASE WHEN COUNT(DISTINCT rd.record) = 1 THEN MIN(m.source) ELSE 0 END
850                         FROM    $search_table f,
851                                 $metabib_metarecord_source_map_table m,
852                                 $metabib_metarecord_source_map_table mr,
853                                 $metabib_record_descriptor rd
854                         WHERE   $fts_where
855                                 AND mr.source = f.source
856                                 AND mr.metarecord = m.metarecord
857                                 AND rd.record = m.source
858                                 $t_filter
859                                 $f_filter
860                                 AND EXISTS (
861                                         SELECT  TRUE
862                                           FROM  $asset_call_number_table cn,
863                                                 $asset_copy_table cp,
864                                                 $cs_table cs,
865                                                 $cl_table cl,
866                                                 $descendants d
867                                           WHERE cn.record = mr.source
868                                                 AND cp.status = cs.id
869                                                 AND cp.location = cl.id
870                                                 AND cn.owning_lib = d.id
871                                                 AND cp.call_number = cn.id
872                                                 AND cp.opac_visible IS TRUE
873                                                 AND cs.holdable IS TRUE
874                                                 AND cl.opac_visible IS TRUE )
875                         GROUP BY m.metarecord
876                         ORDER BY 2 DESC, MIN(COALESCE(CHAR_LENGTH(f.value),1))
877                 SQL
878         } else {
879                 $select = <<"           SQL";
880                         SELECT  m.metarecord,
881                                 (SUM(   $rank
882                                         * CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END -- phrase order
883                                         * CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END -- first word match
884                                         * CASE WHEN f.value ~* ? THEN 2 ELSE 1 END -- only word match
885                                 )/COUNT(m.source)),
886                                 CASE WHEN COUNT(DISTINCT rd.record) = 1 THEN MIN(m.source) ELSE 0 END
887                         FROM    $search_table f,
888                                 $metabib_metarecord_source_map_table m,
889                                 $metabib_metarecord_source_map_table mr,
890                                 $metabib_record_descriptor rd
891                         WHERE   $fts_where
892                                 AND m.source = f.source
893                                 AND m.metarecord = mr.metarecord
894                                 AND rd.record = m.source
895                                 $t_filter
896                                 $f_filter
897                         GROUP BY m.metarecord
898                         ORDER BY 2 DESC, MIN(COALESCE(CHAR_LENGTH(f.value),1))
899                 SQL
900         }
901
902         $log->debug("Field Search SQL :: [$select]",DEBUG);
903
904         my $SQLstring = join('%',$fts->words);
905         my $REstring = join('\\s+',$fts->words);
906         my $first_word = ($fts->words)[0].'%';
907         my $recs = ($self->api_name =~ /unordered/o) ? 
908                         $class->db_Main->selectall_arrayref($select, {}, @types, @forms) :
909                         $class->db_Main->selectall_arrayref($select, {},
910                                 '%'.lc($SQLstring).'%',                 # phrase order match
911                                 lc($first_word),                        # first word match
912                                 '^\\s*'.lc($REstring).'\\s*/?\s*$',     # full exact match
913                                 @types, @forms
914                         );
915         
916         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
917
918         my $count = scalar(@$recs);
919         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
920                 my ($mrid,$rank,$skip) = @$rec;
921                 $client->respond( [$mrid, sprintf('%0.3f',$rank), $skip, $count] );
922         }
923         return undef;
924 }
925
926 for my $class ( qw/title author subject keyword series/ ) {
927         __PACKAGE__->register_method(
928                 api_name        => "open-ils.storage.metabib.$class.new_search_fts.metarecord",
929                 method          => 'new_search_class_fts',
930                 api_level       => 1,
931                 stream          => 1,
932                 cdbi            => "metabib::${class}_field_entry",
933                 cachable        => 1,
934         );
935         __PACKAGE__->register_method(
936                 api_name        => "open-ils.storage.metabib.$class.new_search_fts.metarecord.staff",
937                 method          => 'new_search_class_fts',
938                 api_level       => 1,
939                 stream          => 1,
940                 cdbi            => "metabib::${class}_field_entry",
941                 cachable        => 1,
942         );
943 }
944
945
946
947
948 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
949 sub postfilter_search_class_fts {
950         my $self = shift;
951         my $client = shift;
952         my %args = @_;
953         
954         my $term = $args{term};
955         my $sort = $args{'sort'};
956         my $sort_dir = $args{sort_dir} || 'DESC';
957         my $ou = $args{org_unit};
958         my $ou_type = $args{depth};
959         my $limit = $args{limit};
960         my $offset = $args{offset} || 0;
961
962         my $outer_limit = 1000;
963
964         my $limit_clause = '';
965         my $offset_clause = '';
966
967         $limit_clause = "LIMIT $outer_limit";
968         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
969
970         my (@types,@forms);
971         my ($t_filter, $f_filter) = ('','');
972         my ($ot_filter, $of_filter) = ('','');
973
974         if ($args{format}) {
975                 my ($t, $f) = split '-', $args{format};
976                 @types = split '', $t;
977                 @forms = split '', $f;
978                 if (@types) {
979                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
980                         $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
981                 }
982
983                 if (@forms) {
984                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
985                         $of_filter .= ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
986                 }
987         }
988
989
990
991         my $descendants = defined($ou_type) ?
992                                 "actor.org_unit_descendants($ou, $ou_type)" :
993                                 "actor.org_unit_descendants($ou)";
994
995         my $class = $self->{cdbi};
996         my $search_table = $class->table;
997
998         my $metabib_full_rec = metabib::full_rec->table;
999         my $metabib_record_descriptor = metabib::record_descriptor->table;
1000         my $metabib_metarecord = metabib::metarecord->table;
1001         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
1002         my $asset_call_number_table = asset::call_number->table;
1003         my $asset_copy_table = asset::copy->table;
1004         my $cs_table = config::copy_status->table;
1005         my $cl_table = asset::copy_location->table;
1006         my $br_table = biblio::record_entry->table;
1007
1008         my ($index_col) = $class->columns('FTS');
1009         $index_col ||= 'value';
1010
1011         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'f.value', "f.$index_col");
1012
1013         my $fts_where = $fts->sql_where_clause;
1014         my @fts_ranks = $fts->fts_rank;
1015
1016         my $relevance = join(' + ', @fts_ranks);
1017
1018         $relevance = <<"        RANK";
1019                         (SUM(   $relevance
1020                                 * CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END -- phrase order
1021                                 * CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END -- first word match
1022                                 * CASE WHEN f.value ~* ? THEN 2 ELSE 1 END -- only word match
1023                         )/COUNT(m.source))
1024         RANK
1025
1026         my $rank = $relevance;
1027         if (lc($sort) eq 'pubdate') {
1028                 $rank = <<"             RANK";
1029                         ( FIRST ((
1030                                 SELECT  COALESCE(SUBSTRING(frp.value FROM '\\\\d+'),'9999')::INT
1031                                   FROM  $metabib_full_rec frp
1032                                   WHERE frp.record = mr.master_record
1033                                         AND frp.tag = '260'
1034                                         AND frp.subfield = 'c'
1035                                   LIMIT 1
1036                         )) )
1037                 RANK
1038         } elsif (lc($sort) eq 'title') {
1039                 $rank = <<"             RANK";
1040                         ( FIRST ((
1041                                 SELECT  COALESCE(LTRIM(SUBSTR( frt.value, frt.ind2::text::int )),'zzzzzzzz')
1042                                   FROM  $metabib_full_rec frt
1043                                   WHERE frt.record = mr.master_record
1044                                         AND frt.tag = '245'
1045                                         AND frt.subfield = 'a'
1046                                   LIMIT 1
1047                         )) )
1048                 RANK
1049         } elsif (lc($sort) eq 'author') {
1050                 $rank = <<"             RANK";
1051                         ( FIRST((
1052                                 SELECT  COALESCE(LTRIM(fra.value),'zzzzzzzz')
1053                                   FROM  $metabib_full_rec fra
1054                                   WHERE fra.record = mr.master_record
1055                                         AND fra.tag LIKE '1%'
1056                                         AND fra.subfield = 'a'
1057                                   ORDER BY fra.tag::text::int
1058                                   LIMIT 1
1059                         )) )
1060                 RANK
1061         } else {
1062                 $sort = undef;
1063         }
1064
1065         my $select = <<"        SQL";
1066                 SELECT  m.metarecord,
1067                         $relevance,
1068                         CASE WHEN COUNT(DISTINCT rd.record) = 1 THEN MIN(m.source) ELSE 0 END,
1069                         $rank
1070                 FROM    $search_table f,
1071                         $metabib_metarecord_source_map_table m,
1072                         $metabib_metarecord mr,
1073                         $metabib_record_descriptor rd
1074                 WHERE   $fts_where
1075                         AND m.source = f.source
1076                         AND m.metarecord = mr.id
1077                         AND rd.record = f.source
1078                         $t_filter
1079                         $f_filter
1080                 GROUP BY m.metarecord
1081                 ORDER BY 4 $sort_dir, MIN(COALESCE(CHAR_LENGTH(f.value),1))
1082                 LIMIT 10000
1083         SQL
1084
1085         if (0) {
1086                 $select = <<"           SQL";
1087
1088                         SELECT  DISTINCT s.*
1089                           FROM  $asset_call_number_table cn,
1090                                 $metabib_metarecord_source_map_table mrs,
1091                                 $asset_copy_table cp,
1092                                 $cs_table cs,
1093                                 $cl_table cl,
1094                                 $br_table br,
1095                                 $descendants d,
1096                                 $metabib_record_descriptor ord,
1097                                 ($select) s
1098                           WHERE mrs.metarecord = s.metarecord
1099                                 AND br.id = mrs.source
1100                                 AND cn.record = mrs.source
1101                                 AND cp.status = cs.id
1102                                 AND cp.location = cl.id
1103                                 AND cn.owning_lib = d.id
1104                                 AND cp.call_number = cn.id
1105                                 AND cp.opac_visible IS TRUE
1106                                 AND cs.holdable IS TRUE
1107                                 AND cl.opac_visible IS TRUE
1108                                 AND br.active IS TRUE
1109                                 AND br.deleted IS FALSE
1110                                 AND ord.record = mrs.source
1111                                 $ot_filter
1112                                 $of_filter
1113                           ORDER BY 4 $sort_dir
1114                 SQL
1115         } elsif ($self->api_name !~ /staff/o) {
1116                 $select = <<"           SQL";
1117
1118                         SELECT  DISTINCT s.*
1119                           FROM  ($select) s
1120                           WHERE EXISTS (
1121                                 SELECT  1
1122                                   FROM  $asset_call_number_table cn,
1123                                         $metabib_metarecord_source_map_table mrs,
1124                                         $asset_copy_table cp,
1125                                         $cs_table cs,
1126                                         $cl_table cl,
1127                                         $br_table br,
1128                                         $descendants d,
1129                                         $metabib_record_descriptor ord
1130                                 
1131                                   WHERE mrs.metarecord = s.metarecord
1132                                         AND br.id = mrs.source
1133                                         AND cn.record = mrs.source
1134                                         AND cp.status = cs.id
1135                                         AND cp.location = cl.id
1136                                         AND cn.owning_lib = d.id
1137                                         AND cp.call_number = cn.id
1138                                         AND cp.opac_visible IS TRUE
1139                                         AND cs.holdable IS TRUE
1140                                         AND cl.opac_visible IS TRUE
1141                                         AND br.active IS TRUE
1142                                         AND br.deleted IS FALSE
1143                                         AND ord.record = mrs.source
1144                                         $ot_filter
1145                                         $of_filter
1146                                   LIMIT 1
1147                                 )
1148                           ORDER BY 4 $sort_dir
1149                 SQL
1150         } else {
1151                 $select = <<"           SQL";
1152
1153                         SELECT  DISTINCT s.*
1154                           FROM  ($select) s
1155                           WHERE EXISTS (
1156                                 SELECT  1
1157                                   FROM  $asset_call_number_table cn,
1158                                         $metabib_metarecord_source_map_table mrs,
1159                                         $br_table br,
1160                                         $descendants d,
1161                                         $metabib_record_descriptor ord
1162                                 
1163                                   WHERE mrs.metarecord = s.metarecord
1164                                         AND br.id = mrs.source
1165                                         AND cn.record = mrs.source
1166                                         AND cn.owning_lib = d.id
1167                                         AND br.deleted IS FALSE
1168                                         AND ord.record = mrs.source
1169                                         $ot_filter
1170                                         $of_filter
1171                                   LIMIT 1
1172                                 )
1173                                 OR NOT EXISTS (
1174                                 SELECT  1
1175                                   FROM  $asset_call_number_table cn,
1176                                         $metabib_metarecord_source_map_table mrs,
1177                                         $metabib_record_descriptor ord
1178                                   WHERE mrs.metarecord = s.metarecord
1179                                         AND cn.record = mrs.source
1180                                         AND ord.record = mrs.source
1181                                         $ot_filter
1182                                         $of_filter
1183                                   LIMIT 1
1184                                 )
1185                           ORDER BY 4 $sort_dir
1186                 SQL
1187         }
1188
1189
1190         $log->debug("Field Search SQL :: [$select]",DEBUG);
1191
1192         my $SQLstring = join('%',$fts->words);
1193         my $REstring = join('\\s+',$fts->words);
1194         my $first_word = ($fts->words)[0].'%';
1195         my $recs = $class->db_Main->selectall_arrayref(
1196                         $select, {},
1197                         '%'.lc($SQLstring).'%',                 # phrase order match
1198                         lc($first_word),                        # first word match
1199                         '^\\s*'.lc($REstring).'\\s*/?\s*$',     # full exact match
1200                         ( !$sort ?
1201                                 ('%'.lc($SQLstring).'%',                        # phrase order match
1202                                  lc($first_word),                       # first word match
1203                                  '^\\s*'.lc($REstring).'\\s*/?\s*$',) : # full exact match
1204                                  ()
1205                         ),
1206                         @types, @forms, @types, @forms,  ($self->api_name =~ /staff/o ? (@types, @forms) : () ) );
1207         
1208         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
1209
1210         my $count = scalar(@$recs);
1211         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
1212                 my ($mrid,$rank,$skip) = @$rec;
1213                 $client->respond( [$mrid, sprintf('%0.3f',$rank), $skip, $count] );
1214         }
1215         return undef;
1216 }
1217
1218 for my $class ( qw/title author subject keyword series/ ) {
1219         __PACKAGE__->register_method(
1220                 api_name        => "open-ils.storage.metabib.$class.post_filter.search_fts.metarecord",
1221                 method          => 'postfilter_search_class_fts',
1222                 api_level       => 1,
1223                 stream          => 1,
1224                 cdbi            => "metabib::${class}_field_entry",
1225                 cachable        => 1,
1226         );
1227         __PACKAGE__->register_method(
1228                 api_name        => "open-ils.storage.metabib.$class.post_filter.search_fts.metarecord.staff",
1229                 method          => 'postfilter_search_class_fts',
1230                 api_level       => 1,
1231                 stream          => 1,
1232                 cdbi            => "metabib::${class}_field_entry",
1233                 cachable        => 1,
1234         );
1235 }
1236
1237
1238
1239 my $_cdbi = {   title   => "metabib::title_field_entry",
1240                 author  => "metabib::author_field_entry",
1241                 subject => "metabib::subject_field_entry",
1242                 keyword => "metabib::keyword_field_entry",
1243                 series  => "metabib::series_field_entry",
1244 };
1245
1246 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
1247 sub postfilter_search_multi_class_fts {
1248         my $self = shift;
1249         my $client = shift;
1250         my %args = @_;
1251         
1252         my $sort = $args{'sort'};
1253         my $sort_dir = $args{sort_dir} || 'DESC';
1254         my $ou = $args{org_unit};
1255         my $ou_type = $args{depth};
1256         my $limit = $args{limit};
1257         my $offset = $args{offset} || 0;
1258
1259         if (! scalar( keys %{$args{searches}} )) {
1260                 die "No target organizational unit passed to ".$self->api_name;
1261         }
1262
1263         if (! scalar( keys %{$args{searches}} )) {
1264                 die "No search arguments were passed to ".$self->api_name;
1265         }
1266
1267         my $outer_limit = 1000;
1268
1269         my $limit_clause = '';
1270         my $offset_clause = '';
1271
1272         $limit_clause = "LIMIT $outer_limit";
1273         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
1274
1275         my (@types,@forms);
1276         my ($t_filter, $f_filter) = ('','');
1277         my ($ot_filter, $of_filter) = ('','');
1278
1279         if ($args{format}) {
1280                 my ($t, $f) = split '-', $args{format};
1281                 @types = split '', $t;
1282                 @forms = split '', $f;
1283                 if (@types) {
1284                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1285                         $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1286                 }
1287
1288                 if (@forms) {
1289                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1290                         $of_filter .= ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1291                 }
1292         }
1293
1294
1295
1296         my $descendants = defined($ou_type) ?
1297                                 "actor.org_unit_descendants($ou, $ou_type)" :
1298                                 "actor.org_unit_descendants($ou)";
1299
1300         my $search_table_list = '';
1301         my $fts_list = '';
1302         my $join_table_list = '';
1303         my @rank_list;
1304
1305         my $prev_search_class;
1306         my $curr_search_class;
1307         for my $search_class (sort keys %{$args{searches}}) {
1308                 $prev_search_class = $curr_search_class if ($curr_search_class);
1309
1310                 $curr_search_class = $search_class;
1311
1312                 my $class = $_cdbi->{$search_class};
1313                 my $search_table = $class->table;
1314
1315                 my ($index_col) = $class->columns('FTS');
1316                 $index_col ||= 'value';
1317
1318                 
1319                 my $fts = OpenILS::Application::Storage::FTS->compile($args{searches}{$search_class}{term}, $search_class.'.value', "$search_class.$index_col");
1320
1321                 my $fts_where = $fts->sql_where_clause;
1322                 my @fts_ranks = $fts->fts_rank;
1323
1324                 my $rank = join(' + ', @fts_ranks);
1325
1326                 #---------------------
1327
1328                 $search_table_list .= "$search_table $search_class, ";
1329                 push @rank_list,$rank;
1330                 $fts_list .= " AND $fts_where AND m.source = $search_class.source";
1331
1332                 if ($prev_search_class) {
1333                         $join_table_list .= " AND $prev_search_class.source = $curr_search_class.source";
1334                 }
1335         }
1336
1337         my $metabib_record_descriptor = metabib::record_descriptor->table;
1338         my $metabib_full_rec = metabib::full_rec->table;
1339         my $metabib_metarecord = metabib::metarecord->table;
1340         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
1341         my $asset_call_number_table = asset::call_number->table;
1342         my $asset_copy_table = asset::copy->table;
1343         my $cs_table = config::copy_status->table;
1344         my $cl_table = asset::copy_location->table;
1345         my $br_table = biblio::record_entry->table;
1346
1347         my $relevance = join (' + ', @rank_list);
1348         $relevance = "SUM( $relevance )";
1349
1350
1351         my $rank = $relevance;
1352         if (lc($sort) eq 'pubdate') {
1353                 $rank = <<"             RANK";
1354                         ( FIRST ((
1355                                 SELECT  COALESCE(SUBSTRING(frp.value FROM '\\\\d+'),'9999')::INT
1356                                   FROM  $metabib_full_rec frp
1357                                   WHERE frp.record = mr.master_record
1358                                         AND frp.tag = '260'
1359                                         AND frp.subfield = 'c'
1360                                   LIMIT 1
1361                         )) )
1362                 RANK
1363         } elsif (lc($sort) eq 'title') {
1364                 $rank = <<"             RANK";
1365                         ( FIRST ((
1366                                 SELECT  COALESCE(LTRIM(SUBSTR( frt.value, frt.ind2::text::int )),'zzzzzzzz')
1367                                   FROM  $metabib_full_rec frt
1368                                   WHERE frt.record = mr.master_record
1369                                         AND frt.tag = '245'
1370                                         AND frt.subfield = 'a'
1371                                   LIMIT 1
1372                         )) )
1373                 RANK
1374         } elsif (lc($sort) eq 'author') {
1375                 $rank = <<"             RANK";
1376                         ( FIRST((
1377                                 SELECT  COALESCE(LTRIM(fra.value),'zzzzzzzz')
1378                                   FROM  $metabib_full_rec fra
1379                                   WHERE fra.record = mr.master_record
1380                                         AND fra.tag LIKE '1%'
1381                                         AND fra.subfield = 'a'
1382                                   ORDER BY fra.tag::text::int
1383                                   LIMIT 1
1384                         )) )
1385                 RANK
1386         }
1387
1388
1389         my $select = <<"        SQL";
1390                 SELECT  m.metarecord,
1391                         $relevance,
1392                         CASE WHEN COUNT(DISTINCT rd.record) = 1 THEN MIN(m.source) ELSE 0 END,
1393                         $rank
1394                 FROM    $search_table_list
1395                         $metabib_metarecord_source_map_table m,
1396                         $metabib_metarecord mr,
1397                         $metabib_record_descriptor rd
1398                 WHERE   m.metarecord = mr.id
1399                         $fts_list
1400                         $join_table_list
1401                         AND rd.record = m.source
1402                         $t_filter
1403                         $f_filter
1404                 GROUP BY m.metarecord
1405                 ORDER BY 4 $sort_dir
1406                 LIMIT 10000
1407         SQL
1408
1409         if ($self->api_name !~ /staff/o) {
1410                 $select = <<"           SQL";
1411
1412                         SELECT  DISTINCT s.*
1413                           FROM  ($select) s
1414                           WHERE EXISTS (
1415                                 SELECT  1
1416                                   FROM  $asset_call_number_table cn,
1417                                         $metabib_metarecord_source_map_table mrs,
1418                                         $asset_copy_table cp,
1419                                         $cs_table cs,
1420                                         $cl_table cl,
1421                                         $br_table br,
1422                                         $descendants d,
1423                                         $metabib_record_descriptor ord
1424                                   WHERE mrs.metarecord = s.metarecord
1425                                         AND br.id = mrs.source
1426                                         AND cn.record = mrs.source
1427                                         AND cp.status = cs.id
1428                                         AND cp.location = cl.id
1429                                         AND cn.owning_lib = d.id
1430                                         AND cp.call_number = cn.id
1431                                         AND cp.opac_visible IS TRUE
1432                                         AND cs.holdable IS TRUE
1433                                         AND cl.opac_visible IS TRUE
1434                                         AND br.active IS TRUE
1435                                         AND br.deleted IS FALSE
1436                                         AND ord.record = mrs.source
1437                                         $ot_filter
1438                                         $of_filter
1439                                   LIMIT 1
1440                                 )
1441                           ORDER BY 4 $sort_dir
1442                 SQL
1443         } else {
1444                 $select = <<"           SQL";
1445
1446                         SELECT  DISTINCT s.*
1447                           FROM  ($select) s
1448                           WHERE EXISTS (
1449                                 SELECT  1
1450                                   FROM  $asset_call_number_table cn,
1451                                         $metabib_metarecord_source_map_table mrs,
1452                                         $descendants d,
1453                                         $br_table br,
1454                                         $metabib_record_descriptor ord
1455                                   WHERE mrs.metarecord = s.metarecord
1456                                         AND br.id = mrs.source
1457                                         AND cn.record = mrs.source
1458                                         AND cn.owning_lib = d.id
1459                                         AND ord.record = mrs.source
1460                                         AND br.deleted IS FALSE
1461                                         $ot_filter
1462                                         $of_filter
1463                                   LIMIT 1
1464                                 )
1465                                 OR NOT EXISTS (
1466                                 SELECT  1
1467                                   FROM  $asset_call_number_table cn,
1468                                         $metabib_metarecord_source_map_table mrs,
1469                                         $metabib_record_descriptor ord
1470                                   WHERE mrs.metarecord = s.metarecord
1471                                         AND cn.record = mrs.source
1472                                         AND ord.record = mrs.source
1473                                         $ot_filter
1474                                         $of_filter
1475                                   LIMIT 1
1476                                 )
1477                           ORDER BY 4 $sort_dir
1478                 SQL
1479         }
1480
1481
1482         $log->debug("Field Search SQL :: [$select]",DEBUG);
1483
1484         my $recs = $_cdbi->{title}->db_Main->selectall_arrayref(
1485                         $select, {},
1486                         @types, @forms, @types, @forms,  ($self->api_name =~ /staff/o ? (@types, @forms) : () ) );
1487         
1488         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
1489
1490         my $max = 0;
1491         for (@$recs) {
1492                 $max = $$_[2] if ($$_[2] > $max);
1493         }
1494
1495         my $count = scalar(@$recs);
1496         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
1497                 next unless ($$rec[0]);
1498                 my ($mrid,$rank,$skip) = @$rec;
1499                 $client->respond( [$mrid, sprintf('%0.3f',$rank/$max), $skip, $count] );
1500         }
1501         return undef;
1502 }
1503
1504 __PACKAGE__->register_method(
1505         api_name        => "open-ils.storage.metabib.post_filter.multiclass.search_fts.metarecord",
1506         method          => 'postfilter_search_multi_class_fts',
1507         api_level       => 1,
1508         stream          => 1,
1509         cachable        => 1,
1510 );
1511 __PACKAGE__->register_method(
1512         api_name        => "open-ils.storage.metabib.post_filter.multiclass.search_fts.metarecord.staff",
1513         method          => 'postfilter_search_multi_class_fts',
1514         api_level       => 1,
1515         stream          => 1,
1516         cachable        => 1,
1517 );
1518
1519
1520
1521 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
1522 sub postfilter_Z_search_class_fts {
1523         my $self = shift;
1524         my $client = shift;
1525         my %args = @_;
1526         
1527         my $term = $args{term};
1528         my $sort = $args{'sort'};
1529         my $sort_dir = $args{sort_dir} || 'DESC';
1530         my $ou = $args{org_unit};
1531         my $ou_type = $args{depth};
1532         my $limit = $args{limit} || 10;
1533         my $offset = $args{offset} || 0;
1534
1535         my (@types,@forms);
1536         my ($t_filter, $f_filter) = ('','');
1537         my ($ot_filter, $of_filter) = ('','');
1538
1539         if ($args{format}) {
1540                 my ($t, $f) = split '-', $args{format};
1541                 @types = split '', $t;
1542                 @forms = split '', $f;
1543                 if (@types) {
1544                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1545                         $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1546                 }
1547
1548                 if (@forms) {
1549                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1550                         $of_filter .= ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1551                 }
1552         }
1553
1554
1555
1556         my $class = $self->{cdbi};
1557         my $search_table = $class->table;
1558         my $metabib_record_descriptor = metabib::record_descriptor->table;
1559         my $metabib_full_rec = metabib::full_rec->table;
1560         my $asset_call_number_table = asset::call_number->table;
1561         my $asset_copy_table = asset::copy->table;
1562         my $cs_table = config::copy_status->table;
1563         my $cl_table = asset::copy_location->table;
1564         my $br_table = biblio::record_entry->table;
1565
1566         my ($index_col) = $class->columns('FTS');
1567         $index_col ||= 'value';
1568
1569         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'f.value', "f.$index_col");
1570
1571         my $fts_where = $fts->sql_where_clause;
1572         my @fts_ranks = $fts->fts_rank;
1573
1574         my $relevance = join(' + ', @fts_ranks);
1575
1576         $relevance = <<"        RANK";
1577                         (SUM(   ($relevance)
1578                                 * CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END -- phrase order
1579                                 * CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END -- first word match
1580                                 * CASE WHEN f.value ~* ? THEN 2 ELSE 1 END -- only word match
1581                         )/COUNT(f.id))
1582         RANK
1583
1584         my $rank = $relevance;
1585         if (lc($sort) eq 'pubdate') {
1586                 $rank = <<"             RANK";
1587                         (
1588                                 SELECT  FIRST(COALESCE(SUBSTRING(frp.value FROM '\\\\d+'),'9999')::INT)
1589                                   FROM  $metabib_full_rec frp
1590                                   WHERE frp.record = f.source
1591                                         AND frp.tag = '260'
1592                                         AND frp.subfield = 'c'
1593                         )
1594                 RANK
1595         } elsif (lc($sort) eq 'title') {
1596                 $rank = <<"             RANK";
1597                         (
1598                                 SELECT  FIRST(COALESCE(LTRIM(SUBSTR( frt.value, frt.ind2::text::int )),'zzzzzzzz'))
1599                                   FROM  $metabib_full_rec frt
1600                                   WHERE frt.record = f.source
1601                                         AND frt.tag = '245'
1602                                         AND frt.subfield = 'a'
1603                         )
1604                 RANK
1605         } elsif (lc($sort) eq 'author') {
1606                 $rank = <<"             RANK";
1607                         ( FIRST ((
1608                                 SELECT  COALESCE(LTRIM(fra.value),'zzzzzzzz')
1609                                   FROM  $metabib_full_rec fra
1610                                   WHERE fra.record = f.source
1611                                         AND fra.tag LIKE '1%'
1612                                         AND fra.subfield = 'a'
1613                                   ORDER BY fra.tag::text::int
1614                                   LIMIT 1
1615                         )) )
1616                 RANK
1617         } else {
1618                 $sort = undef;
1619         }
1620
1621
1622
1623         my $select = <<"        SQL";
1624                 SELECT  f.source,
1625                         $rank,
1626                         $relevance
1627                 FROM    $search_table f,
1628                         $br_table br,
1629                         $descendants
1630                         $metabib_record_descriptor rd
1631                 WHERE   $fts_where
1632                         AND rd.record = f.source
1633                         AND br.id = f.source
1634                         AND br.deleted IS FALSE
1635                         $t_filter
1636                         $f_filter
1637                 GROUP BY 1
1638                 ORDER BY 2 $sort_dir, 3, MIN(COALESCE(CHAR_LENGTH(f.value),1))
1639         SQL
1640
1641
1642         if ($self->api_name !~ /Zsearch/o) {
1643
1644                 my $descendants = defined($ou_type) ?
1645                                 "actor.org_unit_descendants($ou, $ou_type)" :
1646                                 "actor.org_unit_descendants($ou)";
1647
1648                 if ($self->api_name !~ /staff/o) {
1649                         $select = <<"                   SQL";
1650
1651                         SELECT  DISTINCT s.*
1652                           FROM  ($select) s
1653                           WHERE EXISTS (
1654                                 SELECT  1
1655                                   FROM  $asset_call_number_table cn,
1656                                         $asset_copy_table cp,
1657                                         $cs_table cs,
1658                                         $cl_table cl,
1659                                         $br_table br,
1660                                         $descendants d
1661                                   WHERE br.id = s.source
1662                                         AND cn.record = s.source
1663                                         AND cp.status = cs.id
1664                                         AND cp.location = cl.id
1665                                         AND cn.owning_lib = d.id
1666                                         AND cp.call_number = cn.id
1667                                         AND cp.opac_visible IS TRUE
1668                                         AND cs.holdable IS TRUE
1669                                         AND cl.opac_visible IS TRUE
1670                                         AND br.active IS TRUE
1671                                         AND br.deleted IS FALSE
1672                                   LIMIT 1
1673                                 )
1674                           ORDER BY 2 $sort_dir, 3
1675
1676                         SQL
1677                 } else {
1678                         $select = <<"                   SQL";
1679
1680                         SELECT  DISTINCT s.*
1681                           FROM  ($select) s
1682                           WHERE EXISTS (
1683                                 SELECT  1
1684                                   FROM  $asset_call_number_table cn,
1685                                         $descendants d,
1686                                         $br_table br
1687                                   WHERE br.id = s.source
1688                                         AND cn.record = s.source
1689                                         AND cn.owning_lib = d.id
1690                                         AND br.deleted IS FALSE
1691                                   LIMIT 1
1692                                 )
1693                                 OR NOT EXISTS (
1694                                 SELECT  1
1695                                   FROM  $asset_call_number_table cn
1696                                   WHERE cn.record = s.source
1697                                   LIMIT 1
1698                                 )
1699                           ORDER BY 2 $sort_dir, 3
1700
1701                         SQL
1702                 }
1703         }
1704
1705
1706         $log->debug("Z39.50 (Record) Search SQL :: [$select]",DEBUG);
1707
1708         my $SQLstring = join('%',$fts->words);
1709         my $REstring = join('\\s+',$fts->words);
1710         my $first_word = ($fts->words)[0].'%';
1711         my $recs =
1712                 $class->db_Main->selectall_arrayref(
1713                         $select, {},
1714                         '%'.lc($SQLstring).'%',                 # phrase order match
1715                         lc($first_word),                        # first word match
1716                         '^\\s*'.lc($REstring).'\\s*/?\s*$',     # full exact match
1717                         ( !$sort ?
1718                                 ( '%'.lc($SQLstring).'%',                       # phrase order match
1719                                   lc($first_word),                              # first word match
1720                                   '^\\s*'.lc($REstring).'\\s*/?\s*$' ) :        # full exact match
1721                                 ()
1722                         ),
1723                         @types, @forms
1724                 );
1725         
1726         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
1727
1728         my $max = 0;
1729         for (@$recs) {
1730                 $max = $$_[2] if ($$_[2] > $max);
1731         }
1732
1733         my $count = scalar(@$recs);
1734         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
1735                 next unless ($rec);
1736                 my ($mrid,$junk,$rank) = @$rec;
1737                 $client->respond( [$mrid, sprintf('%0.3f',$rank/$max), $count] );
1738         }
1739         return undef;
1740 }
1741
1742 for my $class ( qw/title author subject keyword series/ ) {
1743         __PACKAGE__->register_method(
1744                 api_name        => "open-ils.storage.metabib.$class.Zsearch",
1745                 method          => 'postfilter_Z_search_class_fts',
1746                 api_level       => 1,
1747                 stream          => 1,
1748                 cdbi            => "metabib::${class}_field_entry",
1749                 cachable        => 1,
1750         );
1751         __PACKAGE__->register_method(
1752                 api_name        => "open-ils.storage.biblio.$class.search_fts.record",
1753                 method          => 'postfilter_Z_search_class_fts',
1754                 api_level       => 1,
1755                 stream          => 1,
1756                 cdbi            => "metabib::${class}_field_entry",
1757                 cachable        => 1,
1758         );
1759         __PACKAGE__->register_method(
1760                 api_name        => "open-ils.storage.biblio.$class.search_fts.record.staff",
1761                 method          => 'postfilter_Z_search_class_fts',
1762                 api_level       => 1,
1763                 stream          => 1,
1764                 cdbi            => "metabib::${class}_field_entry",
1765                 cachable        => 1,
1766         );
1767 }
1768
1769
1770 sub multi_Z_search_full_rec {
1771         my $self = shift;
1772         my $client = shift;
1773
1774         my %args = @_;  
1775         my $class_join = $args{class_join} || 'AND';
1776         my $limit = $args{limit} || 10;
1777         my $offset = $args{offset} || 0;
1778         my @binds;
1779         my @selects;
1780
1781         my $limiter_count = 0;
1782
1783         for my $arg (@{ $args{searches} }) {
1784                 my $term = $$arg{term};
1785                 my $limiters = $$arg{restrict};
1786
1787                 my ($index_col) = metabib::full_rec->columns('FTS');
1788                 $index_col ||= 'value';
1789                 my $search_table = metabib::full_rec->table;
1790
1791                 my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
1792
1793                 my $fts_where = $fts->sql_where_clause();
1794                 my @fts_ranks = $fts->fts_rank;
1795
1796                 my $rank = join(' + ', @fts_ranks);
1797
1798                 my @wheres;
1799                 for my $limit (@$limiters) {
1800                         push @wheres, "( tag = ? AND subfield LIKE ? AND $fts_where )";
1801                         push @binds, $$limit{tag}, ($$limit{subfield} ? $$limit{subfield} : '_');
1802                         $log->debug("Limiting query using { tag => $$limit{tag}, subfield => $$limit{subfield} }", DEBUG);
1803                 }
1804                 $limiter_count++;
1805                 my $where = join(' OR ', @wheres);
1806
1807                 push @selects, "SELECT FIRST(id), record, SUM($rank) as sum FROM $search_table WHERE $where GROUP BY 2";
1808
1809         }
1810
1811         my $metabib_record_descriptor = metabib::record_descriptor->table;
1812
1813         my $cj = 'HAVING COUNT(DISTINCT x.id) = ' . $limiter_count if ($class_join eq 'AND');
1814         my $search_table =
1815                 '(SELECT x.record, sum(x.sum) FROM (('.
1816                         join(') UNION ALL (', @selects).
1817                         ")) x GROUP BY 1 $cj ORDER BY 2 DESC )";
1818
1819         my ($t_filter, $f_filter) = ('','');
1820
1821         if ($args{format}) {
1822                 my ($t, $f) = split '-', $args{format};
1823                 my @types = split '', $t;
1824                 my @forms = split '', $f;
1825                 if (@types) {
1826                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1827                 }
1828
1829                 if (@forms) {
1830                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1831                 }
1832                 push @binds, @types, @forms;
1833         }
1834
1835
1836         my $select = <<"        SQL";
1837                 SELECT  f.record, f.sum
1838                 FROM    $search_table f,
1839                         $metabib_record_descriptor rd
1840                 WHERE   rd.record = f.record
1841                         $t_filter
1842                         $f_filter
1843                 ORDER BY 2
1844         SQL
1845
1846
1847         $log->debug("Search SQL :: [$select]",DEBUG);
1848
1849         my $recs = metabib::full_rec->db_Main->selectall_arrayref("$select;", {}, @binds);
1850         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
1851
1852         my $count = @$recs;
1853         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
1854                 next unless ($$rec[0]);
1855                 my ($rid,$rank) = @$rec;
1856                 $client->respond( [$rid, sprintf('%0.3f',$rank), $count] );
1857         }
1858         return undef;
1859 }
1860 __PACKAGE__->register_method(
1861         api_name        => 'open-ils.storage.metabib.full_rec.Zmulti_search',
1862         method          => 'multi_Z_search_full_rec',
1863         api_level       => 1,
1864         stream          => 1,
1865         cachable        => 1,
1866 );
1867
1868 __PACKAGE__->register_method(
1869         api_name        => 'open-ils.storage.biblio.multiclass.search_fts.record',
1870         method          => 'multi_Z_search_full_rec',
1871         api_level       => 1,
1872         stream          => 1,
1873         cachable        => 1,
1874 );
1875
1876
1877 1;