de8cf27b24717a758e0cd4eff3bfd4e4a4340950
[Evergreen.git] / Open-ILS / src / perlmods / OpenILS / Application / Storage / Publisher / metabib.pm
1 package OpenILS::Application::Storage::Publisher::metabib;
2 use base qw/OpenILS::Application::Storage::Publisher/;
3 use vars qw/$VERSION/;
4 use OpenSRF::EX qw/:try/;
5 use OpenILS::Application::Storage::FTS;
6 use OpenILS::Utils::Fieldmapper;
7 use OpenSRF::Utils::Logger qw/:level/;
8 use OpenSRF::Utils::Cache;
9 use Data::Dumper;
10 use Digest::MD5 qw/md5_hex/;
11
12
13 my $log = 'OpenSRF::Utils::Logger';
14
15 $VERSION = 1;
16
17 sub ordered_records_from_metarecord {
18         my $self = shift;
19         my $client = shift;
20         my $mr = shift;
21         my $formats = shift;
22         my $org = shift || 1;
23         my $depth = shift;
24
25         my (@types,@forms);
26
27         if ($formats) {
28                 my ($t, $f) = split '-', $formats;
29                 @types = split '', $t;
30                 @forms = split '', $f;
31         }
32
33         my $descendants =
34                 defined($depth) ?
35                         "actor.org_unit_descendants($org, $depth)" :
36                         "actor.org_unit_descendants($org)" ;
37
38
39         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
40         $copies_visible = '' if ($self->api_name =~ /staff/o);
41
42         my $sm_table = metabib::metarecord_source_map->table;
43         my $rd_table = metabib::record_descriptor->table;
44         my $fr_table = metabib::full_rec->table;
45         my $cn_table = asset::call_number->table;
46         my $cl_table = asset::copy_location->table;
47         my $cp_table = asset::copy->table;
48         my $cs_table = config::copy_status->table;
49         my $src_table = config::bib_source->table;
50         my $out_table = actor::org_unit_type->table;
51         my $br_table = biblio::record_entry->table;
52
53         my $sql = <<"   SQL";
54                 SELECT  record,
55                         item_type,
56                         item_form,
57                         quality,
58                         FIRST(COALESCE(LTRIM(SUBSTR( value, COALESCE(SUBSTRING(ind2 FROM '\\\\d+'),'0')::INT + 1 )),'zzzzzzzz')) AS title
59                 FROM    (
60                         SELECT  rd.record,
61                                 rd.item_type,
62                                 rd.item_form,
63                                 br.quality,
64                                 fr.tag,
65                                 fr.subfield,
66                                 fr.value,
67                                 fr.ind2
68         SQL
69
70         if ($copies_visible) {
71                 $sql .= <<"             SQL";
72                           FROM  $sm_table sm,
73                                 $br_table br,
74                                 $fr_table fr,
75                                 $rd_table rd
76                           WHERE rd.record = sm.source
77                                 AND fr.record = sm.source
78                                 AND br.id = sm.source
79                                 AND sm.metarecord = ?
80                                 AND (EXISTS ((SELECT    1
81                                                 FROM    $cp_table cp
82                                                         JOIN $cn_table cn ON (cp.call_number = cn.id)
83                                                         JOIN $cs_table cs ON (cp.status = cs.id)
84                                                         JOIN $cl_table cl ON (cp.location = cl.id)
85                                                         JOIN $descendants d ON (cp.circ_lib = d.id)
86                                                 WHERE   cn.record = sm.source
87                                                         $copies_visible
88                                                 LIMIT 1))
89                                         OR EXISTS ((
90                                             SELECT      1
91                                               FROM      $src_table src
92                                               WHERE     src.id = br.source
93                                                         AND src.transcendant IS TRUE))
94                                 )
95                                           
96                 SQL
97         } else {
98                 $sql .= <<"             SQL";
99                           FROM  $sm_table sm
100                                 JOIN $br_table br ON (sm.source = br.id)
101                                 JOIN $fr_table fr ON (fr.record = br.id)
102                                 JOIN $rd_table rd ON (rd.record = br.id)
103                           WHERE sm.metarecord = ?
104                                 AND ((  EXISTS (
105                                                 SELECT  1
106                                                   FROM  $cp_table cp,
107                                                         $cn_table cn,
108                                                         $descendants d
109                                                   WHERE cn.record = br.id
110                                                         AND cn.deleted = FALSE
111                                                         AND cp.deleted = FALSE
112                                                         AND cp.circ_lib = d.id
113                                                         AND cn.id = cp.call_number
114                                                   LIMIT 1
115                                         ) OR NOT EXISTS (
116                                                 SELECT  1
117                                                   FROM  $cp_table cp,
118                                                         $cn_table cn
119                                                   WHERE cn.record = br.id
120                                                         AND cn.deleted = FALSE
121                                                         AND cp.deleted = FALSE
122                                                         AND cn.id = cp.call_number
123                                                   LIMIT 1
124                                         ))
125                                         OR EXISTS ((
126                                             SELECT      1
127                                               FROM      $src_table src
128                                               WHERE     src.id = br.source
129                                                         AND src.transcendant IS TRUE))
130                                 )
131                 SQL
132         }
133
134         if (@types) {
135                 $sql .= '                               AND rd.item_type IN ('.join(',',map{'?'}@types).')';
136         }
137
138         if (@forms) {
139                 $sql .= '                               AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
140         }
141
142
143
144         $sql .= <<"     SQL";
145                           OFFSET 0
146                         ) AS x
147           WHERE tag = '245'
148                 AND subfield = 'a'
149           GROUP BY record, item_type, item_form, quality
150           ORDER BY
151                 CASE
152                         WHEN item_type IS NULL -- default
153                                 THEN 0
154                         WHEN item_type = '' -- default
155                                 THEN 0
156                         WHEN item_type IN ('a','t') -- books
157                                 THEN 1
158                         WHEN item_type = 'g' -- movies
159                                 THEN 2
160                         WHEN item_type IN ('i','j') -- sound recordings
161                                 THEN 3
162                         WHEN item_type = 'm' -- software
163                                 THEN 4
164                         WHEN item_type = 'k' -- images
165                                 THEN 5
166                         WHEN item_type IN ('e','f') -- maps
167                                 THEN 6
168                         WHEN item_type IN ('o','p') -- mixed
169                                 THEN 7
170                         WHEN item_type IN ('c','d') -- music
171                                 THEN 8
172                         WHEN item_type = 'r' -- 3d
173                                 THEN 9
174                 END,
175                 title ASC,
176                 quality DESC
177         SQL
178
179         my $ids = metabib::metarecord_source_map->db_Main->selectcol_arrayref($sql, {}, "$mr", @types, @forms);
180         return $ids if ($self->api_name =~ /atomic$/o);
181
182         $client->respond( $_ ) for ( @$ids );
183         return undef;
184
185 }
186 __PACKAGE__->register_method(
187         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records',
188         method          => 'ordered_records_from_metarecord',
189         api_level       => 1,
190         cachable        => 1,
191 );
192 __PACKAGE__->register_method(
193         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records.staff',
194         method          => 'ordered_records_from_metarecord',
195         api_level       => 1,
196         cachable        => 1,
197 );
198
199 __PACKAGE__->register_method(
200         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records.atomic',
201         method          => 'ordered_records_from_metarecord',
202         api_level       => 1,
203         cachable        => 1,
204 );
205 __PACKAGE__->register_method(
206         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records.staff.atomic',
207         method          => 'ordered_records_from_metarecord',
208         api_level       => 1,
209         cachable        => 1,
210 );
211
212 sub isxn_search {
213         my $self = shift;
214         my $client = shift;
215         my $isxn = lc(shift());
216
217         my $tag = ($self->api_name =~ /isbn/o) ? '020' : '022';
218
219         my $fr_table = metabib::full_rec->table;
220
221         my $sql = <<"   SQL";
222                 SELECT  record
223                   FROM  $fr_table
224                   WHERE tag = ?
225                         AND value LIKE ?
226         SQL
227
228         my $list = metabib::metarecord_source_map->db_Main->selectcol_arrayref($sql, {}, $tag, "$isxn%");
229         $client->respond($_) for (@$list);
230         return undef;
231 }
232 __PACKAGE__->register_method(
233         api_name        => 'open-ils.storage.id_list.biblio.record_entry.search.isbn',
234         method          => 'isxn_search',
235         api_level       => 1,
236         stream          => 1,
237 );
238 __PACKAGE__->register_method(
239         api_name        => 'open-ils.storage.id_list.biblio.record_entry.search.issn',
240         method          => 'isxn_search',
241         api_level       => 1,
242         stream          => 1,
243 );
244
245 sub metarecord_copy_count {
246         my $self = shift;
247         my $client = shift;
248
249         my %args = @_;
250
251         my $sm_table = metabib::metarecord_source_map->table;
252         my $rd_table = metabib::record_descriptor->table;
253         my $cn_table = asset::call_number->table;
254         my $cp_table = asset::copy->table;
255         my $br_table = biblio::record_entry->table;
256         my $src_table = config::bib_source->table;
257         my $cl_table = asset::copy_location->table;
258         my $cs_table = config::copy_status->table;
259         my $out_table = actor::org_unit_type->table;
260         my $descendants = "actor.org_unit_descendants(u.id)";
261         my $ancestors = "actor.org_unit_ancestors(?)";
262
263         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
264         $copies_visible = '' if ($self->api_name =~ /staff/o);
265
266         my (@types,@forms);
267         my ($t_filter, $f_filter) = ('','');
268
269         if ($args{format}) {
270                 my ($t, $f) = split '-', $args{format};
271                 @types = split '', $t;
272                 @forms = split '', $f;
273                 if (@types) {
274                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
275                 }
276
277                 if (@forms) {
278                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
279                 }
280         }
281
282         my $sql = <<"   SQL";
283                 SELECT  t.depth,
284                         u.id AS org_unit,
285                         sum(
286                                 (SELECT count(cp.id)
287                                   FROM  $sm_table r
288                                         JOIN $cn_table cn ON (cn.record = r.source)
289                                         JOIN $rd_table rd ON (cn.record = rd.record)
290                                         JOIN $cp_table cp ON (cn.id = cp.call_number)
291                                         JOIN $cs_table cs ON (cp.status = cs.id)
292                                         JOIN $cl_table cl ON (cp.location = cl.id)
293                                         JOIN $descendants a ON (cp.circ_lib = a.id)
294                                   WHERE r.metarecord = ?
295                                         AND cn.deleted IS FALSE
296                                         AND cp.deleted IS FALSE
297                                         $copies_visible
298                                         $t_filter
299                                         $f_filter
300                                 )
301                         ) AS count,
302                         sum(
303                                 (SELECT count(cp.id)
304                                   FROM  $sm_table r
305                                         JOIN $cn_table cn ON (cn.record = r.source)
306                                         JOIN $rd_table rd ON (cn.record = rd.record)
307                                         JOIN $cp_table cp ON (cn.id = cp.call_number)
308                                         JOIN $cs_table cs ON (cp.status = cs.id)
309                                         JOIN $cl_table cl ON (cp.location = cl.id)
310                                         JOIN $descendants a ON (cp.circ_lib = a.id)
311                                   WHERE r.metarecord = ?
312                                         AND cp.status = 0
313                                         AND cn.deleted IS FALSE
314                                         AND cp.deleted IS FALSE
315                                         $copies_visible
316                                         $t_filter
317                                         $f_filter
318                                 )
319                         ) AS available,
320                         sum(
321                                 (SELECT count(cp.id)
322                                   FROM  $sm_table r
323                                         JOIN $cn_table cn ON (cn.record = r.source)
324                                         JOIN $rd_table rd ON (cn.record = rd.record)
325                                         JOIN $cp_table cp ON (cn.id = cp.call_number)
326                                         JOIN $cs_table cs ON (cp.status = cs.id)
327                                         JOIN $cl_table cl ON (cp.location = cl.id)
328                                   WHERE r.metarecord = ?
329                                         AND cn.deleted IS FALSE
330                                         AND cp.deleted IS FALSE
331                                         AND cp.opac_visible IS TRUE
332                                         AND cs.holdable IS TRUE
333                                         AND cl.opac_visible IS TRUE
334                                         $t_filter
335                                         $f_filter
336                                 )
337                         ) AS unshadow,
338                         sum(    
339                                 (SELECT sum(1)
340                                   FROM  $sm_table r
341                                         JOIN $br_table br ON (br.id = r.source)
342                                         JOIN $src_table src ON (src.id = br.source)
343                                   WHERE r.metarecord = ?
344                                         AND src.transcendant IS TRUE
345                                 )
346                         ) AS transcendant
347
348                   FROM  $ancestors u
349                         JOIN $out_table t ON (u.ou_type = t.id)
350                   GROUP BY 1,2
351         SQL
352
353         my $sth = metabib::metarecord_source_map->db_Main->prepare_cached($sql);
354         $sth->execute(  ''.$args{metarecord},
355                         @types, 
356                         @forms,
357                         ''.$args{metarecord},
358                         @types, 
359                         @forms,
360                         ''.$args{metarecord},
361                         @types, 
362                         @forms,
363                         ''.$args{metarecord},
364                         ''.$args{org_unit}, 
365         ); 
366
367         while ( my $row = $sth->fetchrow_hashref ) {
368                 $client->respond( $row );
369         }
370         return undef;
371 }
372 __PACKAGE__->register_method(
373         api_name        => 'open-ils.storage.metabib.metarecord.copy_count',
374         method          => 'metarecord_copy_count',
375         api_level       => 1,
376         stream          => 1,
377         cachable        => 1,
378 );
379 __PACKAGE__->register_method(
380         api_name        => 'open-ils.storage.metabib.metarecord.copy_count.staff',
381         method          => 'metarecord_copy_count',
382         api_level       => 1,
383         stream          => 1,
384         cachable        => 1,
385 );
386
387 sub biblio_multi_search_full_rec {
388         my $self = shift;
389         my $client = shift;
390
391         my %args = @_;  
392         my $class_join = $args{class_join} || 'AND';
393         my $limit = $args{limit} || 100;
394         my $offset = $args{offset} || 0;
395         my $sort = $args{'sort'};
396         my $sort_dir = $args{sort_dir} || 'DESC';
397
398         my @binds;
399         my @selects;
400
401         for my $arg (@{ $args{searches} }) {
402                 my $term = $$arg{term};
403                 my $limiters = $$arg{restrict};
404
405                 my ($index_col) = metabib::full_rec->columns('FTS');
406                 $index_col ||= 'value';
407                 my $search_table = metabib::full_rec->table;
408
409                 my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
410
411                 my $fts_where = $fts->sql_where_clause();
412                 my @fts_ranks = $fts->fts_rank;
413
414                 my $rank = join(' + ', @fts_ranks);
415
416                 my @wheres;
417                 for my $limit (@$limiters) {
418                         push @wheres, "( tag = ? AND subfield LIKE ? AND $fts_where )";
419                         push @binds, $$limit{tag}, $$limit{subfield};
420                         $log->debug("Limiting query using { tag => $$limit{tag}, subfield => $$limit{subfield} }", DEBUG);
421                 }
422                 my $where = join(' OR ', @wheres);
423
424                 push @selects, "SELECT id, record, $rank as sum FROM $search_table WHERE $where";
425
426         }
427
428         my $descendants = defined($args{depth}) ?
429                                 "actor.org_unit_descendants($args{org_unit}, $args{depth})" :
430                                 "actor.org_unit_descendants($args{org_unit})" ;
431
432
433         my $metabib_record_descriptor = metabib::record_descriptor->table;
434         my $metabib_full_rec = metabib::full_rec->table;
435         my $asset_call_number_table = asset::call_number->table;
436         my $asset_copy_table = asset::copy->table;
437         my $cs_table = config::copy_status->table;
438         my $cl_table = asset::copy_location->table;
439         my $br_table = biblio::record_entry->table;
440
441         my $cj = 'HAVING COUNT(x.id) = ' . scalar(@selects) if ($class_join eq 'AND');
442         my $search_table =
443                 '(SELECT x.record, sum(x.sum) FROM (('.
444                         join(') UNION ALL (', @selects).
445                         ")) x GROUP BY 1 $cj ORDER BY 2 DESC )";
446
447         my $has_vols = 'AND cn.owning_lib = d.id';
448         my $has_copies = 'AND cp.call_number = cn.id';
449         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
450
451         if ($self->api_name =~ /staff/o) {
452                 $copies_visible = '';
453                 $has_copies = '' if ($ou_type == 0);
454                 $has_vols = '' if ($ou_type == 0);
455         }
456
457         my ($t_filter, $f_filter) = ('','');
458         my ($a_filter, $l_filter, $lf_filter) = ('','','');
459
460         if (my $a = $args{audience}) {
461                 $a = [$a] if (!ref($a));
462                 my @aud = @$a;
463                         
464                 $a_filter = ' AND rd.audience IN ('.join(',',map{'?'}@aud).')';
465                 push @binds, @aud;
466         }
467
468         if (my $l = $args{language}) {
469                 $l = [$l] if (!ref($l));
470                 my @lang = @$l;
471
472                 $l_filter = ' AND rd.item_lang IN ('.join(',',map{'?'}@lang).')';
473                 push @binds, @lang;
474         }
475
476         if (my $f = $args{lit_form}) {
477                 $f = [$f] if (!ref($f));
478                 my @lit_form = @$f;
479
480                 $lf_filter = ' AND rd.lit_form IN ('.join(',',map{'?'}@lit_form).')';
481                 push @binds, @lit_form;
482         }
483
484         if (my $f = $args{item_form}) {
485                 $f = [$f] if (!ref($f));
486                 my @forms = @$f;
487
488                 $f_filter = ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
489                 push @binds, @forms;
490         }
491
492         if (my $t = $args{item_type}) {
493                 $t = [$t] if (!ref($t));
494                 my @types = @$t;
495
496                 $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
497                 push @binds, @types;
498         }
499
500
501         if ($args{format}) {
502                 my ($t, $f) = split '-', $args{format};
503                 my @types = split '', $t;
504                 my @forms = split '', $f;
505                 if (@types) {
506                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
507                 }
508
509                 if (@forms) {
510                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
511                 }
512                 push @binds, @types, @forms;
513         }
514
515         my $relevance = 'sum(f.sum)';
516         $relevance = 1 if (!$copies_visible);
517
518         my $rank = $relevance;
519         if (lc($sort) eq 'pubdate') {
520                 $rank = <<"             RANK";
521                         ( FIRST ((
522                                 SELECT  COALESCE(SUBSTRING(frp.value FROM '\\\\d+'),'9999')::INT
523                                   FROM  $metabib_full_rec frp
524                                   WHERE frp.record = f.record
525                                         AND frp.tag = '260'
526                                         AND frp.subfield = 'c'
527                                   LIMIT 1
528                         )) )
529                 RANK
530         } elsif (lc($sort) eq 'create_date') {
531                 $rank = <<"             RANK";
532                         ( FIRST (( SELECT create_date FROM $br_table rbr WHERE rbr.id = f.record)) )
533                 RANK
534         } elsif (lc($sort) eq 'edit_date') {
535                 $rank = <<"             RANK";
536                         ( FIRST (( SELECT edit_date FROM $br_table rbr WHERE rbr.id = f.record)) )
537                 RANK
538         } elsif (lc($sort) eq 'title') {
539                 $rank = <<"             RANK";
540                         ( FIRST ((
541                                 SELECT  COALESCE(LTRIM(SUBSTR( frt.value, COALESCE(SUBSTRING(frt.ind2 FROM '\\\\d+'),'0')::INT + 1 )),'zzzzzzzz')
542                                   FROM  $metabib_full_rec frt
543                                   WHERE frt.record = f.record
544                                         AND frt.tag = '245'
545                                         AND frt.subfield = 'a'
546                                   LIMIT 1
547                         )) )
548                 RANK
549         } elsif (lc($sort) eq 'author') {
550                 $rank = <<"             RANK";
551                         ( FIRST((
552                                 SELECT  COALESCE(LTRIM(fra.value),'zzzzzzzz')
553                                   FROM  $metabib_full_rec fra
554                                   WHERE fra.record = f.record
555                                         AND fra.tag LIKE '1%'
556                                         AND fra.subfield = 'a'
557                                   ORDER BY fra.tag::text::int
558                                   LIMIT 1
559                         )) )
560                 RANK
561         } else {
562                 $sort = undef;
563         }
564
565
566         if ($copies_visible) {
567                 $select = <<"           SQL";
568                         SELECT  f.record, $relevance, count(DISTINCT cp.id), $rank
569                         FROM    $search_table f,
570                                 $asset_call_number_table cn,
571                                 $asset_copy_table cp,
572                                 $cs_table cs,
573                                 $cl_table cl,
574                                 $br_table br,
575                                 $metabib_record_descriptor rd,
576                                 $descendants d
577                         WHERE   br.id = f.record
578                                 AND cn.record = f.record
579                                 AND rd.record = f.record
580                                 AND cp.status = cs.id
581                                 AND cp.location = cl.id
582                                 AND br.deleted IS FALSE
583                                 AND cn.deleted IS FALSE
584                                 AND cp.deleted IS FALSE
585                                 $has_vols
586                                 $has_copies
587                                 $copies_visible
588                                 $t_filter
589                                 $f_filter
590                                 $a_filter
591                                 $l_filter
592                                 $lf_filter
593                         GROUP BY f.record HAVING count(DISTINCT cp.id) > 0
594                         ORDER BY 4 $sort_dir,3 DESC
595                 SQL
596         } else {
597                 $select = <<"           SQL";
598                         SELECT  f.record, 1, 1, $rank
599                         FROM    $search_table f,
600                                 $br_table br,
601                                 $metabib_record_descriptor rd
602                         WHERE   br.id = f.record
603                                 AND rd.record = f.record
604                                 AND br.deleted IS FALSE
605                                 $t_filter
606                                 $f_filter
607                                 $a_filter
608                                 $l_filter
609                                 $lf_filter
610                         GROUP BY 1,2,3 
611                         ORDER BY 4 $sort_dir
612                 SQL
613         }
614
615
616         $log->debug("Search SQL :: [$select]",DEBUG);
617
618         my $recs = metabib::full_rec->db_Main->selectall_arrayref("$select;", {}, @binds);
619         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
620
621         my $max = 0;
622         $max = 1 if (!@$recs);
623         for (@$recs) {
624                 $max = $$_[1] if ($$_[1] > $max);
625         }
626
627         my $count = @$recs;
628         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
629                 next unless ($$rec[0]);
630                 my ($rid,$rank,$junk,$skip) = @$rec;
631                 $client->respond( [$rid, sprintf('%0.3f',$rank/$max), $count] );
632         }
633         return undef;
634 }
635 __PACKAGE__->register_method(
636         api_name        => 'open-ils.storage.biblio.full_rec.multi_search',
637         method          => 'biblio_multi_search_full_rec',
638         api_level       => 1,
639         stream          => 1,
640         cachable        => 1,
641 );
642 __PACKAGE__->register_method(
643         api_name        => 'open-ils.storage.biblio.full_rec.multi_search.staff',
644         method          => 'biblio_multi_search_full_rec',
645         api_level       => 1,
646         stream          => 1,
647         cachable        => 1,
648 );
649
650 sub search_full_rec {
651         my $self = shift;
652         my $client = shift;
653
654         my %args = @_;
655         
656         my $term = $args{term};
657         my $limiters = $args{restrict};
658
659         my ($index_col) = metabib::full_rec->columns('FTS');
660         $index_col ||= 'value';
661         my $search_table = metabib::full_rec->table;
662
663         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
664
665         my $fts_where = $fts->sql_where_clause();
666         my @fts_ranks = $fts->fts_rank;
667
668         my $rank = join(' + ', @fts_ranks);
669
670         my @binds;
671         my @wheres;
672         for my $limit (@$limiters) {
673                 push @wheres, "( tag = ? AND subfield LIKE ? AND $fts_where )";
674                 push @binds, $$limit{tag}, $$limit{subfield};
675                 $log->debug("Limiting query using { tag => $$limit{tag}, subfield => $$limit{subfield} }", DEBUG);
676         }
677         my $where = join(' OR ', @wheres);
678
679         my $select = "SELECT record, sum($rank) FROM $search_table WHERE $where GROUP BY 1 ORDER BY 2 DESC;";
680
681         $log->debug("Search SQL :: [$select]",DEBUG);
682
683         my $recs = metabib::full_rec->db_Main->selectall_arrayref($select, {}, @binds);
684         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
685
686         $client->respond($_) for (@$recs);
687         return undef;
688 }
689 __PACKAGE__->register_method(
690         api_name        => 'open-ils.storage.direct.metabib.full_rec.search_fts.value',
691         method          => 'search_full_rec',
692         api_level       => 1,
693         stream          => 1,
694         cachable        => 1,
695 );
696 __PACKAGE__->register_method(
697         api_name        => 'open-ils.storage.direct.metabib.full_rec.search_fts.index_vector',
698         method          => 'search_full_rec',
699         api_level       => 1,
700         stream          => 1,
701         cachable        => 1,
702 );
703
704
705 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
706 sub search_class_fts {
707         my $self = shift;
708         my $client = shift;
709         my %args = @_;
710         
711         my $term = $args{term};
712         my $ou = $args{org_unit};
713         my $ou_type = $args{depth};
714         my $limit = $args{limit};
715         my $offset = $args{offset};
716
717         my $limit_clause = '';
718         my $offset_clause = '';
719
720         $limit_clause = "LIMIT $limit" if (defined $limit and int($limit) > 0);
721         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
722
723         my (@types,@forms);
724         my ($t_filter, $f_filter) = ('','');
725
726         if ($args{format}) {
727                 my ($t, $f) = split '-', $args{format};
728                 @types = split '', $t;
729                 @forms = split '', $f;
730                 if (@types) {
731                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
732                 }
733
734                 if (@forms) {
735                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
736                 }
737         }
738
739
740
741         my $descendants = defined($ou_type) ?
742                                 "actor.org_unit_descendants($ou, $ou_type)" :
743                                 "actor.org_unit_descendants($ou)";
744
745         my $class = $self->{cdbi};
746         my $search_table = $class->table;
747
748         my $metabib_record_descriptor = metabib::record_descriptor->table;
749         my $metabib_metarecord = metabib::metarecord->table;
750         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
751         my $asset_call_number_table = asset::call_number->table;
752         my $asset_copy_table = asset::copy->table;
753         my $cs_table = config::copy_status->table;
754         my $cl_table = asset::copy_location->table;
755
756         my ($index_col) = $class->columns('FTS');
757         $index_col ||= 'value';
758
759         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'f.value', "f.$index_col");
760
761         my $fts_where = $fts->sql_where_clause;
762         my @fts_ranks = $fts->fts_rank;
763
764         my $rank = join(' + ', @fts_ranks);
765
766         my $has_vols = 'AND cn.owning_lib = d.id';
767         my $has_copies = 'AND cp.call_number = cn.id';
768         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
769
770         my $visible_count = ', count(DISTINCT cp.id)';
771         my $visible_count_test = 'HAVING count(DISTINCT cp.id) > 0';
772
773         if ($self->api_name =~ /staff/o) {
774                 $copies_visible = '';
775                 $visible_count_test = '';
776                 $has_copies = '' if ($ou_type == 0);
777                 $has_vols = '' if ($ou_type == 0);
778         }
779
780         my $rank_calc = <<"     RANK";
781                 , (SUM( $rank
782                         * CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END -- phrase order
783                         * CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END -- first word match
784                         * CASE WHEN f.value ~* ? THEN 2 ELSE 1 END -- only word match
785                 )/COUNT(m.source)), MIN(COALESCE(CHAR_LENGTH(f.value),1))
786         RANK
787
788         $rank_calc = ',1 , 1' if ($self->api_name =~ /unordered/o);
789
790         if ($copies_visible) {
791                 $select = <<"           SQL";
792                         SELECT  m.metarecord $rank_calc $visible_count, CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
793                         FROM    $search_table f,
794                                 $metabib_metarecord_source_map_table m,
795                                 $asset_call_number_table cn,
796                                 $asset_copy_table cp,
797                                 $cs_table cs,
798                                 $cl_table cl,
799                                 $metabib_record_descriptor rd,
800                                 $descendants d
801                         WHERE   $fts_where
802                                 AND m.source = f.source
803                                 AND cn.record = m.source
804                                 AND rd.record = m.source
805                                 AND cp.status = cs.id
806                                 AND cp.location = cl.id
807                                 $has_vols
808                                 $has_copies
809                                 $copies_visible
810                                 $t_filter
811                                 $f_filter
812                         GROUP BY 1 $visible_count_test
813                         ORDER BY 2 DESC,3
814                         $limit_clause $offset_clause
815                 SQL
816         } else {
817                 $select = <<"           SQL";
818                         SELECT  m.metarecord $rank_calc, 0, CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
819                         FROM    $search_table f,
820                                 $metabib_metarecord_source_map_table m,
821                                 $metabib_record_descriptor rd
822                         WHERE   $fts_where
823                                 AND m.source = f.source
824                                 AND rd.record = m.source
825                                 $t_filter
826                                 $f_filter
827                         GROUP BY 1, 4
828                         ORDER BY 2 DESC,3
829                         $limit_clause $offset_clause
830                 SQL
831         }
832
833         $log->debug("Field Search SQL :: [$select]",DEBUG);
834
835         my $SQLstring = join('%',$fts->words);
836         my $REstring = join('\\s+',$fts->words);
837         my $first_word = ($fts->words)[0].'%';
838         my $recs = ($self->api_name =~ /unordered/o) ? 
839                         $class->db_Main->selectall_arrayref($select, {}, @types, @forms) :
840                         $class->db_Main->selectall_arrayref($select, {},
841                                 '%'.lc($SQLstring).'%',                 # phrase order match
842                                 lc($first_word),                        # first word match
843                                 '^\\s*'.lc($REstring).'\\s*/?\s*$',     # full exact match
844                                 @types, @forms
845                         );
846         
847         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
848
849         $client->respond($_) for (map { [@$_[0,1,3,4]] } @$recs);
850         return undef;
851 }
852
853 for my $class ( qw/title author subject keyword series/ ) {
854         __PACKAGE__->register_method(
855                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord",
856                 method          => 'search_class_fts',
857                 api_level       => 1,
858                 stream          => 1,
859                 cdbi            => "metabib::${class}_field_entry",
860                 cachable        => 1,
861         );
862         __PACKAGE__->register_method(
863                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.unordered",
864                 method          => 'search_class_fts',
865                 api_level       => 1,
866                 stream          => 1,
867                 cdbi            => "metabib::${class}_field_entry",
868                 cachable        => 1,
869         );
870         __PACKAGE__->register_method(
871                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.staff",
872                 method          => 'search_class_fts',
873                 api_level       => 1,
874                 stream          => 1,
875                 cdbi            => "metabib::${class}_field_entry",
876                 cachable        => 1,
877         );
878         __PACKAGE__->register_method(
879                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.staff.unordered",
880                 method          => 'search_class_fts',
881                 api_level       => 1,
882                 stream          => 1,
883                 cdbi            => "metabib::${class}_field_entry",
884                 cachable        => 1,
885         );
886 }
887
888 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
889 sub search_class_fts_count {
890         my $self = shift;
891         my $client = shift;
892         my %args = @_;
893         
894         my $term = $args{term};
895         my $ou = $args{org_unit};
896         my $ou_type = $args{depth};
897         my $limit = $args{limit} || 100;
898         my $offset = $args{offset} || 0;
899
900         my $descendants = defined($ou_type) ?
901                                 "actor.org_unit_descendants($ou, $ou_type)" :
902                                 "actor.org_unit_descendants($ou)";
903                 
904         my (@types,@forms);
905         my ($t_filter, $f_filter) = ('','');
906
907         if ($args{format}) {
908                 my ($t, $f) = split '-', $args{format};
909                 @types = split '', $t;
910                 @forms = split '', $f;
911                 if (@types) {
912                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
913                 }
914
915                 if (@forms) {
916                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
917                 }
918         }
919
920
921         (my $search_class = $self->api_name) =~ s/.*metabib.(\w+).search_fts.*/$1/o;
922
923         my $class = $self->{cdbi};
924         my $search_table = $class->table;
925
926         my $metabib_record_descriptor = metabib::record_descriptor->table;
927         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
928         my $asset_call_number_table = asset::call_number->table;
929         my $asset_copy_table = asset::copy->table;
930         my $cs_table = config::copy_status->table;
931         my $cl_table = asset::copy_location->table;
932
933         my ($index_col) = $class->columns('FTS');
934         $index_col ||= 'value';
935
936         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
937
938         my $fts_where = $fts->sql_where_clause;
939
940         my $has_vols = 'AND cn.owning_lib = d.id';
941         my $has_copies = 'AND cp.call_number = cn.id';
942         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
943         if ($self->api_name =~ /staff/o) {
944                 $copies_visible = '';
945                 $has_vols = '' if ($ou_type == 0);
946                 $has_copies = '' if ($ou_type == 0);
947         }
948
949         # XXX test an "EXISTS version of descendant checking...
950         my $select;
951         if ($copies_visible) {
952                 $select = <<"           SQL";
953                 SELECT  count(distinct  m.metarecord)
954                   FROM  $search_table f,
955                         $metabib_metarecord_source_map_table m,
956                         $metabib_metarecord_source_map_table mr,
957                         $asset_call_number_table cn,
958                         $asset_copy_table cp,
959                         $cs_table cs,
960                         $cl_table cl,
961                         $metabib_record_descriptor rd,
962                         $descendants d
963                   WHERE $fts_where
964                         AND mr.source = f.source
965                         AND mr.metarecord = m.metarecord
966                         AND cn.record = m.source
967                         AND rd.record = m.source
968                         AND cp.status = cs.id
969                         AND cp.location = cl.id
970                         $has_vols
971                         $has_copies
972                         $copies_visible
973                         $t_filter
974                         $f_filter
975                 SQL
976         } else {
977                 $select = <<"           SQL";
978                 SELECT  count(distinct  m.metarecord)
979                   FROM  $search_table f,
980                         $metabib_metarecord_source_map_table m,
981                         $metabib_metarecord_source_map_table mr,
982                         $metabib_record_descriptor rd
983                   WHERE $fts_where
984                         AND mr.source = f.source
985                         AND mr.metarecord = m.metarecord
986                         AND rd.record = m.source
987                         $t_filter
988                         $f_filter
989                 SQL
990         }
991
992         $log->debug("Field Search Count SQL :: [$select]",DEBUG);
993
994         my $recs = $class->db_Main->selectrow_arrayref($select, {}, @types, @forms)->[0];
995         
996         $log->debug("Count Search yielded $recs results.",DEBUG);
997
998         return $recs;
999
1000 }
1001 for my $class ( qw/title author subject keyword series/ ) {
1002         __PACKAGE__->register_method(
1003                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord_count",
1004                 method          => 'search_class_fts_count',
1005                 api_level       => 1,
1006                 stream          => 1,
1007                 cdbi            => "metabib::${class}_field_entry",
1008                 cachable        => 1,
1009         );
1010         __PACKAGE__->register_method(
1011                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord_count.staff",
1012                 method          => 'search_class_fts_count',
1013                 api_level       => 1,
1014                 stream          => 1,
1015                 cdbi            => "metabib::${class}_field_entry",
1016                 cachable        => 1,
1017         );
1018 }
1019
1020
1021 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
1022 sub postfilter_search_class_fts {
1023         my $self = shift;
1024         my $client = shift;
1025         my %args = @_;
1026         
1027         my $term = $args{term};
1028         my $sort = $args{'sort'};
1029         my $sort_dir = $args{sort_dir} || 'DESC';
1030         my $ou = $args{org_unit};
1031         my $ou_type = $args{depth};
1032         my $limit = $args{limit} || 10;
1033         my $visiblity_limit = $args{visiblity_limit} || 5000;
1034         my $offset = $args{offset} || 0;
1035
1036         my $outer_limit = 1000;
1037
1038         my $limit_clause = '';
1039         my $offset_clause = '';
1040
1041         $limit_clause = "LIMIT $outer_limit";
1042         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
1043
1044         my (@types,@forms,@lang,@aud,@lit_form);
1045         my ($t_filter, $f_filter) = ('','');
1046         my ($a_filter, $l_filter, $lf_filter) = ('','','');
1047         my ($ot_filter, $of_filter) = ('','');
1048         my ($oa_filter, $ol_filter, $olf_filter) = ('','','');
1049
1050         if (my $a = $args{audience}) {
1051                 $a = [$a] if (!ref($a));
1052                 @aud = @$a;
1053                         
1054                 $a_filter = ' AND rd.audience IN ('.join(',',map{'?'}@aud).')';
1055                 $oa_filter = ' AND ord.audience IN ('.join(',',map{'?'}@aud).')';
1056         }
1057
1058         if (my $l = $args{language}) {
1059                 $l = [$l] if (!ref($l));
1060                 @lang = @$l;
1061
1062                 $l_filter = ' AND rd.item_lang IN ('.join(',',map{'?'}@lang).')';
1063                 $ol_filter = ' AND ord.item_lang IN ('.join(',',map{'?'}@lang).')';
1064         }
1065
1066         if (my $f = $args{lit_form}) {
1067                 $f = [$f] if (!ref($f));
1068                 @lit_form = @$f;
1069
1070                 $lf_filter = ' AND rd.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1071                 $olf_filter = ' AND ord.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1072         }
1073
1074         if ($args{format}) {
1075                 my ($t, $f) = split '-', $args{format};
1076                 @types = split '', $t;
1077                 @forms = split '', $f;
1078                 if (@types) {
1079                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1080                         $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1081                 }
1082
1083                 if (@forms) {
1084                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1085                         $of_filter .= ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1086                 }
1087         }
1088
1089
1090         my $descendants = defined($ou_type) ?
1091                                 "actor.org_unit_descendants($ou, $ou_type)" :
1092                                 "actor.org_unit_descendants($ou)";
1093
1094         my $class = $self->{cdbi};
1095         my $search_table = $class->table;
1096
1097         my $metabib_full_rec = metabib::full_rec->table;
1098         my $metabib_record_descriptor = metabib::record_descriptor->table;
1099         my $metabib_metarecord = metabib::metarecord->table;
1100         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
1101         my $asset_call_number_table = asset::call_number->table;
1102         my $asset_copy_table = asset::copy->table;
1103         my $cs_table = config::copy_status->table;
1104         my $cl_table = asset::copy_location->table;
1105         my $br_table = biblio::record_entry->table;
1106
1107         my ($index_col) = $class->columns('FTS');
1108         $index_col ||= 'value';
1109
1110         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'f.value', "f.$index_col");
1111
1112         my $SQLstring = join('%',map { lc($_) } $fts->words);
1113         my $REstring = '^' . join('\s+',map { lc($_) } $fts->words) . '\W*$';
1114         my $first_word = lc(($fts->words)[0]).'%';
1115
1116         my $fts_where = $fts->sql_where_clause;
1117         my @fts_ranks = $fts->fts_rank;
1118
1119         my %bonus = ();
1120         $bonus{'metabib::keyword_field_entry'} = [ { 'CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END' => $SQLstring } ];
1121         $bonus{'metabib::title_field_entry'} =
1122                 $bonus{'metabib::series_field_entry'} = [
1123                         { 'CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END' => $first_word },
1124                         { 'CASE WHEN f.value ~* ? THEN 2 ELSE 1 END' => $REstring },
1125                         @{ $bonus{'metabib::keyword_field_entry'} }
1126                 ];
1127
1128         my $bonus_list = join ' * ', map { keys %$_ } @{ $bonus{$class} };
1129         $bonus_list ||= '1';
1130
1131         my @bonus_values = map { values %$_ } @{ $bonus{$class} };
1132
1133         my $relevance = join(' + ', @fts_ranks);
1134         $relevance = <<"        RANK";
1135                         (SUM( ( $relevance )  * ( $bonus_list ) )/COUNT(m.source))
1136         RANK
1137
1138         my $rank = $relevance;
1139         if (lc($sort) eq 'pubdate') {
1140                 $rank = <<"             RANK";
1141                         ( FIRST ((
1142                                 SELECT  COALESCE(SUBSTRING(frp.value FROM '\\\\d+'),'9999')::INT
1143                                   FROM  $metabib_full_rec frp
1144                                   WHERE frp.record = mr.master_record
1145                                         AND frp.tag = '260'
1146                                         AND frp.subfield = 'c'
1147                                   LIMIT 1
1148                         )) )
1149                 RANK
1150         } elsif (lc($sort) eq 'create_date') {
1151                 $rank = <<"             RANK";
1152                         ( FIRST (( SELECT create_date FROM $br_table rbr WHERE rbr.id = mr.master_record)) )
1153                 RANK
1154         } elsif (lc($sort) eq 'edit_date') {
1155                 $rank = <<"             RANK";
1156                         ( FIRST (( SELECT edit_date FROM $br_table rbr WHERE rbr.id = mr.master_record)) )
1157                 RANK
1158         } elsif (lc($sort) eq 'title') {
1159                 $rank = <<"             RANK";
1160                         ( FIRST ((
1161                                 SELECT  COALESCE(LTRIM(SUBSTR( frt.value, COALESCE(SUBSTRING(frt.ind2 FROM '\\\\d+'),'0')::INT + 1 )),'zzzzzzzz')
1162                                   FROM  $metabib_full_rec frt
1163                                   WHERE frt.record = mr.master_record
1164                                         AND frt.tag = '245'
1165                                         AND frt.subfield = 'a'
1166                                   LIMIT 1
1167                         )) )
1168                 RANK
1169         } elsif (lc($sort) eq 'author') {
1170                 $rank = <<"             RANK";
1171                         ( FIRST((
1172                                 SELECT  COALESCE(LTRIM(fra.value),'zzzzzzzz')
1173                                   FROM  $metabib_full_rec fra
1174                                   WHERE fra.record = mr.master_record
1175                                         AND fra.tag LIKE '1%'
1176                                         AND fra.subfield = 'a'
1177                                   ORDER BY fra.tag::text::int
1178                                   LIMIT 1
1179                         )) )
1180                 RANK
1181         } else {
1182                 $sort = undef;
1183         }
1184
1185         my $select = <<"        SQL";
1186                 SELECT  m.metarecord,
1187                         $relevance,
1188                         CASE WHEN COUNT(DISTINCT smrs.source) = 1 THEN MIN(m.source) ELSE 0 END,
1189                         $rank
1190                 FROM    $search_table f,
1191                         $metabib_metarecord_source_map_table m,
1192                         $metabib_metarecord_source_map_table smrs,
1193                         $metabib_metarecord mr,
1194                         $metabib_record_descriptor rd
1195                 WHERE   $fts_where
1196                         AND smrs.metarecord = mr.id
1197                         AND m.source = f.source
1198                         AND m.metarecord = mr.id
1199                         AND rd.record = smrs.source
1200                         $t_filter
1201                         $f_filter
1202                         $a_filter
1203                         $l_filter
1204                         $lf_filter
1205                 GROUP BY m.metarecord
1206                 ORDER BY 4 $sort_dir, MIN(COALESCE(CHAR_LENGTH(f.value),1))
1207                 LIMIT $visiblity_limit
1208         SQL
1209
1210         if (0) {
1211                 $select = <<"           SQL";
1212
1213                         SELECT  DISTINCT s.*
1214                           FROM  $asset_call_number_table cn,
1215                                 $metabib_metarecord_source_map_table mrs,
1216                                 $asset_copy_table cp,
1217                                 $cs_table cs,
1218                                 $cl_table cl,
1219                                 $br_table br,
1220                                 $descendants d,
1221                                 $metabib_record_descriptor ord,
1222                                 ($select) s
1223                           WHERE mrs.metarecord = s.metarecord
1224                                 AND br.id = mrs.source
1225                                 AND cn.record = mrs.source
1226                                 AND cp.status = cs.id
1227                                 AND cp.location = cl.id
1228                                 AND cn.owning_lib = d.id
1229                                 AND cp.call_number = cn.id
1230                                 AND cp.opac_visible IS TRUE
1231                                 AND cs.holdable IS TRUE
1232                                 AND cl.opac_visible IS TRUE
1233                                 AND br.active IS TRUE
1234                                 AND br.deleted IS FALSE
1235                                 AND ord.record = mrs.source
1236                                 $ot_filter
1237                                 $of_filter
1238                                 $oa_filter
1239                                 $ol_filter
1240                                 $olf_filter
1241                           ORDER BY 4 $sort_dir
1242                 SQL
1243         } elsif ($self->api_name !~ /staff/o) {
1244                 $select = <<"           SQL";
1245
1246                         SELECT  DISTINCT s.*
1247                           FROM  ($select) s
1248                           WHERE EXISTS (
1249                                 SELECT  1
1250                                   FROM  $asset_call_number_table cn,
1251                                         $metabib_metarecord_source_map_table mrs,
1252                                         $asset_copy_table cp,
1253                                         $cs_table cs,
1254                                         $cl_table cl,
1255                                         $br_table br,
1256                                         $descendants d,
1257                                         $metabib_record_descriptor ord
1258                                 
1259                                   WHERE mrs.metarecord = s.metarecord
1260                                         AND br.id = mrs.source
1261                                         AND cn.record = mrs.source
1262                                         AND cp.status = cs.id
1263                                         AND cp.location = cl.id
1264                                         AND cn.owning_lib = d.id
1265                                         AND cp.call_number = cn.id
1266                                         AND cp.opac_visible IS TRUE
1267                                         AND cs.holdable IS TRUE
1268                                         AND cl.opac_visible IS TRUE
1269                                         AND br.active IS TRUE
1270                                         AND br.deleted IS FALSE
1271                                         AND ord.record = mrs.source
1272                                         $ot_filter
1273                                         $of_filter
1274                                         $oa_filter
1275                                         $ol_filter
1276                                         $olf_filter
1277                                   LIMIT 1
1278                                 )
1279                           ORDER BY 4 $sort_dir
1280                 SQL
1281         } else {
1282                 $select = <<"           SQL";
1283
1284                         SELECT  DISTINCT s.*
1285                           FROM  ($select) s
1286                           WHERE EXISTS (
1287                                 SELECT  1
1288                                   FROM  $asset_call_number_table cn,
1289                                         $metabib_metarecord_source_map_table mrs,
1290                                         $br_table br,
1291                                         $descendants d,
1292                                         $metabib_record_descriptor ord
1293                                 
1294                                   WHERE mrs.metarecord = s.metarecord
1295                                         AND br.id = mrs.source
1296                                         AND cn.record = mrs.source
1297                                         AND cn.owning_lib = d.id
1298                                         AND br.deleted IS FALSE
1299                                         AND ord.record = mrs.source
1300                                         $ot_filter
1301                                         $of_filter
1302                                         $oa_filter
1303                                         $ol_filter
1304                                         $olf_filter
1305                                   LIMIT 1
1306                                 )
1307                                 OR NOT EXISTS (
1308                                 SELECT  1
1309                                   FROM  $asset_call_number_table cn,
1310                                         $metabib_metarecord_source_map_table mrs,
1311                                         $metabib_record_descriptor ord
1312                                   WHERE mrs.metarecord = s.metarecord
1313                                         AND cn.record = mrs.source
1314                                         AND ord.record = mrs.source
1315                                         $ot_filter
1316                                         $of_filter
1317                                         $oa_filter
1318                                         $ol_filter
1319                                         $olf_filter
1320                                   LIMIT 1
1321                                 )
1322                           ORDER BY 4 $sort_dir
1323                 SQL
1324         }
1325
1326
1327         $log->debug("Field Search SQL :: [$select]",DEBUG);
1328
1329         my $recs = $class->db_Main->selectall_arrayref(
1330                         $select, {},
1331                         (@bonus_values > 0 ? @bonus_values : () ),
1332                         ( (!$sort && @bonus_values > 0) ? @bonus_values : () ),
1333                         @types, @forms, @aud, @lang, @lit_form,
1334                         @types, @forms, @aud, @lang, @lit_form,
1335                         ($self->api_name =~ /staff/o ? (@types, @forms, @aud, @lang, @lit_form) : () ) );
1336         
1337         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
1338
1339         my $max = 0;
1340         $max = 1 if (!@$recs);
1341         for (@$recs) {
1342                 $max = $$_[1] if ($$_[1] > $max);
1343         }
1344
1345         my $count = scalar(@$recs);
1346         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
1347                 my ($mrid,$rank,$skip) = @$rec;
1348                 $client->respond( [$mrid, sprintf('%0.3f',$rank/$max), $skip, $count] );
1349         }
1350         return undef;
1351 }
1352
1353 for my $class ( qw/title author subject keyword series/ ) {
1354         __PACKAGE__->register_method(
1355                 api_name        => "open-ils.storage.metabib.$class.post_filter.search_fts.metarecord",
1356                 method          => 'postfilter_search_class_fts',
1357                 api_level       => 1,
1358                 stream          => 1,
1359                 cdbi            => "metabib::${class}_field_entry",
1360                 cachable        => 1,
1361         );
1362         __PACKAGE__->register_method(
1363                 api_name        => "open-ils.storage.metabib.$class.post_filter.search_fts.metarecord.staff",
1364                 method          => 'postfilter_search_class_fts',
1365                 api_level       => 1,
1366                 stream          => 1,
1367                 cdbi            => "metabib::${class}_field_entry",
1368                 cachable        => 1,
1369         );
1370 }
1371
1372
1373
1374 my $_cdbi = {   title   => "metabib::title_field_entry",
1375                 author  => "metabib::author_field_entry",
1376                 subject => "metabib::subject_field_entry",
1377                 keyword => "metabib::keyword_field_entry",
1378                 series  => "metabib::series_field_entry",
1379 };
1380
1381 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
1382 sub postfilter_search_multi_class_fts {
1383         my $self = shift;
1384         my $client = shift;
1385         my %args = @_;
1386         
1387         my $sort = $args{'sort'};
1388         my $sort_dir = $args{sort_dir} || 'DESC';
1389         my $ou = $args{org_unit};
1390         my $ou_type = $args{depth};
1391         my $limit = $args{limit} || 10;;
1392         my $visiblity_limit = $args{visiblity_limit} || 5000;;
1393         my $offset = $args{offset} || 0;
1394
1395         if (!$ou) {
1396                 $ou = actor::org_unit->search( { parent_ou => undef } )->next->id;
1397         }
1398
1399         if (!defined($args{org_unit})) {
1400                 die "No target organizational unit passed to ".$self->api_name;
1401         }
1402
1403         if (! scalar( keys %{$args{searches}} )) {
1404                 die "No search arguments were passed to ".$self->api_name;
1405         }
1406
1407         my $outer_limit = 1000;
1408
1409         my $limit_clause = '';
1410         my $offset_clause = '';
1411
1412         $limit_clause = "LIMIT $outer_limit";
1413         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
1414
1415         my (@types,@forms,@lang,@aud,@lit_form,@vformats);
1416         my ($t_filter, $f_filter, $v_filter) = ('','','');
1417         my ($a_filter, $l_filter, $lf_filter) = ('','','');
1418         my ($ot_filter, $of_filter, $ov_filter) = ('','','');
1419         my ($oa_filter, $ol_filter, $olf_filter) = ('','','');
1420
1421         if (my $a = $args{audience}) {
1422                 $a = [$a] if (!ref($a));
1423                 @aud = @$a;
1424                         
1425                 $a_filter = ' AND rd.audience IN ('.join(',',map{'?'}@aud).')';
1426                 $oa_filter = ' AND ord.audience IN ('.join(',',map{'?'}@aud).')';
1427         }
1428
1429         if (my $l = $args{language}) {
1430                 $l = [$l] if (!ref($l));
1431                 @lang = @$l;
1432
1433                 $l_filter = ' AND rd.item_lang IN ('.join(',',map{'?'}@lang).')';
1434                 $ol_filter = ' AND ord.item_lang IN ('.join(',',map{'?'}@lang).')';
1435         }
1436
1437         if (my $f = $args{lit_form}) {
1438                 $f = [$f] if (!ref($f));
1439                 @lit_form = @$f;
1440
1441                 $lf_filter = ' AND rd.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1442                 $olf_filter = ' AND ord.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1443         }
1444
1445         if (my $f = $args{item_form}) {
1446                 $f = [$f] if (!ref($f));
1447                 @forms = @$f;
1448
1449                 $f_filter = ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1450                 $of_filter = ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1451         }
1452
1453         if (my $t = $args{item_type}) {
1454                 $t = [$t] if (!ref($t));
1455                 @types = @$t;
1456
1457                 $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1458                 $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1459         }
1460
1461         if (my $v = $args{vr_format}) {
1462                 $v = [$v] if (!ref($v));
1463                 @vformats = @$v;
1464
1465                 $v_filter = ' AND rd.vr_format IN ('.join(',',map{'?'}@vformats).')';
1466                 $ov_filter = ' AND ord.vr_format IN ('.join(',',map{'?'}@vformats).')';
1467         }
1468
1469
1470         # XXX legacy format and item type support
1471         if ($args{format}) {
1472                 my ($t, $f) = split '-', $args{format};
1473                 @types = split '', $t;
1474                 @forms = split '', $f;
1475                 if (@types) {
1476                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1477                         $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1478                 }
1479
1480                 if (@forms) {
1481                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1482                         $of_filter .= ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1483                 }
1484         }
1485
1486
1487
1488         my $descendants = defined($ou_type) ?
1489                                 "actor.org_unit_descendants($ou, $ou_type)" :
1490                                 "actor.org_unit_descendants($ou)";
1491
1492         my $search_table_list = '';
1493         my $fts_list = '';
1494         my $join_table_list = '';
1495         my @rank_list;
1496
1497         my $field_table = config::metabib_field->table;
1498
1499         my @bonus_lists;
1500         my @bonus_values;
1501         my $prev_search_class;
1502         my $curr_search_class;
1503         for my $search_class (sort keys %{$args{searches}}) {
1504                 $prev_search_class = $curr_search_class if ($curr_search_class);
1505
1506                 $curr_search_class = $search_class;
1507
1508                 my $class = $_cdbi->{$search_class};
1509                 my $search_table = $class->table;
1510
1511                 my ($index_col) = $class->columns('FTS');
1512                 $index_col ||= 'value';
1513
1514                 
1515                 my $fts = OpenILS::Application::Storage::FTS->compile($args{searches}{$search_class}{term}, $search_class.'.value', "$search_class.$index_col");
1516
1517                 my $fts_where = $fts->sql_where_clause;
1518                 my @fts_ranks = $fts->fts_rank;
1519
1520                 my $SQLstring = join('%',map { lc($_) } $fts->words);
1521                 my $REstring = '^' . join('\s+',map { lc($_) } $fts->words) . '\W*$';
1522                 my $first_word = lc(($fts->words)[0]).'%';
1523
1524                 $_.=" * (SELECT weight FROM $field_table WHERE $search_class.field = id)" for (@fts_ranks);
1525                 my $rank = join(' + ', @fts_ranks);
1526
1527                 my %bonus = ();
1528                 $bonus{'keyword'} = [ { "CASE WHEN $search_class.value LIKE ? THEN 10 ELSE 1 END" => $SQLstring } ];
1529
1530                 $bonus{'series'} = [
1531                         { "CASE WHEN $search_class.value LIKE ? THEN 1.5 ELSE 1 END" => $first_word },
1532                         { "CASE WHEN $search_class.value ~ ? THEN 20 ELSE 1 END" => $REstring },
1533                 ];
1534
1535                 $bonus{'title'} = [ @{ $bonus{'series'} }, @{ $bonus{'keyword'} } ];
1536
1537                 my $bonus_list = join ' * ', map { keys %$_ } @{ $bonus{$search_class} };
1538                 $bonus_list ||= '1';
1539
1540                 push @bonus_lists, $bonus_list;
1541                 push @bonus_values, map { values %$_ } @{ $bonus{$search_class} };
1542
1543
1544                 #---------------------
1545
1546                 $search_table_list .= "$search_table $search_class, ";
1547                 push @rank_list,$rank;
1548                 $fts_list .= " AND $fts_where AND m.source = $search_class.source";
1549
1550                 if ($prev_search_class) {
1551                         $join_table_list .= " AND $prev_search_class.source = $curr_search_class.source";
1552                 }
1553         }
1554
1555         my $metabib_record_descriptor = metabib::record_descriptor->table;
1556         my $metabib_full_rec = metabib::full_rec->table;
1557         my $metabib_metarecord = metabib::metarecord->table;
1558         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
1559         my $asset_call_number_table = asset::call_number->table;
1560         my $asset_copy_table = asset::copy->table;
1561         my $cs_table = config::copy_status->table;
1562         my $cl_table = asset::copy_location->table;
1563         my $br_table = biblio::record_entry->table;
1564         my $source_table = config::bib_source->table;
1565
1566         my $bonuses = join (' * ', @bonus_lists);
1567         my $relevance = join (' + ', @rank_list);
1568         $relevance = "SUM( ($relevance) * ($bonuses) )/COUNT(DISTINCT smrs.source)";
1569
1570
1571         my $secondary_sort = <<"        SORT";
1572                 ( FIRST ((
1573                         SELECT  COALESCE(LTRIM(SUBSTR( sfrt.value, COALESCE(SUBSTRING(sfrt.ind2 FROM '\\\\d+'),'0')::INT + 1 )),'zzzzzzzz')
1574                           FROM  $metabib_full_rec sfrt,
1575                                 $metabib_metarecord mr
1576                           WHERE sfrt.record = mr.master_record
1577                                 AND sfrt.tag = '245'
1578                                 AND sfrt.subfield = 'a'
1579                           LIMIT 1
1580                 )) )
1581         SORT
1582
1583         my $rank = $relevance;
1584         if (lc($sort) eq 'pubdate') {
1585                 $rank = <<"             RANK";
1586                         ( FIRST ((
1587                                 SELECT  COALESCE(SUBSTRING(frp.value FROM '\\\\d+'),'9999')::INT
1588                                   FROM  $metabib_full_rec frp
1589                                   WHERE frp.record = mr.master_record
1590                                         AND frp.tag = '260'
1591                                         AND frp.subfield = 'c'
1592                                   LIMIT 1
1593                         )) )
1594                 RANK
1595         } elsif (lc($sort) eq 'create_date') {
1596                 $rank = <<"             RANK";
1597                         ( FIRST (( SELECT create_date FROM $br_table rbr WHERE rbr.id = mr.master_record)) )
1598                 RANK
1599         } elsif (lc($sort) eq 'edit_date') {
1600                 $rank = <<"             RANK";
1601                         ( FIRST (( SELECT edit_date FROM $br_table rbr WHERE rbr.id = mr.master_record)) )
1602                 RANK
1603         } elsif (lc($sort) eq 'title') {
1604                 $rank = <<"             RANK";
1605                         ( FIRST ((
1606                                 SELECT  COALESCE(LTRIM(SUBSTR( frt.value, COALESCE(SUBSTRING(frt.ind2 FROM '\\\\d+'),'0')::INT + 1 )),'zzzzzzzz')
1607                                   FROM  $metabib_full_rec frt
1608                                   WHERE frt.record = mr.master_record
1609                                         AND frt.tag = '245'
1610                                         AND frt.subfield = 'a'
1611                                   LIMIT 1
1612                         )) )
1613                 RANK
1614                 $secondary_sort = <<"           SORT";
1615                         ( FIRST ((
1616                                 SELECT  COALESCE(SUBSTRING(sfrp.value FROM '\\\\d+'),'9999')::INT
1617                                   FROM  $metabib_full_rec sfrp
1618                                   WHERE sfrp.record = mr.master_record
1619                                         AND sfrp.tag = '260'
1620                                         AND sfrp.subfield = 'c'
1621                                   LIMIT 1
1622                         )) )
1623                 SORT
1624         } elsif (lc($sort) eq 'author') {
1625                 $rank = <<"             RANK";
1626                         ( FIRST((
1627                                 SELECT  COALESCE(LTRIM(fra.value),'zzzzzzzz')
1628                                   FROM  $metabib_full_rec fra
1629                                   WHERE fra.record = mr.master_record
1630                                         AND fra.tag LIKE '1%'
1631                                         AND fra.subfield = 'a'
1632                                   ORDER BY fra.tag::text::int
1633                                   LIMIT 1
1634                         )) )
1635                 RANK
1636         } else {
1637                 push @bonus_values, @bonus_values;
1638                 $sort = undef;
1639         }
1640
1641
1642         my $select = <<"        SQL";
1643                 SELECT  m.metarecord,
1644                         $relevance,
1645                         CASE WHEN COUNT(DISTINCT smrs.source) = 1 THEN FIRST(m.source) ELSE 0 END,
1646                         $rank,
1647                         $secondary_sort
1648                 FROM    $search_table_list
1649                         $metabib_metarecord mr,
1650                         $metabib_metarecord_source_map_table m,
1651                         $metabib_metarecord_source_map_table smrs
1652                 WHERE   m.metarecord = smrs.metarecord 
1653                         AND mr.id = m.metarecord
1654                         $fts_list
1655                         $join_table_list
1656                 GROUP BY m.metarecord
1657                 -- ORDER BY 4 $sort_dir
1658                 LIMIT $visiblity_limit
1659         SQL
1660
1661         if ($self->api_name !~ /staff/o) {
1662                 $select = <<"           SQL";
1663
1664                         SELECT  s.*
1665                           FROM  ($select) s
1666                           WHERE EXISTS (
1667                                 SELECT  1
1668                                   FROM  $asset_call_number_table cn,
1669                                         $metabib_metarecord_source_map_table mrs,
1670                                         $asset_copy_table cp,
1671                                         $cs_table cs,
1672                                         $cl_table cl,
1673                                         $br_table br,
1674                                         $descendants d,
1675                                         $metabib_record_descriptor ord
1676                                   WHERE mrs.metarecord = s.metarecord
1677                                         AND br.id = mrs.source
1678                                         AND cn.record = mrs.source
1679                                         AND cp.status = cs.id
1680                                         AND cp.location = cl.id
1681                                         AND cn.owning_lib = d.id
1682                                         AND cp.call_number = cn.id
1683                                         AND cp.opac_visible IS TRUE
1684                                         AND cs.holdable IS TRUE
1685                                         AND cl.opac_visible IS TRUE
1686                                         AND br.active IS TRUE
1687                                         AND br.deleted IS FALSE
1688                                         AND cp.deleted IS FALSE
1689                                         AND cn.deleted IS FALSE
1690                                         AND ord.record = mrs.source
1691                                         $ot_filter
1692                                         $of_filter
1693                                         $ov_filter
1694                                         $oa_filter
1695                                         $ol_filter
1696                                         $olf_filter
1697                                   LIMIT 1
1698                                 )
1699                                 OR EXISTS (
1700                                 SELECT  1
1701                                   FROM  $br_table br,
1702                                         $metabib_metarecord_source_map_table mrs,
1703                                         $metabib_record_descriptor ord,
1704                                         $source_table src
1705                                   WHERE mrs.metarecord = s.metarecord
1706                                         AND ord.record = mrs.source
1707                                         AND br.id = mrs.source
1708                                         AND br.source = src.id
1709                                         AND src.transcendant IS TRUE
1710                                         $ot_filter
1711                                         $of_filter
1712                                         $ov_filter
1713                                         $oa_filter
1714                                         $ol_filter
1715                                         $olf_filter
1716                                 )
1717                           ORDER BY 4 $sort_dir, 5
1718                 SQL
1719         } else {
1720                 $select = <<"           SQL";
1721
1722                         SELECT  DISTINCT s.*
1723                           FROM  ($select) s,
1724                                 $metabib_metarecord_source_map_table omrs,
1725                                 $metabib_record_descriptor ord
1726                           WHERE omrs.metarecord = s.metarecord
1727                                 AND ord.record = omrs.source
1728                                 AND (   EXISTS (
1729                                                 SELECT  1
1730                                                   FROM  $asset_call_number_table cn,
1731                                                         $descendants d,
1732                                                         $br_table br
1733                                                   WHERE br.id = omrs.source
1734                                                         AND cn.record = omrs.source
1735                                                         AND cn.owning_lib = d.id
1736                                                         AND br.deleted IS FALSE
1737                                                         AND cn.deleted IS FALSE
1738                                                   LIMIT 1
1739                                         )
1740                                         OR NOT EXISTS (
1741                                                 SELECT  1
1742                                                   FROM  $asset_call_number_table cn
1743                                                   WHERE cn.record = omrs.source
1744                                                         AND cn.deleted IS FALSE
1745                                                   LIMIT 1
1746                                         )
1747                                         OR EXISTS (
1748                                         SELECT  1
1749                                           FROM  $br_table br,
1750                                                 $metabib_metarecord_source_map_table mrs,
1751                                                 $metabib_record_descriptor ord,
1752                                                 $source_table src
1753                                           WHERE mrs.metarecord = s.metarecord
1754                                                 AND br.id = mrs.source
1755                                                 AND br.source = src.id
1756                                                 AND src.transcendant IS TRUE
1757                                                 $ot_filter
1758                                                 $of_filter
1759                                                 $ov_filter
1760                                                 $oa_filter
1761                                                 $ol_filter
1762                                                 $olf_filter
1763                                         )
1764                                 )
1765                                 $ot_filter
1766                                 $of_filter
1767                                 $ov_filter
1768                                 $oa_filter
1769                                 $ol_filter
1770                                 $olf_filter
1771
1772                           ORDER BY 4 $sort_dir, 5
1773                 SQL
1774         }
1775
1776
1777         $log->debug("Field Search SQL :: [$select]",DEBUG);
1778
1779         my $recs = $_cdbi->{title}->db_Main->selectall_arrayref(
1780                         $select, {},
1781                         @bonus_values,
1782                         @types, @forms, @vformats, @aud, @lang, @lit_form,
1783                         @types, @forms, @vformats, @aud, @lang, @lit_form,
1784                         # ($self->api_name =~ /staff/o ? (@types, @forms, @aud, @lang, @lit_form) : () )
1785         );
1786         
1787         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
1788
1789         my $max = 0;
1790         $max = 1 if (!@$recs);
1791         for (@$recs) {
1792                 $max = $$_[1] if ($$_[1] > $max);
1793         }
1794
1795         my $count = scalar(@$recs);
1796         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
1797                 next unless ($$rec[0]);
1798                 my ($mrid,$rank,$skip) = @$rec;
1799                 $client->respond( [$mrid, sprintf('%0.3f',$rank/$max), $skip, $count] );
1800         }
1801         return undef;
1802 }
1803
1804 __PACKAGE__->register_method(
1805         api_name        => "open-ils.storage.metabib.post_filter.multiclass.search_fts.metarecord",
1806         method          => 'postfilter_search_multi_class_fts',
1807         api_level       => 1,
1808         stream          => 1,
1809         cachable        => 1,
1810 );
1811 __PACKAGE__->register_method(
1812         api_name        => "open-ils.storage.metabib.post_filter.multiclass.search_fts.metarecord.staff",
1813         method          => 'postfilter_search_multi_class_fts',
1814         api_level       => 1,
1815         stream          => 1,
1816         cachable        => 1,
1817 );
1818
1819 __PACKAGE__->register_method(
1820         api_name        => "open-ils.storage.metabib.multiclass.search_fts",
1821         method          => 'postfilter_search_multi_class_fts',
1822         api_level       => 1,
1823         stream          => 1,
1824         cachable        => 1,
1825 );
1826 __PACKAGE__->register_method(
1827         api_name        => "open-ils.storage.metabib.multiclass.search_fts.staff",
1828         method          => 'postfilter_search_multi_class_fts',
1829         api_level       => 1,
1830         stream          => 1,
1831         cachable        => 1,
1832 );
1833
1834 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
1835 sub biblio_search_multi_class_fts {
1836         my $self = shift;
1837         my $client = shift;
1838         my %args = @_;
1839         
1840         my $sort = $args{'sort'};
1841         my $sort_dir = $args{sort_dir} || 'DESC';
1842         my $ou = $args{org_unit};
1843         my $ou_type = $args{depth};
1844         my $limit = $args{limit} || 10;
1845         my $visiblity_limit = $args{visiblity_limit} || 5000;
1846         my $offset = $args{offset} || 0;
1847
1848         if (!$ou) {
1849                 $ou = actor::org_unit->search( { parent_ou => undef } )->next->id;
1850         }
1851
1852         if (!defined($args{org_unit})) {
1853                 die "No target organizational unit passed to ".$self->api_name;
1854         }
1855
1856         if (! scalar( keys %{$args{searches}} )) {
1857                 die "No search arguments were passed to ".$self->api_name;
1858         }
1859
1860         my $outer_limit = 1000;
1861
1862         my $limit_clause = '';
1863         my $offset_clause = '';
1864
1865         $limit_clause = "LIMIT $outer_limit";
1866         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
1867
1868         my (@types,@forms,@lang,@aud,@lit_form,@vformats);
1869         my ($t_filter, $f_filter, $v_filter) = ('','','');
1870         my ($a_filter, $l_filter, $lf_filter) = ('','','');
1871         my ($ot_filter, $of_filter, $ov_filter) = ('','','');
1872         my ($oa_filter, $ol_filter, $olf_filter) = ('','','');
1873
1874         if (my $a = $args{audience}) {
1875                 $a = [$a] if (!ref($a));
1876                 @aud = @$a;
1877                         
1878                 $a_filter = ' AND rd.audience IN ('.join(',',map{'?'}@aud).')';
1879                 $oa_filter = ' AND ord.audience IN ('.join(',',map{'?'}@aud).')';
1880         }
1881
1882         if (my $l = $args{language}) {
1883                 $l = [$l] if (!ref($l));
1884                 @lang = @$l;
1885
1886                 $l_filter = ' AND rd.item_lang IN ('.join(',',map{'?'}@lang).')';
1887                 $ol_filter = ' AND ord.item_lang IN ('.join(',',map{'?'}@lang).')';
1888         }
1889
1890         if (my $f = $args{lit_form}) {
1891                 $f = [$f] if (!ref($f));
1892                 @lit_form = @$f;
1893
1894                 $lf_filter = ' AND rd.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1895                 $olf_filter = ' AND ord.lit_form IN ('.join(',',map{'?'}@lit_form).')';
1896         }
1897
1898         if (my $f = $args{item_form}) {
1899                 $f = [$f] if (!ref($f));
1900                 @forms = @$f;
1901
1902                 $f_filter = ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1903                 $of_filter = ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1904         }
1905
1906         if (my $t = $args{item_type}) {
1907                 $t = [$t] if (!ref($t));
1908                 @types = @$t;
1909
1910                 $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1911                 $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1912         }
1913
1914         if (my $v = $args{vr_format}) {
1915                 $v = [$v] if (!ref($v));
1916                 @vformats = @$v;
1917
1918                 $v_filter = ' AND rd.vr_format IN ('.join(',',map{'?'}@vformats).')';
1919                 $ov_filter = ' AND ord.vr_format IN ('.join(',',map{'?'}@vformats).')';
1920         }
1921
1922         # XXX legacy format and item type support
1923         if ($args{format}) {
1924                 my ($t, $f) = split '-', $args{format};
1925                 @types = split '', $t;
1926                 @forms = split '', $f;
1927                 if (@types) {
1928                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
1929                         $ot_filter = ' AND ord.item_type IN ('.join(',',map{'?'}@types).')';
1930                 }
1931
1932                 if (@forms) {
1933                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
1934                         $of_filter .= ' AND ord.item_form IN ('.join(',',map{'?'}@forms).')';
1935                 }
1936         }
1937
1938
1939         my $descendants = defined($ou_type) ?
1940                                 "actor.org_unit_descendants($ou, $ou_type)" :
1941                                 "actor.org_unit_descendants($ou)";
1942
1943         my $search_table_list = '';
1944         my $fts_list = '';
1945         my $join_table_list = '';
1946         my @rank_list;
1947
1948         my $field_table = config::metabib_field->table;
1949
1950         my @bonus_lists;
1951         my @bonus_values;
1952         my $prev_search_class;
1953         my $curr_search_class;
1954         for my $search_class (sort keys %{$args{searches}}) {
1955                 $prev_search_class = $curr_search_class if ($curr_search_class);
1956
1957                 $curr_search_class = $search_class;
1958
1959                 my $class = $_cdbi->{$search_class};
1960                 my $search_table = $class->table;
1961
1962                 my ($index_col) = $class->columns('FTS');
1963                 $index_col ||= 'value';
1964
1965                 
1966                 my $fts = OpenILS::Application::Storage::FTS->compile($args{searches}{$search_class}{term}, $search_class.'.value', "$search_class.$index_col");
1967
1968                 my $fts_where = $fts->sql_where_clause;
1969                 my @fts_ranks = $fts->fts_rank;
1970
1971                 my $SQLstring = join('%',map { lc($_) } $fts->words) .'%';
1972                 my $REstring = '^' . join('\s+',map { lc($_) } $fts->words) . '\W*$';
1973                 my $first_word = lc(($fts->words)[0]).'%';
1974
1975                 $_.=" * (SELECT weight FROM $field_table WHERE $search_class.field = id)" for (@fts_ranks);
1976                 my $rank = join('  + ', @fts_ranks);
1977
1978                 my %bonus = ();
1979                 $bonus{'keyword'} = [ { "CASE WHEN $search_class.value ILIKE ? THEN 10 ELSE 1 END" => $SQLstring } ];
1980
1981                 $bonus{'series'} = [
1982                         { "CASE WHEN $search_class.value ILIKE ? THEN 1.5 ELSE 1 END" => $first_word },
1983                         { "CASE WHEN $search_class.value ~ ? THEN 20 ELSE 1 END" => $REstring },
1984                 ];
1985
1986                 $bonus{'title'} = [ @{ $bonus{'series'} }, @{ $bonus{'keyword'} } ];
1987
1988                 my $bonus_list = join ' * ', map { keys %$_ } @{ $bonus{$search_class} };
1989                 $bonus_list ||= '1';
1990
1991                 push @bonus_lists, $bonus_list,;
1992                 push @bonus_values, map { values %$_ } @{ $bonus{$search_class} };
1993
1994                 #---------------------
1995
1996                 $search_table_list .= "$search_table $search_class, ";
1997                 push @rank_list,$rank;
1998                 $fts_list .= " AND $fts_where AND b.id = $search_class.source";
1999
2000                 if ($prev_search_class) {
2001                         $join_table_list .= " AND $prev_search_class.source = $curr_search_class.source";
2002                 }
2003         }
2004
2005         my $metabib_record_descriptor = metabib::record_descriptor->table;
2006         my $metabib_full_rec = metabib::full_rec->table;
2007         my $metabib_metarecord = metabib::metarecord->table;
2008         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
2009         my $asset_call_number_table = asset::call_number->table;
2010         my $asset_copy_table = asset::copy->table;
2011         my $cs_table = config::copy_status->table;
2012         my $cl_table = asset::copy_location->table;
2013         my $br_table = biblio::record_entry->table;
2014         my $source_table = config::bib_source->table;
2015
2016
2017         my $bonuses = join (' * ', @bonus_lists);
2018         my $relevance = join (' + ', @rank_list);
2019         $relevance = "AVG( ($relevance) * ($bonuses) )";
2020
2021
2022         my $rank = $relevance;
2023         if (lc($sort) eq 'pubdate') {
2024                 $rank = <<"             RANK";
2025                         ( FIRST ((
2026                                 SELECT  COALESCE(SUBSTRING(frp.value FROM '\\\\d{4}'),'9999')::INT
2027                                   FROM  $metabib_full_rec frp
2028                                   WHERE frp.record = b.id
2029                                         AND frp.tag = '260'
2030                                         AND frp.subfield = 'c'
2031                                   LIMIT 1
2032                         )) )
2033                 RANK
2034         } elsif (lc($sort) eq 'create_date') {
2035                 $rank = <<"             RANK";
2036                         ( FIRST (( SELECT create_date FROM $br_table rbr WHERE rbr.id = b.id)) )
2037                 RANK
2038         } elsif (lc($sort) eq 'edit_date') {
2039                 $rank = <<"             RANK";
2040                         ( FIRST (( SELECT edit_date FROM $br_table rbr WHERE rbr.id = b.id)) )
2041                 RANK
2042         } elsif (lc($sort) eq 'title') {
2043                 $rank = <<"             RANK";
2044                         ( FIRST ((
2045                                 SELECT  COALESCE(LTRIM(SUBSTR( frt.value, COALESCE(SUBSTRING(frt.ind2 FROM '\\\\d+'),'0')::INT + 1 )),'zzzzzzzz')
2046                                   FROM  $metabib_full_rec frt
2047                                   WHERE frt.record = b.id
2048                                         AND frt.tag = '245'
2049                                         AND frt.subfield = 'a'
2050                                   LIMIT 1
2051                         )) )
2052                 RANK
2053         } elsif (lc($sort) eq 'author') {
2054                 $rank = <<"             RANK";
2055                         ( FIRST((
2056                                 SELECT  COALESCE(LTRIM(fra.value),'zzzzzzzz')
2057                                   FROM  $metabib_full_rec fra
2058                                   WHERE fra.record = b.id
2059                                         AND fra.tag LIKE '1%'
2060                                         AND fra.subfield = 'a'
2061                                   ORDER BY fra.tag::text::int
2062                                   LIMIT 1
2063                         )) )
2064                 RANK
2065         } else {
2066                 push @bonus_values, @bonus_values;
2067                 $sort = undef;
2068         }
2069
2070
2071         my $select = <<"        SQL";
2072                 SELECT  b.id,
2073                         $relevance AS rel,
2074                         $rank AS rank,
2075                         b.source
2076                 FROM    $search_table_list
2077                         $metabib_record_descriptor rd,
2078                         $source_table src,
2079                         $br_table b
2080                 WHERE   rd.record = b.id
2081                         AND b.active IS TRUE
2082                         AND b.deleted IS FALSE
2083                         $fts_list
2084                         $join_table_list
2085                         $t_filter
2086                         $f_filter
2087                         $v_filter
2088                         $a_filter
2089                         $l_filter
2090                         $lf_filter
2091                 GROUP BY b.id, b.source
2092                 ORDER BY 3 $sort_dir
2093                 LIMIT $visiblity_limit
2094         SQL
2095
2096         if ($self->api_name !~ /staff/o) {
2097                 $select = <<"           SQL";
2098
2099                         SELECT  s.*
2100                           FROM  ($select) s
2101                                 LEFT OUTER JOIN $source_table src ON (s.source = src.id)
2102                           WHERE EXISTS (
2103                                 SELECT  1
2104                                   FROM  $asset_call_number_table cn,
2105                                         $asset_copy_table cp,
2106                                         $cs_table cs,
2107                                         $cl_table cl,
2108                                         $descendants d
2109                                   WHERE cn.record = s.id
2110                                         AND cp.status = cs.id
2111                                         AND cp.location = cl.id
2112                                         AND cn.owning_lib = d.id
2113                                         AND cp.call_number = cn.id
2114                                         AND cp.opac_visible IS TRUE
2115                                         AND cs.holdable IS TRUE
2116                                         AND cl.opac_visible IS TRUE
2117                                         AND cp.deleted IS FALSE
2118                                         AND cn.deleted IS FALSE
2119                                   LIMIT 1
2120                                 )
2121                                 OR src.transcendant IS TRUE
2122                           ORDER BY 3 $sort_dir
2123                 SQL
2124         } else {
2125                 $select = <<"           SQL";
2126
2127                         SELECT  s.*
2128                           FROM  ($select) s
2129                                 LEFT OUTER JOIN $source_table src ON (s.source = src.id)
2130                           WHERE EXISTS (
2131                                 SELECT  1
2132                                   FROM  $asset_call_number_table cn,
2133                                         $descendants d
2134                                   WHERE cn.record = s.id
2135                                         AND cn.owning_lib = d.id
2136                                         AND cn.deleted IS FALSE
2137                                   LIMIT 1
2138                                 )
2139                                 OR NOT EXISTS (
2140                                 SELECT  1
2141                                   FROM  $asset_call_number_table cn
2142                                   WHERE cn.record = s.id
2143                                   LIMIT 1
2144                                 )
2145                                 OR src.transcendant IS TRUE
2146                           ORDER BY 3 $sort_dir
2147                 SQL
2148         }
2149
2150
2151         $log->debug("Field Search SQL :: [$select]",DEBUG);
2152
2153         my $recs = $_cdbi->{title}->db_Main->selectall_arrayref(
2154                         $select, {},
2155                         @bonus_values, @types, @forms, @vformats, @aud, @lang, @lit_form
2156         );
2157         
2158         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
2159
2160         my $max = 0;
2161         $max = 1 if (!@$recs);
2162         for (@$recs) {
2163                 $max = $$_[1] if ($$_[1] > $max);
2164         }
2165
2166         my $count = scalar(@$recs);
2167         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
2168                 next unless ($$rec[0]);
2169                 my ($mrid,$rank) = @$rec;
2170                 $client->respond( [$mrid, sprintf('%0.3f',$rank/$max), $count] );
2171         }
2172         return undef;
2173 }
2174
2175 __PACKAGE__->register_method(
2176         api_name        => "open-ils.storage.biblio.multiclass.search_fts.record",
2177         method          => 'biblio_search_multi_class_fts',
2178         api_level       => 1,
2179         stream          => 1,
2180         cachable        => 1,
2181 );
2182 __PACKAGE__->register_method(
2183         api_name        => "open-ils.storage.biblio.multiclass.search_fts.record.staff",
2184         method          => 'biblio_search_multi_class_fts',
2185         api_level       => 1,
2186         stream          => 1,
2187         cachable        => 1,
2188 );
2189
2190
2191
2192 __PACKAGE__->register_method(
2193         api_name        => "open-ils.storage.biblio.multiclass.search_fts",
2194         method          => 'biblio_search_multi_class_fts',
2195         api_level       => 1,
2196         stream          => 1,
2197         cachable        => 1,
2198 );
2199 __PACKAGE__->register_method(
2200         api_name        => "open-ils.storage.biblio.multiclass.search_fts.staff",
2201         method          => 'biblio_search_multi_class_fts',
2202         api_level       => 1,
2203         stream          => 1,
2204         cachable        => 1,
2205 );
2206
2207
2208 1;
2209