fixing format limited copy counting
[Evergreen.git] / Open-ILS / src / perlmods / OpenILS / Application / Storage / Publisher / metabib.pm
1 package OpenILS::Application::Storage::Publisher::metabib;
2 use base qw/OpenILS::Application::Storage::Publisher/;
3 use vars qw/$VERSION/;
4 use OpenSRF::EX qw/:try/;
5 use OpenILS::Application::Storage::FTS;
6 use OpenILS::Utils::Fieldmapper;
7 use OpenSRF::Utils::Logger qw/:level/;
8 use OpenSRF::Utils::Cache;
9 use Data::Dumper;
10 use Digest::MD5 qw/md5_hex/;
11
12
13 my $log = 'OpenSRF::Utils::Logger';
14
15 $VERSION = 1;
16
17 # need to order record IDs by:
18 #  1) format - text, movie, sound, software, images, maps, mixed, music, 3d
19 #  2) proximity --- XXX Can't do it cheap...
20 #  3) count
21 sub ordered_records_from_metarecord {
22         my $self = shift;
23         my $client = shift;
24         my $mr = shift;
25         my $formats = shift;
26
27         my (@types,@forms);
28
29         if ($formats) {
30                 my ($t, $f) = split '-', $formats;
31                 @types = split '', $t;
32                 @forms = split '', $f;
33         }
34
35         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
36         $copies_visible = '' if ($self->api_name =~ /staff/o);
37
38         my $sm_table = metabib::metarecord_source_map->table;
39         my $rd_table = metabib::record_descriptor->table;
40         my $cn_table = asset::call_number->table;
41         my $cl_table = asset::copy_location->table;
42         my $cp_table = asset::copy->table;
43         my $cs_table = config::copy_status->table;
44         my $out_table = actor::org_unit_type->table;
45
46         my $sql = <<"   SQL";
47          SELECT *
48            FROM (
49                 SELECT  rd.record,
50                         rd.item_type,
51                         rd.item_form,
52         SQL
53
54         if ($copies_visible) {
55                 $sql .= <<"             SQL"; 
56                         sum((SELECT     count(cp.id)
57                                FROM     $cp_table cp
58                                         JOIN $cs_table cs ON (cp.status = cs.id)
59                                         JOIN $cl_table cl ON (cp.location = cl.id)
60                                WHERE    cn.id = cp.call_number
61                                         $copies_visible
62                           )) AS count
63                 SQL
64         } else {
65                 $sql .= '0 AS count';
66         }
67
68         if ($copies_visible) {
69                 $sql .= <<"             SQL";
70                   FROM  $cn_table cn,
71                         $sm_table sm,
72                         $rd_table rd
73                   WHERE rd.record = sm.source
74                         AND cn.record = rd.record
75                         AND sm.metarecord = ?
76                 SQL
77         } else {
78                 $sql .= <<"             SQL";
79                   FROM  $sm_table sm,
80                         $rd_table rd
81                   WHERE rd.record = sm.source
82                         AND sm.metarecord = ?
83                 SQL
84         }
85
86         $sql .= <<"     SQL";
87                   GROUP BY rd.record, rd.item_type, rd.item_form
88                   ORDER BY
89                         CASE
90                                 WHEN rd.item_type IS NULL -- default
91                                         THEN 0
92                                 WHEN rd.item_type = '' -- default
93                                         THEN 0
94                                 WHEN rd.item_type IN ('a','t') -- books
95                                         THEN 1
96                                 WHEN rd.item_type = 'g' -- movies
97                                         THEN 2
98                                 WHEN rd.item_type IN ('i','j') -- sound recordings
99                                         THEN 3
100                                 WHEN rd.item_type = 'm' -- software
101                                         THEN 4
102                                 WHEN rd.item_type = 'k' -- images
103                                         THEN 5
104                                 WHEN rd.item_type IN ('e','f') -- maps
105                                         THEN 6
106                                 WHEN rd.item_type IN ('o','p') -- mixed
107                                         THEN 7
108                                 WHEN rd.item_type IN ('c','d') -- music
109                                         THEN 8
110                                 WHEN rd.item_type = 'r' -- 3d
111                                         THEN 9
112                         END,
113                         count DESC
114                 ) x
115         SQL
116
117         if ($copies_visible) {
118                 $sql .= ' WHERE x.count > 0'
119         }
120
121         if (@types) {
122                 $sql .= ' AND x.item_type IN ('.join(',',map{'?'}@types).')';
123         }
124
125         if (@forms) {
126                 $sql .= ' AND x.item_form IN ('.join(',',map{'?'}@forms).')';
127         }
128
129         my $sth = metabib::metarecord_source_map->db_Main->prepare_cached($sql);
130         $sth->execute("$mr", @types, @forms);
131         while ( my $row = $sth->fetchrow_arrayref ) {
132                 $client->respond( $$row[0] );
133         }
134         return undef;
135
136 }
137 __PACKAGE__->register_method(
138         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records',
139         method          => 'ordered_records_from_metarecord',
140         api_level       => 1,
141         stream          => 1,
142         cachable        => 1,
143 );
144 __PACKAGE__->register_method(
145         api_name        => 'open-ils.storage.ordered.metabib.metarecord.records.staff',
146         method          => 'ordered_records_from_metarecord',
147         api_level       => 1,
148         stream          => 1,
149         cachable        => 1,
150 );
151
152
153 sub metarecord_copy_count {
154         my $self = shift;
155         my $client = shift;
156
157         my %args = @_;
158
159         my $sm_table = metabib::metarecord_source_map->table;
160         my $rd_table = metabib::record_descriptor->table;
161         my $cn_table = asset::call_number->table;
162         my $cp_table = asset::copy->table;
163         my $cl_table = asset::copy_location->table;
164         my $cs_table = config::copy_status->table;
165         my $out_table = actor::org_unit_type->table;
166         my $descendants = "actor.org_unit_descendants(u.id)";
167         my $ancestors = "actor.org_unit_ancestors(?)";
168
169         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
170         $copies_visible = '' if ($self->api_name =~ /staff/o);
171
172         my (@types,@forms);
173         my ($t_filter, $f_filter) = ('','');
174
175         if ($args{format}) {
176                 my ($t, $f) = split '-', $args{format};
177                 @types = split '', $t;
178                 @forms = split '', $f;
179                 if (@types) {
180                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
181                 }
182
183                 if (@forms) {
184                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
185                 }
186         }
187
188         my $sql = <<"   SQL";
189                 SELECT  t.depth,
190                         u.id AS org_unit,
191                         sum(
192                                 (SELECT count(cp.id)
193                                   FROM  $sm_table r
194                                         JOIN $cn_table cn ON (cn.record = r.source)
195                                         JOIN $rd_table rd ON (cn.record = rd.record)
196                                         JOIN $cp_table cp ON (cn.id = cp.call_number)
197                                         JOIN $cs_table cs ON (cp.status = cs.id)
198                                         JOIN $cl_table cl ON (cp.location = cl.id)
199                                         JOIN $descendants a ON (cp.circ_lib = a.id)
200                                   WHERE r.metarecord = ?
201                                         $copies_visible
202                                         $t_filter
203                                         $f_filter
204                                 )
205                         ) AS count,
206                         sum(
207                                 (SELECT count(cp.id)
208                                   FROM  $sm_table r
209                                         JOIN $cn_table cn ON (cn.record = r.source)
210                                         JOIN $rd_table rd ON (cn.record = rd.record)
211                                         JOIN $cp_table cp ON (cn.id = cp.call_number)
212                                         JOIN $cs_table cs ON (cp.status = cs.id)
213                                         JOIN $cl_table cl ON (cp.location = cl.id)
214                                         JOIN $descendants a ON (cp.circ_lib = a.id)
215                                   WHERE r.metarecord = ?
216                                         AND cp.status = 0
217                                         $copies_visible
218                                         $t_filter
219                                         $f_filter
220                                 )
221                         ) AS available
222
223                   FROM  $ancestors u
224                         JOIN $out_table t ON (u.ou_type = t.id)
225                   GROUP BY 1,2
226         SQL
227
228         my $sth = metabib::metarecord_source_map->db_Main->prepare_cached($sql);
229         $sth->execute(  ''.$args{metarecord},
230                         @types, 
231                         @forms,
232                         ''.$args{metarecord},
233                         @types, 
234                         @forms,
235                         ''.$args{org_unit}, 
236         ); 
237
238         while ( my $row = $sth->fetchrow_hashref ) {
239                 $client->respond( $row );
240         }
241         return undef;
242 }
243 __PACKAGE__->register_method(
244         api_name        => 'open-ils.storage.metabib.metarecord.copy_count',
245         method          => 'metarecord_copy_count',
246         api_level       => 1,
247         stream          => 1,
248         cachable        => 1,
249 );
250 __PACKAGE__->register_method(
251         api_name        => 'open-ils.storage.metabib.metarecord.copy_count.staff',
252         method          => 'metarecord_copy_count',
253         api_level       => 1,
254         stream          => 1,
255         cachable        => 1,
256 );
257
258 sub multi_search_full_rec {
259         my $self = shift;
260         my $client = shift;
261
262         my %args = @_;  
263         my $class_join = $args{class_join} || 'AND';
264         my @binds;
265         my @selects;
266
267         for my $arg (@{ $args{searches} }) {
268                 my $term = $$arg{term};
269                 my $limiters = $$arg{restrict};
270
271                 my ($index_col) = metabib::full_rec->columns('FTS');
272                 $index_col ||= 'value';
273                 my $search_table = metabib::full_rec->table;
274
275                 my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
276
277                 my $fts_where = $fts->sql_where_clause();
278                 my @fts_ranks = $fts->fts_rank;
279
280                 my $rank = join(' + ', @fts_ranks);
281
282                 my @wheres;
283                 for my $limit (@$limiters) {
284                         push @wheres, "( tag = ? AND subfield LIKE ? AND $fts_where )";
285                         push @binds, $$limit{tag}, $$limit{subfield};
286                         $log->debug("Limiting query using { tag => $$limit{tag}, subfield => $$limit{subfield} }", DEBUG);
287                 }
288                 my $where = join(' OR ', @wheres);
289
290                 push @selects, "SELECT record, sum($rank) FROM $search_table WHERE $where GROUP BY 1 ORDER BY 2 DESC";
291
292         }
293
294         my $descendants = defined($args{depth}) ?
295                                 "actor.org_unit_descendants($args{org_unit}, $args{depth})" :
296                                 defined($args{depth}) ?
297                                         "actor.org_unit_descendants($args{org_unit})" :
298                                         "actor.org_unit";
299
300
301         my $metabib_record_descriptor = metabib::record_descriptor->table;
302         my $metabib_metarecord = metabib::metarecord->table;
303         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
304         my $asset_call_number_table = asset::call_number->table;
305         my $asset_copy_table = asset::copy->table;
306         my $cs_table = config::copy_status->table;
307         my $cl_table = asset::copy_location->table;
308
309         my $cj = ''; $cj = 'HAVING COUNT(x.record) > 1' if ($class_join eq 'AND');
310         my $search_table = '(SELECT x.record, sum(x.sum) FROM (('.join(') UNION ALL (', @selects).")) x GROUP BY 1 $cj )";
311
312         my $has_vols = 'AND cn.owning_lib = d.id';
313         my $has_copies = 'AND cp.call_number = cn.id';
314         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
315
316         if ($self->api_name =~ /staff/o) {
317                 $copies_visible = '';
318                 $has_copies = '' if ($ou_type == 0);
319                 $has_vols = '' if ($ou_type == 0);
320         }
321
322         my ($t_filter, $f_filter) = ('','');
323
324         if ($args{format}) {
325                 my ($t, $f) = split '-', $args{format};
326                 my @types = split '', $t;
327                 my @forms = split '', $f;
328                 if (@types) {
329                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
330                 }
331
332                 if (@forms) {
333                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
334                 }
335                 push @binds, @types, @forms;
336         }
337
338
339         if ($copies_visible) {
340                 $select = <<"           SQL";
341                         SELECT  m.metarecord, sum(f.sum), count(DISTINCT cp.id), CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
342                         FROM    $search_table f,
343                                 $metabib_metarecord_source_map_table m,
344                                 $asset_call_number_table cn,
345                                 $asset_copy_table cp,
346                                 $cs_table cs,
347                                 $cl_table cl,
348                                 $metabib_record_descriptor rd,
349                                 $descendants d
350                         WHERE   m.source = f.record
351                                 AND cn.record = m.source
352                                 AND rd.record = m.source
353                                 AND cp.status = cs.id
354                                 AND cp.location = cl.id
355                                 $has_vols
356                                 $has_copies
357                                 $copies_visible
358                                 $t_filter
359                                 $f_filter
360                         GROUP BY m.metarecord HAVING count(DISTINCT cp.id) > 0
361                         ORDER BY 2 DESC,3 DESC
362                 SQL
363         } else {
364                 $select = <<"           SQL";
365                         SELECT  m.metarecord, 1, 0, CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
366                         FROM    $search_table f,
367                                 $metabib_metarecord_source_map_table m,
368                                 $metabib_record_descriptor rd
369                         WHERE   m.source = f.record
370                                 AND rd.record = m.source
371                                 $t_filter
372                                 $f_filter
373                         GROUP BY 1,2,3 
374                 SQL
375         }
376
377
378         $log->debug("Search SQL :: [$select]",DEBUG);
379
380         my $recs = metabib::full_rec->db_Main->selectall_arrayref("$select;", {}, @binds);
381         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
382
383         $client->respond($_) for (@$recs);
384         return undef;
385 }
386 __PACKAGE__->register_method(
387         api_name        => 'open-ils.storage.metabib.full_rec.multi_search',
388         method          => 'multi_search_full_rec',
389         api_level       => 1,
390         stream          => 1,
391         cachable        => 1,
392 );
393 __PACKAGE__->register_method(
394         api_name        => 'open-ils.storage.metabib.full_rec.multi_search.staff',
395         method          => 'multi_search_full_rec',
396         api_level       => 1,
397         stream          => 1,
398         cachable        => 1,
399 );
400
401 sub search_full_rec {
402         my $self = shift;
403         my $client = shift;
404
405         my %args = @_;
406         
407         my $term = $args{term};
408         my $limiters = $args{restrict};
409
410         my ($index_col) = metabib::full_rec->columns('FTS');
411         $index_col ||= 'value';
412         my $search_table = metabib::full_rec->table;
413
414         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
415
416         my $fts_where = $fts->sql_where_clause();
417         my @fts_ranks = $fts->fts_rank;
418
419         my $rank = join(' + ', @fts_ranks);
420
421         my @binds;
422         my @wheres;
423         for my $limit (@$limiters) {
424                 push @wheres, "( tag = ? AND subfield LIKE ? AND $fts_where )";
425                 push @binds, $$limit{tag}, $$limit{subfield};
426                 $log->debug("Limiting query using { tag => $$limit{tag}, subfield => $$limit{subfield} }", DEBUG);
427         }
428         my $where = join(' OR ', @wheres);
429
430         my $select = "SELECT record, sum($rank) FROM $search_table WHERE $where GROUP BY 1 ORDER BY 2 DESC;";
431
432         $log->debug("Search SQL :: [$select]",DEBUG);
433
434         my $recs = metabib::full_rec->db_Main->selectall_arrayref($select, {}, @binds);
435         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
436
437         $client->respond($_) for (@$recs);
438         return undef;
439 }
440 __PACKAGE__->register_method(
441         api_name        => 'open-ils.storage.direct.metabib.full_rec.search_fts.value',
442         method          => 'search_full_rec',
443         api_level       => 1,
444         stream          => 1,
445         cachable        => 1,
446 );
447 __PACKAGE__->register_method(
448         api_name        => 'open-ils.storage.direct.metabib.full_rec.search_fts.index_vector',
449         method          => 'search_full_rec',
450         api_level       => 1,
451         stream          => 1,
452         cachable        => 1,
453 );
454
455
456 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
457 sub search_class_fts {
458         my $self = shift;
459         my $client = shift;
460         my %args = @_;
461         
462         my $term = $args{term};
463         my $ou = $args{org_unit};
464         my $ou_type = $args{depth};
465         my $limit = $args{limit};
466         my $offset = $args{offset};
467
468         my $limit_clause = '';
469         my $offset_clause = '';
470
471         $limit_clause = "LIMIT $limit" if (defined $limit and int($limit) > 0);
472         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
473
474         my (@types,@forms);
475         my ($t_filter, $f_filter) = ('','');
476
477         if ($args{format}) {
478                 my ($t, $f) = split '-', $args{format};
479                 @types = split '', $t;
480                 @forms = split '', $f;
481                 if (@types) {
482                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
483                 }
484
485                 if (@forms) {
486                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
487                 }
488         }
489
490
491
492         my $descendants = defined($ou_type) ?
493                                 "actor.org_unit_descendants($ou, $ou_type)" :
494                                 "actor.org_unit_descendants($ou)";
495
496         my $class = $self->{cdbi};
497         my $search_table = $class->table;
498
499         my $metabib_record_descriptor = metabib::record_descriptor->table;
500         my $metabib_metarecord = metabib::metarecord->table;
501         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
502         my $asset_call_number_table = asset::call_number->table;
503         my $asset_copy_table = asset::copy->table;
504         my $cs_table = config::copy_status->table;
505         my $cl_table = asset::copy_location->table;
506
507         my ($index_col) = $class->columns('FTS');
508         $index_col ||= 'value';
509
510         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'f.value', "f.$index_col");
511
512         my $fts_where = $fts->sql_where_clause;
513         my @fts_ranks = $fts->fts_rank;
514
515         my $rank = join(' + ', @fts_ranks);
516
517         my $has_vols = 'AND cn.owning_lib = d.id';
518         my $has_copies = 'AND cp.call_number = cn.id';
519         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
520
521         my $visible_count = ', count(DISTINCT cp.id)';
522         my $visible_count_test = 'HAVING count(DISTINCT cp.id) > 0';
523
524         if ($self->api_name =~ /staff/o) {
525                 $copies_visible = '';
526                 $visible_count_test = '';
527                 $has_copies = '' if ($ou_type == 0);
528                 $has_vols = '' if ($ou_type == 0);
529         }
530
531         my $rank_calc = <<"     RANK";
532                 , (SUM( $rank
533                         * CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END -- phrase order
534                         * CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END -- first word match
535                         * CASE WHEN f.value ~* ? THEN 2 ELSE 1 END -- only word match
536                 )/COUNT(m.source)), MIN(COALESCE(CHAR_LENGTH(f.value),1))
537         RANK
538
539         $rank_calc = ',1 , 1' if ($self->api_name =~ /unordered/o);
540
541         if ($copies_visible) {
542                 $select = <<"           SQL";
543                         SELECT  m.metarecord $rank_calc $visible_count, CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
544                         FROM    $search_table f,
545                                 $metabib_metarecord_source_map_table m,
546                                 $asset_call_number_table cn,
547                                 $asset_copy_table cp,
548                                 $cs_table cs,
549                                 $cl_table cl,
550                                 $metabib_record_descriptor rd,
551                                 $descendants d
552                         WHERE   $fts_where
553                                 AND m.source = f.source
554                                 AND cn.record = m.source
555                                 AND rd.record = m.source
556                                 AND cp.status = cs.id
557                                 AND cp.location = cl.id
558                                 $has_vols
559                                 $has_copies
560                                 $copies_visible
561                                 $t_filter
562                                 $f_filter
563                         GROUP BY 1 $visible_count_test
564                         ORDER BY 2 DESC,3
565                         $limit_clause $offset_clause
566                 SQL
567         } else {
568                 $select = <<"           SQL";
569                         SELECT  m.metarecord $rank_calc, 0, CASE WHEN COUNT(DISTINCT m.source) = 1 THEN MAX(m.source) ELSE MAX(0) END
570                         FROM    $search_table f,
571                                 $metabib_metarecord_source_map_table m,
572                                 $metabib_record_descriptor rd
573                         WHERE   $fts_where
574                                 AND m.source = f.source
575                                 AND rd.record = m.source
576                                 $t_filter
577                                 $f_filter
578                         GROUP BY 1, 4
579                         ORDER BY 2 DESC,3
580                         $limit_clause $offset_clause
581                 SQL
582         }
583
584         $log->debug("Field Search SQL :: [$select]",DEBUG);
585
586         my $SQLstring = join('%',$fts->words);
587         my $REstring = join('\\s+',$fts->words);
588         my $first_word = ($fts->words)[0].'%';
589         my $recs = ($self->api_name =~ /unordered/o) ? 
590                         $class->db_Main->selectall_arrayref($select, {}, @types, @forms) :
591                         $class->db_Main->selectall_arrayref($select, {},
592                                 '%'.lc($SQLstring).'%',                 # phrase order match
593                                 lc($first_word),                        # first word match
594                                 '^\\s*'.lc($REstring).'\\s*/?\s*$',     # full exact match
595                                 @types, @forms
596                         );
597         
598         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
599
600         $client->respond($_) for (map { [@$_[0,1,3,4]] } @$recs);
601         return undef;
602 }
603
604 for my $class ( qw/title author subject keyword series/ ) {
605         __PACKAGE__->register_method(
606                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord",
607                 method          => 'search_class_fts',
608                 api_level       => 1,
609                 stream          => 1,
610                 cdbi            => "metabib::${class}_field_entry",
611                 cachable        => 1,
612         );
613         __PACKAGE__->register_method(
614                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.unordered",
615                 method          => 'search_class_fts',
616                 api_level       => 1,
617                 stream          => 1,
618                 cdbi            => "metabib::${class}_field_entry",
619                 cachable        => 1,
620         );
621         __PACKAGE__->register_method(
622                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.staff",
623                 method          => 'search_class_fts',
624                 api_level       => 1,
625                 stream          => 1,
626                 cdbi            => "metabib::${class}_field_entry",
627                 cachable        => 1,
628         );
629         __PACKAGE__->register_method(
630                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord.staff.unordered",
631                 method          => 'search_class_fts',
632                 api_level       => 1,
633                 stream          => 1,
634                 cdbi            => "metabib::${class}_field_entry",
635                 cachable        => 1,
636         );
637 }
638
639 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
640 sub search_class_fts_count {
641         my $self = shift;
642         my $client = shift;
643         my %args = @_;
644         
645         my $term = $args{term};
646         my $ou = $args{org_unit};
647         my $ou_type = $args{depth};
648         my $limit = $args{limit} || 100;
649         my $offset = $args{offset} || 0;
650
651         my $descendants = defined($ou_type) ?
652                                 "actor.org_unit_descendants($ou, $ou_type)" :
653                                 "actor.org_unit_descendants($ou)";
654                 
655         my (@types,@forms);
656         my ($t_filter, $f_filter) = ('','');
657
658         if ($args{format}) {
659                 my ($t, $f) = split '-', $args{format};
660                 @types = split '', $t;
661                 @forms = split '', $f;
662                 if (@types) {
663                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
664                 }
665
666                 if (@forms) {
667                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
668                 }
669         }
670
671
672         (my $search_class = $self->api_name) =~ s/.*metabib.(\w+).search_fts.*/$1/o;
673
674         my $class = $self->{cdbi};
675         my $search_table = $class->table;
676
677         my $metabib_record_descriptor = metabib::record_descriptor->table;
678         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
679         my $asset_call_number_table = asset::call_number->table;
680         my $asset_copy_table = asset::copy->table;
681         my $cs_table = config::copy_status->table;
682         my $cl_table = asset::copy_location->table;
683
684         my ($index_col) = $class->columns('FTS');
685         $index_col ||= 'value';
686
687         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'value',"$index_col");
688
689         my $fts_where = $fts->sql_where_clause;
690
691         my $has_vols = 'AND cn.owning_lib = d.id';
692         my $has_copies = 'AND cp.call_number = cn.id';
693         my $copies_visible = 'AND cp.opac_visible IS TRUE AND cs.holdable IS TRUE AND cl.opac_visible IS TRUE';
694         if ($self->api_name =~ /staff/o) {
695                 $copies_visible = '';
696                 $has_vols = '' if ($ou_type == 0);
697                 $has_copies = '' if ($ou_type == 0);
698         }
699
700         # XXX test an "EXISTS version of descendant checking...
701         my $select;
702         if ($copies_visible) {
703                 $select = <<"           SQL";
704                 SELECT  count(distinct  m.metarecord)
705                   FROM  $search_table f,
706                         $metabib_metarecord_source_map_table m,
707                         $asset_call_number_table cn,
708                         $asset_copy_table cp,
709                         $cs_table cs,
710                         $cl_table cl,
711                         $metabib_record_descriptor rd,
712                         $descendants d
713                   WHERE $fts_where
714                         AND m.source = f.source
715                         AND cn.record = m.source
716                         AND rd.record = m.source
717                         AND cp.status = cs.id
718                         AND cp.location = cl.id
719                         $has_vols
720                         $has_copies
721                         $copies_visible
722                         $t_filter
723                         $f_filter
724                 SQL
725         } else {
726                 $select = <<"           SQL";
727                 SELECT  count(distinct  m.metarecord)
728                   FROM  $search_table f,
729                         $metabib_metarecord_source_map_table m,
730                         $metabib_record_descriptor rd
731                   WHERE $fts_where
732                         AND m.source = f.source
733                         AND rd.record = m.source
734                         $t_filter
735                         $f_filter
736                 SQL
737         }
738
739         $log->debug("Field Search Count SQL :: [$select]",DEBUG);
740
741         my $recs = $class->db_Main->selectrow_arrayref($select, {}, @types, @forms)->[0];
742         
743         $log->debug("Count Search yielded $recs results.",DEBUG);
744
745         return $recs;
746
747 }
748 for my $class ( qw/title author subject keyword series/ ) {
749         __PACKAGE__->register_method(
750                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord_count",
751                 method          => 'search_class_fts_count',
752                 api_level       => 1,
753                 stream          => 1,
754                 cdbi            => "metabib::${class}_field_entry",
755                 cachable        => 1,
756         );
757         __PACKAGE__->register_method(
758                 api_name        => "open-ils.storage.metabib.$class.search_fts.metarecord_count.staff",
759                 method          => 'search_class_fts_count',
760                 api_level       => 1,
761                 stream          => 1,
762                 cdbi            => "metabib::${class}_field_entry",
763                 cachable        => 1,
764         );
765 }
766
767
768
769
770
771 # XXX factored most of the PG dependant stuff out of here... need to find a way to do "dependants".
772 sub new_search_class_fts {
773         my $self = shift;
774         my $client = shift;
775         my %args = @_;
776         
777         my $term = $args{term};
778         my $ou = $args{org_unit};
779         my $ou_type = $args{depth};
780         my $limit = $args{limit};
781         my $offset = $args{offset} || 0;
782
783         my $limit_clause = '';
784         my $offset_clause = '';
785
786         $limit_clause = "LIMIT $limit" if (defined $limit and int($limit) > 0);
787         $offset_clause = "OFFSET $offset" if (defined $offset and int($offset) > 0);
788
789         my (@types,@forms);
790         my ($t_filter, $f_filter) = ('','');
791
792         if ($args{format}) {
793                 my ($t, $f) = split '-', $args{format};
794                 @types = split '', $t;
795                 @forms = split '', $f;
796                 if (@types) {
797                         $t_filter = ' AND rd.item_type IN ('.join(',',map{'?'}@types).')';
798                 }
799
800                 if (@forms) {
801                         $f_filter .= ' AND rd.item_form IN ('.join(',',map{'?'}@forms).')';
802                 }
803         }
804
805
806
807         my $descendants = defined($ou_type) ?
808                                 "actor.org_unit_descendants($ou, $ou_type)" :
809                                 "actor.org_unit_descendants($ou)";
810
811         my $class = $self->{cdbi};
812         my $search_table = $class->table;
813
814         my $metabib_record_descriptor = metabib::record_descriptor->table;
815         my $metabib_metarecord = metabib::metarecord->table;
816         my $metabib_metarecord_source_map_table = metabib::metarecord_source_map->table;
817         my $asset_call_number_table = asset::call_number->table;
818         my $asset_copy_table = asset::copy->table;
819         my $cs_table = config::copy_status->table;
820         my $cl_table = asset::copy_location->table;
821
822         my ($index_col) = $class->columns('FTS');
823         $index_col ||= 'value';
824
825         my $fts = OpenILS::Application::Storage::FTS->compile($term, 'f.value', "f.$index_col");
826
827         my $fts_where = $fts->sql_where_clause;
828         my @fts_ranks = $fts->fts_rank;
829
830         my $rank = join(' + ', @fts_ranks);
831
832         if ($self->api_name !~ /staff/o) {
833                 $select = <<"           SQL";
834                         SELECT  m.metarecord, 
835                                 (SUM(   $rank
836                                         * CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END -- phrase order
837                                         * CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END -- first word match
838                                         * CASE WHEN f.value ~* ? THEN 2 ELSE 1 END -- only word match
839                                 )/COUNT(m.source)),
840                                 CASE WHEN COUNT(DISTINCT rd.record) = 1 THEN MIN(m.source) ELSE 0 END
841                         FROM    $search_table f,
842                                 $metabib_metarecord_source_map_table m,
843                                 $metabib_metarecord_source_map_table mr,
844                                 $metabib_record_descriptor rd
845                         WHERE   $fts_where
846                                 AND m.source = f.source
847                                 AND mr.metarecord = m.metarecord
848                                 AND rd.record = mr.source
849                                 $t_filter
850                                 $f_filter
851                                 AND EXISTS (
852                                         SELECT  TRUE
853                                           FROM  $asset_call_number_table cn,
854                                                 $asset_copy_table cp,
855                                                 $cs_table cs,
856                                                 $cl_table cl,
857                                                 $descendants d
858                                           WHERE cn.record = mr.source
859                                                 AND cp.status = cs.id
860                                                 AND cp.location = cl.id
861                                                 AND cn.owning_lib = d.id
862                                                 AND cp.call_number = cn.id
863                                                 AND cp.opac_visible IS TRUE
864                                                 AND cs.holdable IS TRUE
865                                                 AND cl.opac_visible IS TRUE )
866                         GROUP BY m.metarecord
867                         ORDER BY 2 DESC, MIN(COALESCE(CHAR_LENGTH(f.value),1))
868                 SQL
869         } else {
870                 $select = <<"           SQL";
871                         SELECT  m.metarecord,
872                                 (SUM(   $rank
873                                         * CASE WHEN f.value ILIKE ? THEN 1.2 ELSE 1 END -- phrase order
874                                         * CASE WHEN f.value ILIKE ? THEN 1.5 ELSE 1 END -- first word match
875                                         * CASE WHEN f.value ~* ? THEN 2 ELSE 1 END -- only word match
876                                 )/COUNT(m.source)),
877                                 CASE WHEN COUNT(DISTINCT rd.record) = 1 THEN MIN(m.source) ELSE 0 END
878                         FROM    $search_table f,
879                                 $metabib_metarecord_source_map_table m,
880                                 $metabib_metarecord_source_map_table mr,
881                                 $metabib_record_descriptor rd
882                         WHERE   $fts_where
883                                 AND m.source = f.source
884                                 AND m.metarecord = mr.metarecord
885                                 AND rd.record = m.source
886                                 $t_filter
887                                 $f_filter
888                         GROUP BY m.metarecord
889                         ORDER BY 2 DESC, MIN(COALESCE(CHAR_LENGTH(f.value),1))
890                 SQL
891         }
892
893         $log->debug("Field Search SQL :: [$select]",DEBUG);
894
895         my $SQLstring = join('%',$fts->words);
896         my $REstring = join('\\s+',$fts->words);
897         my $first_word = ($fts->words)[0].'%';
898         my $recs = ($self->api_name =~ /unordered/o) ? 
899                         $class->db_Main->selectall_arrayref($select, {}, @types, @forms) :
900                         $class->db_Main->selectall_arrayref($select, {},
901                                 '%'.lc($SQLstring).'%',                 # phrase order match
902                                 lc($first_word),                        # first word match
903                                 '^\\s*'.lc($REstring).'\\s*/?\s*$',     # full exact match
904                                 @types, @forms
905                         );
906         
907         $log->debug("Search yielded ".scalar(@$recs)." results.",DEBUG);
908
909         my $count = scalar(@$recs);
910         for my $rec (@$recs[$offset .. $offset + $limit - 1]) {
911                 my ($mrid,$rank,$skip) = @$rec;
912                 $client->respond( [$mrid, sprintf('%0.3f',$rank), $skip, $count] );
913         }
914         return undef;
915 }
916
917 for my $class ( qw/title author subject keyword series/ ) {
918         __PACKAGE__->register_method(
919                 api_name        => "open-ils.storage.metabib.$class.new_search_fts.metarecord",
920                 method          => 'new_search_class_fts',
921                 api_level       => 1,
922                 stream          => 1,
923                 cdbi            => "metabib::${class}_field_entry",
924                 cachable        => 1,
925         );
926         __PACKAGE__->register_method(
927                 api_name        => "open-ils.storage.metabib.$class.new_search_fts.metarecord.staff",
928                 method          => 'new_search_class_fts',
929                 api_level       => 1,
930                 stream          => 1,
931                 cdbi            => "metabib::${class}_field_entry",
932                 cachable        => 1,
933         );
934 }
935
936
937 my $_cdbi = {   title   => "metabib::title_field_entry",
938                 author  => "metabib::author_field_entry",
939                 subject => "metabib::subject_field_entry",
940                 keyword => "metabib::keyword_field_entry",
941                 series  => "metabib::series_field_entry",
942 };
943
944
945
946 1;