adding extra staff checks for record visibility
[Evergreen.git] / Open-ILS / src / sql / Pg / 300.schema.staged_search.sql
1
2 DROP SCHEMA search CASCADE;
3
4 BEGIN;
5
6 CREATE SCHEMA search;
7
8 CREATE TABLE search.relevance_adjustment (
9     id          SERIAL  PRIMARY KEY,
10     active      BOOL    NOT NULL DEFAULT TRUE,
11     field       INT     NOT NULL REFERENCES config.metabib_field (id),
12     bump_type   TEXT    NOT NULL CHECK (bump_type IN ('word_order','first_word','full_match')),
13     multiplier  NUMERIC NOT NULL DEFAULT 1.0
14 );
15 CREATE UNIQUE INDEX bump_once_per_field_idx ON search.relevance_adjustment ( field, bump_type );
16
17 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(1, 'first_word', 1.5);
18 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(1, 'full_match', 20);
19 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(2, 'first_word', 1.5);
20 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(2, 'word_order', 10);
21 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(2, 'full_match', 20);
22 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(3, 'first_word', 1.5);
23 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(3, 'word_order', 10);
24 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(3, 'full_match', 20);
25 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(4, 'first_word', 1.5);
26 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(4, 'word_order', 10);
27 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(4, 'full_match', 20);
28 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(5, 'first_word', 1.5);
29 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(5, 'word_order', 10);
30 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(5, 'full_match', 20);
31 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(6, 'first_word', 1.5);
32 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(7, 'first_word', 1.5);
33 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(8, 'first_word', 1.5);
34 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(9, 'first_word', 1.5);
35 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(14, 'word_order', 10);
36
37 CREATE OR REPLACE FUNCTION search.pick_table (TEXT) RETURNS TEXT AS $$
38     SELECT  CASE
39                 WHEN $1 = 'author'  THEN 'metabib.author_field_entry'
40                 WHEN $1 = 'title'   THEN 'metabib.title_field_entry'
41                 WHEN $1 = 'subject' THEN 'metabib.subject_field_entry'
42                 WHEN $1 = 'keyword' THEN 'metabib.keyword_field_entry'
43                 WHEN $1 = 'series'  THEN 'metabib.series_field_entry'
44             END;
45 $$ LANGUAGE SQL;
46
47 CREATE TYPE search.search_result AS ( id BIGINT, rel NUMERIC, record INT, total INT, checked INT, visible INT, deleted INT, excluded INT );
48 CREATE TYPE search.search_args AS ( id INT, field_class TEXT, field_name TEXT, table_alias TEXT, term TEXT, term_type TEXT );
49
50 CREATE OR REPLACE FUNCTION search.staged_fts (
51
52     param_search_ou INT,
53     param_depth     INT,
54     param_searches  TEXT, -- JSON hash, to be turned into a resultset via search.parse_search_args
55     param_statuses  INT[],
56     param_audience  TEXT[],
57     param_language  TEXT[],
58     param_lit_form  TEXT[],
59     param_types     TEXT[],
60     param_forms     TEXT[],
61     param_vformats  TEXT[],
62     param_pref_lang TEXT,
63     param_pref_lang_multiplier REAL,
64     param_sort      TEXT,
65     param_sort_desc BOOL,
66     metarecord      BOOL,
67     staff           BOOL,
68     param_rel_limit INT,
69     param_chk_limit INT,
70     param_skip_chk  INT
71  
72 ) RETURNS SETOF search.search_result AS $func$
73 DECLARE
74
75     current_res         search.search_result%ROWTYPE;
76     query_part          search.search_args%ROWTYPE;
77     phrase_query_part   search.search_args%ROWTYPE;
78     rank_adjust_id      INT;
79     core_rel_limit      INT;
80     core_chk_limit      INT;
81     core_skip_chk       INT;
82     rank_adjust         search.relevance_adjustment%ROWTYPE;
83     query_table         TEXT;
84     tmp_text            TEXT;
85     tmp_int             INT;
86     current_rank        TEXT;
87     ranks               TEXT[] := '{}';
88     query_table_alias   TEXT;
89     from_alias_array    TEXT[] := '{}';
90     used_ranks          TEXT[] := '{}';
91     mb_field            INT;
92     mb_field_list       INT[];
93     search_org_list     INT[];
94     select_clause       TEXT := 'SELECT';
95     from_clause         TEXT := ' FROM  metabib.metarecord_source_map m JOIN metabib.rec_descriptor mrd ON (m.source = mrd.record) ';
96     where_clause        TEXT := ' WHERE 1=1 ';
97     mrd_used            BOOL := FALSE;
98     sort_desc           BOOL := FALSE;
99
100     core_result         RECORD;
101     core_cursor         REFCURSOR;
102     core_rel_query      TEXT;
103     vis_limit_query     TEXT;
104     inner_where_clause  TEXT;
105
106     total_count         INT := 0;
107     check_count         INT := 0;
108     deleted_count       INT := 0;
109     visible_count       INT := 0;
110     excluded_count      INT := 0;
111
112 BEGIN
113
114     core_rel_limit := COALESCE( param_rel_limit, 25000 );
115     core_chk_limit := COALESCE( param_chk_limit, 1000 );
116     core_skip_chk := COALESCE( param_skip_chk, 1 );
117
118     IF metarecord THEN
119         select_clause := select_clause || ' m.metarecord as id, array_accum(distinct m.source) as records,';
120     ELSE
121         select_clause := select_clause || ' m.source as id, array_accum(distinct m.source) as records,';
122     END IF;
123
124     -- first we need to construct the base query
125     FOR query_part IN SELECT * FROM search.parse_search_args(param_searches) WHERE term_type = 'fts_query' LOOP
126
127         inner_where_clause := 'index_vector @@ ' || query_part.term;
128
129         IF query_part.field_name IS NOT NULL THEN
130
131            SELECT  id INTO mb_field
132              FROM  config.metabib_field
133              WHERE field_class = query_part.field_class
134                    AND name = query_part.field_name;
135
136             IF FOUND THEN
137                 inner_where_clause := inner_where_clause ||
138                     ' AND ' || 'field = ' || mb_field;
139             END IF;
140
141         END IF;
142
143         -- moving on to the rank ...
144         SELECT  * INTO query_part
145           FROM  search.parse_search_args(param_searches)
146           WHERE term_type = 'fts_rank'
147                 AND table_alias = query_part.table_alias;
148
149         current_rank := query_part.term || ' * ' || query_part.table_alias || '_weight.weight';
150
151         IF query_part.field_name IS NOT NULL THEN
152
153            SELECT  array_accum(distinct id) INTO mb_field_list
154              FROM  config.metabib_field
155              WHERE field_class = query_part.field_class
156                    AND name = query_part.field_name;
157
158         ELSE
159
160            SELECT  array_accum(distinct id) INTO mb_field_list
161              FROM  config.metabib_field
162              WHERE field_class = query_part.field_class;
163
164         END IF;
165
166         FOR rank_adjust IN SELECT * FROM search.relevance_adjustment WHERE active AND field IN ( SELECT * FROM search.explode_array( mb_field_list ) ) LOOP
167
168             IF NOT rank_adjust.bump_type = ANY (used_ranks) THEN
169
170                 IF rank_adjust.bump_type = 'first_word' THEN
171                     SELECT  term INTO tmp_text
172                       FROM  search.parse_search_args(param_searches)
173                       WHERE table_alias = query_part.table_alias AND term_type = 'word'
174                       ORDER BY id
175                       LIMIT 1;
176
177                     tmp_text := query_part.table_alias || '.value ILIKE ' || quote_literal( tmp_text || '%' );
178
179                 ELSIF rank_adjust.bump_type = 'word_order' THEN
180                     SELECT  array_to_string( array_accum( term ), '%' ) INTO tmp_text
181                       FROM  search.parse_search_args(param_searches)
182                       WHERE table_alias = query_part.table_alias AND term_type = 'word';
183
184                     tmp_text := query_part.table_alias || '.value ILIKE ' || quote_literal( '%' || tmp_text || '%' );
185
186                 ELSIF rank_adjust.bump_type = 'full_match' THEN
187                     SELECT  array_to_string( array_accum( term ), E'\\s+' ) INTO tmp_text
188                       FROM  search.parse_search_args(param_searches)
189                       WHERE table_alias = query_part.table_alias AND term_type = 'word';
190
191                     tmp_text := query_part.table_alias || '.value  ~ ' || quote_literal( '^' || tmp_text || E'\\W*$' );
192
193                 END IF;
194
195
196                 current_rank := current_rank || ' * ( CASE WHEN ' || tmp_text ||
197                     ' THEN ' || rank_adjust.multiplier || '::REAL ELSE 1.0 END )';
198
199                 used_ranks := array_append( used_ranks, rank_adjust.bump_type );
200
201             END IF;
202
203         END LOOP;
204
205         ranks := array_append( ranks, current_rank );
206         used_ranks := '{}';
207
208         FOR phrase_query_part IN
209             SELECT  * 
210               FROM  search.parse_search_args(param_searches)
211               WHERE term_type = 'phrase'
212                     AND table_alias = query_part.table_alias LOOP
213
214             inner_where_clause := inner_where_clause || ' AND ' || 'value  ~* ' || quote_literal( E'(^|\\W+)' || regexp_replace(phrase_query_part.term, E'\\s+',E'\\\\s+','g') || E'(\\W+|\$)' );
215
216         END LOOP;
217
218         query_table := search.pick_table(query_part.field_class);
219
220         from_clause := from_clause ||
221             ' JOIN ( SELECT * FROM ' || query_table || ' WHERE ' || inner_where_clause ||
222                     CASE WHEN core_rel_limit > 0 THEN ' LIMIT ' || core_rel_limit::TEXT ELSE '' END || ' ) AS ' || query_part.table_alias ||
223                 ' ON ( m.source = ' || query_part.table_alias || '.source )' ||
224             ' JOIN config.metabib_field AS ' || query_part.table_alias || '_weight' ||
225                 ' ON ( ' || query_part.table_alias || '.field = ' || query_part.table_alias || '_weight.id  AND  ' || query_part.table_alias || '_weight.search_field)';
226
227         from_alias_array := array_append(from_alias_array, query_part.table_alias);
228
229     END LOOP;
230
231     IF param_pref_lang IS NOT NULL AND param_pref_lang_multiplier IS NOT NULL THEN
232         current_rank := ' CASE WHEN mrd.item_lang = ' || quote_literal( param_pref_lang ) ||
233             ' THEN ' || param_pref_lang_multiplier || '::REAL ELSE 1.0 END ';
234
235         --ranks := array_append( ranks, current_rank );
236     END IF;
237
238     current_rank := ' AVG( ( (' || array_to_string( ranks, ') + (' ) || ') ) * ' || current_rank || ' ) ';
239     select_clause := select_clause || current_rank || ' AS rel,';
240
241     sort_desc = param_sort_desc;
242
243     IF param_sort = 'pubdate' THEN
244
245         tmp_text := '999999';
246         IF param_sort_desc THEN tmp_text := '0'; END IF;
247
248         current_rank := $$
249             ( COALESCE( FIRST ((
250                 SELECT  SUBSTRING(frp.value FROM E'\\d{4}')
251                   FROM  metabib.full_rec frp
252                   WHERE frp.record = m.source
253                     AND frp.tag = '260'
254                     AND frp.subfield = 'c'
255                   LIMIT 1
256             )), $$ || quote_literal(tmp_text) || $$ )::INT )
257         $$;
258
259     ELSIF param_sort = 'title' THEN
260
261         tmp_text := 'zzzzzz';
262         IF param_sort_desc THEN tmp_text := '    '; END IF;
263
264         current_rank := $$
265             ( COALESCE( FIRST ((
266                 SELECT  LTRIM(SUBSTR( frt.value, COALESCE(SUBSTRING(frt.ind2 FROM E'\\d+'),'0')::INT + 1 ))
267                   FROM  metabib.full_rec frt
268                   WHERE frt.record = m.source
269                     AND frt.tag = '245'
270                     AND frt.subfield = 'a'
271                   LIMIT 1
272             )),$$ || quote_literal(tmp_text) || $$))
273         $$;
274
275     ELSIF param_sort = 'author' THEN
276
277         tmp_text := 'zzzzzz';
278         IF param_sort_desc THEN tmp_text := '    '; END IF;
279
280         current_rank := $$
281             ( COALESCE( FIRST ((
282                 SELECT  LTRIM(fra.value)
283                   FROM  metabib.full_rec fra
284                   WHERE fra.record = m.source
285                     AND fra.tag LIKE '1%'
286                     AND fra.subfield = 'a'
287                   ORDER BY fra.tag::text::int
288                   LIMIT 1
289             )),$$ || quote_literal(tmp_text) || $$))
290         $$;
291
292     ELSIF param_sort = 'create_date' THEN
293             current_rank := $$( FIRST (( SELECT create_date FROM biblio.record_entry rbr WHERE rbr.id = m.source)) )$$;
294     ELSIF param_sort = 'edit_date' THEN
295             current_rank := $$( FIRST (( SELECT edit_date FROM biblio.record_entry rbr WHERE rbr.id = m.source)) )$$;
296     ELSE
297         sort_desc := NOT COALESCE(param_sort_desc, FALSE);
298     END IF;
299
300     select_clause := select_clause || current_rank || ' AS rank';
301
302     -- now add the other qualifiers
303     IF param_audience IS NOT NULL AND array_upper(param_audience, 1) > 0 THEN
304         where_clause = where_clause || $$ AND mrd.audience IN ('$$ || array_to_string(param_audience, $$','$$) || $$') $$;
305     END IF;
306
307     IF param_language IS NOT NULL AND array_upper(param_language, 1) > 0 THEN
308         where_clause = where_clause || $$ AND mrd.item_lang IN ('$$ || array_to_string(param_language, $$','$$) || $$') $$;
309     END IF;
310
311     IF param_lit_form IS NOT NULL AND array_upper(param_lit_form, 1) > 0 THEN
312         where_clause = where_clause || $$ AND mrd.lit_form IN ('$$ || array_to_string(param_lit_form, $$','$$) || $$') $$;
313     END IF;
314
315     IF param_types IS NOT NULL AND array_upper(param_types, 1) > 0 THEN
316         where_clause = where_clause || $$ AND mrd.item_type IN ('$$ || array_to_string(param_types, $$','$$) || $$') $$;
317     END IF;
318
319     IF param_forms IS NOT NULL AND array_upper(param_forms, 1) > 0 THEN
320         where_clause = where_clause || $$ AND mrd.item_form IN ('$$ || array_to_string(param_forms, $$','$$) || $$') $$;
321     END IF;
322
323     IF param_vformats IS NOT NULL AND array_upper(param_vformats, 1) > 0 THEN
324         where_clause = where_clause || $$ AND mrd.vr_format IN ('$$ || array_to_string(param_vformats, $$','$$) || $$') $$;
325     END IF;
326
327     core_rel_query := select_clause || from_clause || where_clause ||
328                         ' GROUP BY 1 ORDER BY 4' || CASE WHEN sort_desc THEN ' DESC' ELSE ' ASC' END || ';';
329     --RAISE NOTICE 'Base Query:  %', core_rel_query;
330
331     IF param_depth IS NOT NULL THEN
332         SELECT array_accum(distinct id) INTO search_org_list FROM actor.org_unit_descendants( param_search_ou, param_depth );
333     ELSE
334         SELECT array_accum(distinct id) INTO search_org_list FROM actor.org_unit_descendants( param_search_ou );
335     END IF;
336
337     OPEN core_cursor FOR EXECUTE core_rel_query;
338
339     LOOP
340
341         FETCH core_cursor INTO core_result;
342         EXIT WHEN NOT FOUND;
343
344
345         IF total_count % 1000 = 0 THEN
346             -- RAISE NOTICE ' % total, % checked so far ... ', total_count, check_count;
347         END IF;
348
349         IF core_chk_limit > 0 AND total_count - core_skip_chk + 1 >= core_chk_limit THEN
350             total_count := total_count + 1;
351             CONTINUE;
352         END IF;
353
354         total_count := total_count + 1;
355
356         CONTINUE WHEN param_skip_chk IS NOT NULL and total_count < param_skip_chk;
357
358         check_count := check_count + 1;
359
360         PERFORM 1 FROM biblio.record_entry b WHERE NOT b.deleted AND b.id IN ( SELECT * FROM search.explode_array( core_result.records ) );
361         IF NOT FOUND THEN
362             -- RAISE NOTICE ' % were all deleted ... ', core_result.records;
363             deleted_count := deleted_count + 1;
364             CONTINUE;
365         END IF;
366
367         PERFORM 1
368           FROM  biblio.record_entry b
369                 JOIN config.bib_source s ON (b.source = s.id)
370           WHERE s.transcendant
371                 AND b.id IN ( SELECT * FROM search.explode_array( core_result.records ) );
372
373         IF FOUND THEN
374             -- RAISE NOTICE ' % were all transcendant ... ', core_result.records;
375             visible_count := visible_count + 1;
376
377             current_res.id = core_result.id;
378             current_res.rel = core_result.rel;
379
380             tmp_int := 1;
381             IF metarecord THEN
382                 SELECT COUNT(DISTINCT s.source) INTO tmp_int FROM metabib.metarecord_source_map s WHERE s.metarecord = core_result.id;
383             END IF;
384
385             IF tmp_int = 1 THEN
386                 current_res.record = core_result.records[1];
387             ELSE
388                 current_res.record = NULL;
389             END IF;
390
391             RETURN NEXT current_res;
392
393             CONTINUE;
394         END IF;
395
396         IF param_statuses IS NOT NULL AND array_upper(param_statuses, 1) > 0 THEN
397
398             PERFORM 1
399               FROM  asset.call_number cn
400                     JOIN asset.copy cp ON (cp.call_number = cn.id)
401               WHERE NOT cn.deleted
402                     AND NOT cp.deleted
403                     AND cp.status IN ( SELECT * FROM search.explode_array( param_statuses ) )
404                     AND cn.record IN ( SELECT * FROM search.explode_array( core_result.records ) )
405                     AND cp.circ_lib IN ( SELECT * FROM search.explode_array( search_org_list ) )
406               LIMIT 1;
407
408             IF NOT FOUND THEN
409                 -- RAISE NOTICE ' % were all status-excluded ... ', core_result.records;
410                 excluded_count := excluded_count + 1;
411                 CONTINUE;
412             END IF;
413
414         END IF;
415
416         IF staff IS NULL OR NOT staff THEN
417
418             PERFORM 1
419               FROM  asset.call_number cn
420                     JOIN asset.copy cp ON (cp.call_number = cn.id)
421                     JOIN actor.org_unit a ON (cp.circ_lib = a.id)
422                     JOIN asset.copy_location cl ON (cp.location = cl.id)
423                     JOIN config.copy_status cs ON (cp.status = cs.id)
424               WHERE NOT cn.deleted
425                     AND NOT cp.deleted
426                     AND cs.holdable
427                     AND cl.opac_visible
428                     AND cp.opac_visible
429                     AND a.opac_visible
430                     AND cp.circ_lib IN ( SELECT * FROM search.explode_array( search_org_list ) )
431                     AND cn.record IN ( SELECT * FROM search.explode_array( core_result.records ) )
432               LIMIT 1;
433
434             IF NOT FOUND THEN
435                 -- RAISE NOTICE ' % were all visibility-excluded ... ', core_result.records;
436                 excluded_count := excluded_count + 1;
437                 CONTINUE;
438             END IF;
439
440         ELSE
441
442             PERFORM 1
443               FROM  asset.call_number cn
444                     JOIN asset.copy cp ON (cp.call_number = cn.id)
445                     JOIN actor.org_unit a ON (cp.circ_lib = a.id)
446                     JOIN asset.copy_location cl ON (cp.location = cl.id)
447                     JOIN config.copy_status cs ON (cp.status = cs.id)
448               WHERE NOT cn.deleted
449                     AND NOT cp.deleted
450                     AND cp.circ_lib IN ( SELECT * FROM search.explode_array( search_org_list ) )
451                     AND cn.record IN ( SELECT * FROM search.explode_array( core_result.records ) )
452               LIMIT 1;
453
454             IF NOT FOUND THEN
455
456                 PERFORM 1
457                   FROM  asset.call_number cn
458                   WHERE cn.record IN ( SELECT * FROM search.explode_array( core_result.records ) )
459                   LIMIT 1;
460
461                 IF FOUND THEN
462                     -- RAISE NOTICE ' % were all visibility-excluded ... ', core_result.records;
463                     excluded_count := excluded_count + 1;
464                     CONTINUE;
465                 END IF;
466
467             END IF;
468
469         END IF;
470
471         visible_count := visible_count + 1;
472
473         current_res.id = core_result.id;
474         current_res.rel = core_result.rel;
475
476         tmp_int := 1;
477         IF metarecord THEN
478             SELECT COUNT(DISTINCT s.source) INTO tmp_int FROM metabib.metarecord_source_map s WHERE s.metarecord = core_result.id;
479         END IF;
480
481         IF tmp_int = 1 THEN
482             current_res.record = core_result.records[1];
483         ELSE
484             current_res.record = NULL;
485         END IF;
486
487         RETURN NEXT current_res;
488
489         IF visible_count % 1000 = 0 THEN
490             -- RAISE NOTICE ' % visible so far ... ', visible_count;
491         END IF;
492
493     END LOOP;
494
495     current_res.id = NULL;
496     current_res.rel = NULL;
497     current_res.record = NULL;
498     current_res.total = total_count;
499     current_res.checked = check_count;
500     current_res.deleted = deleted_count;
501     current_res.visible = visible_count;
502     current_res.excluded = excluded_count;
503
504     CLOSE core_cursor;
505
506     RETURN NEXT current_res;
507
508 END;
509 $func$ LANGUAGE PLPGSQL;
510
511 /*
512     param_statuses  INT[],
513     param_audience  TEXT[], x
514     param_language  TEXT[], x
515     param_lit_form  TEXT[], x
516     param_types     TEXT[], x
517     param_forms     TEXT[], x
518     param_vformats  TEXT[], x
519 */
520
521 CREATE OR REPLACE FUNCTION search.explode_array(anyarray) RETURNS SETOF anyelement AS $BODY$
522     SELECT ($1)[s] FROM generate_series(1, array_upper($1, 1)) AS s;
523 $BODY$
524 LANGUAGE 'sql' IMMUTABLE;
525
526 CREATE OR REPLACE FUNCTION search.parse_search_args (TEXT) RETURNS SETOF search.search_args AS $perlcode$
527     use JSON::XS;
528     my $json = shift;
529
530     my $args = decode_json( $json );
531
532     my $id = 1;
533
534     for my $k ( keys %$args ) {
535         (my $alias = $k) =~ s/\|/_/gso;
536         my ($class, $field) = split /\|/, $k;
537         my $part = $args->{$k};
538         for my $p ( keys %$part ) {
539             my $data = $part->{$p};
540             $data = [$data] if (!ref($data));
541             for my $datum ( @$data ) {
542                 return_next(
543                     {   field_class => $class,
544                         field_name  => $field,
545                         term        => $datum,
546                         table_alias => $alias,
547                         term_type   => $p,
548                         id          => $id,
549                     }
550                 );
551                 $id++;
552             }
553         }
554     }
555
556     return undef;
557
558 $perlcode$ LANGUAGE PLPERLU;
559
560
561 COMMIT;
562