Open-ILS/src/sql/Pg/300.schema.staged_search.sql

   1
   2 DROP SCHEMA search CASCADE;
   3
   4 BEGIN;
   5
   6 CREATE SCHEMA search;
   7
   8 CREATE TABLE search.relevance_adjustment (
   9     id          SERIAL  PRIMARY KEY,
  10     active      BOOL    NOT NULL DEFAULT TRUE,
  11     field       INT     NOT NULL REFERENCES config.metabib_field (id),
  12     bump_type   TEXT    NOT NULL CHECK (bump_type IN ('word_order','first_word','full_match')),
  13     multiplier  NUMERIC NOT NULL DEFAULT 1.0
  14 );
  15 CREATE UNIQUE INDEX bump_once_per_field_idx ON search.relevance_adjustment ( field, bump_type );
  16
  17 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(1, 'first_word', 1.5);
  18 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(1, 'full_match', 20);
  19 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(2, 'first_word', 1.5);
  20 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(2, 'word_order', 10);
  21 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(2, 'full_match', 20);
  22 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(3, 'first_word', 1.5);
  23 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(3, 'word_order', 10);
  24 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(3, 'full_match', 20);
  25 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(4, 'first_word', 1.5);
  26 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(4, 'word_order', 10);
  27 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(4, 'full_match', 20);
  28 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(5, 'first_word', 1.5);
  29 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(5, 'word_order', 10);
  30 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(5, 'full_match', 20);
  31 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(6, 'first_word', 1.5);
  32 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(7, 'first_word', 1.5);
  33 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(8, 'first_word', 1.5);
  34 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(9, 'first_word', 1.5);
  35 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(14, 'word_order', 10);
  36
  37 CREATE OR REPLACE FUNCTION search.pick_table (TEXT) RETURNS TEXT AS $$
  38     SELECT  CASE
  39                 WHEN $1 = 'author'  THEN 'metabib.author_field_entry'
  40                 WHEN $1 = 'title'   THEN 'metabib.title_field_entry'
  41                 WHEN $1 = 'subject' THEN 'metabib.subject_field_entry'
  42                 WHEN $1 = 'keyword' THEN 'metabib.keyword_field_entry'
  43                 WHEN $1 = 'series'  THEN 'metabib.series_field_entry'
  44             END;
  45 $$ LANGUAGE SQL;
  46
  47 CREATE TYPE search.search_result AS ( id BIGINT, rel NUMERIC, record INT, total INT, checked INT, visible INT, deleted INT, excluded INT );
  48 CREATE TYPE search.search_args AS ( id INT, field_class TEXT, field_name TEXT, table_alias TEXT, term TEXT, term_type TEXT );
  49
  50 CREATE OR REPLACE FUNCTION search.staged_fts (
  51
  52     param_search_ou INT,
  53     param_depth     INT,
  54     param_searches  TEXT, -- JSON hash, to be turned into a resultset via search.parse_search_args
  55     param_statuses  INT[],
  56     param_audience  TEXT[],
  57     param_language  TEXT[],
  58     param_lit_form  TEXT[],
  59     param_types     TEXT[],
  60     param_forms     TEXT[],
  61     param_vformats  TEXT[],
  62     param_pref_lang TEXT,
  63     param_pref_lang_multiplier REAL,
  64     param_sort      TEXT,
  65     param_sort_desc BOOL,
  66     metarecord      BOOL,
  67     staff           BOOL,
  68     param_rel_limit INT,
  69     param_chk_limit INT,
  70     param_skip_chk  INT
  71
  72 ) RETURNS SETOF search.search_result AS $func$
  73 DECLARE
  74
  75     current_res         search.search_result%ROWTYPE;
  76     query_part          search.search_args%ROWTYPE;
  77     phrase_query_part   search.search_args%ROWTYPE;
  78     rank_adjust_id      INT;
  79     core_rel_limit      INT;
  80     core_chk_limit      INT;
  81     core_skip_chk       INT;
  82     rank_adjust         search.relevance_adjustment%ROWTYPE;
  83     query_table         TEXT;
  84     tmp_text            TEXT;
  85     tmp_int             INT;
  86     current_rank        TEXT;
  87     ranks               TEXT[] := '{}';
  88     query_table_alias   TEXT;
  89     from_alias_array    TEXT[] := '{}';
  90     used_ranks          TEXT[] := '{}';
  91     mb_field            INT;
  92     mb_field_list       INT[];
  93     search_org_list     INT[];
  94     select_clause       TEXT := 'SELECT';
  95     from_clause         TEXT := ' FROM  metabib.metarecord_source_map m JOIN metabib.rec_descriptor mrd ON (m.source = mrd.record) ';
  96     where_clause        TEXT := ' WHERE 1=1 ';
  97     mrd_used            BOOL := FALSE;
  98     sort_desc           BOOL := FALSE;
  99
 100     core_result         RECORD;
 101     core_cursor         REFCURSOR;
 102     core_rel_query      TEXT;
 103     vis_limit_query     TEXT;
 104     inner_where_clause  TEXT;
 105
 106     total_count         INT := 0;
 107     check_count         INT := 0;
 108     deleted_count       INT := 0;
 109     visible_count       INT := 0;
 110     excluded_count      INT := 0;
 111
 112 BEGIN
 113
 114     core_rel_limit := COALESCE( param_rel_limit, 25000 );
 115     core_chk_limit := COALESCE( param_chk_limit, 1000 );
 116     core_skip_chk := COALESCE( param_skip_chk, 1 );
 117
 118     IF metarecord THEN
 119         select_clause := select_clause || ' m.metarecord as id, array_accum(distinct m.source) as records,';
 120     ELSE
 121         select_clause := select_clause || ' m.source as id, array_accum(distinct m.source) as records,';
 122     END IF;
 123
 124     -- first we need to construct the base query
 125     FOR query_part IN SELECT * FROM search.parse_search_args(param_searches) WHERE term_type = 'fts_query' LOOP
 126
 127         inner_where_clause := 'index_vector @@ ' || query_part.term;
 128
 129         IF query_part.field_name IS NOT NULL THEN
 130
 131            SELECT  id INTO mb_field
 132              FROM  config.metabib_field
 133              WHERE field_class = query_part.field_class
 134                    AND name = query_part.field_name;
 135
 136             IF FOUND THEN
 137                 inner_where_clause := inner_where_clause ||
 138                     ' AND ' || 'field = ' || mb_field;
 139             END IF;
 140
 141         END IF;
 142
 143         -- moving on to the rank ...
 144         SELECT  * INTO query_part
 145           FROM  search.parse_search_args(param_searches)
 146           WHERE term_type = 'fts_rank'
 147                 AND table_alias = query_part.table_alias;
 148
 149         current_rank := query_part.term || ' * ' || query_part.table_alias || '_weight.weight';
 150
 151         IF query_part.field_name IS NOT NULL THEN
 152
 153            SELECT  array_accum(distinct id) INTO mb_field_list
 154              FROM  config.metabib_field
 155              WHERE field_class = query_part.field_class
 156                    AND name = query_part.field_name;
 157
 158         ELSE
 159
 160            SELECT  array_accum(distinct id) INTO mb_field_list
 161              FROM  config.metabib_field
 162              WHERE field_class = query_part.field_class;
 163
 164         END IF;
 165
 166         FOR rank_adjust IN SELECT * FROM search.relevance_adjustment WHERE active AND field IN ( SELECT * FROM search.explode_array( mb_field_list ) ) LOOP
 167
 168             IF NOT rank_adjust.bump_type = ANY (used_ranks) THEN
 169
 170                 IF rank_adjust.bump_type = 'first_word' THEN
 171                     SELECT  term INTO tmp_text
 172                       FROM  search.parse_search_args(param_searches)
 173                       WHERE table_alias = query_part.table_alias AND term_type = 'word'
 174                       ORDER BY id
 175                       LIMIT 1;
 176
 177                     tmp_text := query_part.table_alias || '.value ILIKE ' || quote_literal( tmp_text || '%' );
 178
 179                 ELSIF rank_adjust.bump_type = 'word_order' THEN
 180                     SELECT  array_to_string( array_accum( term ), '%' ) INTO tmp_text
 181                       FROM  search.parse_search_args(param_searches)
 182                       WHERE table_alias = query_part.table_alias AND term_type = 'word';
 183
 184                     tmp_text := query_part.table_alias || '.value ILIKE ' || quote_literal( '%' || tmp_text || '%' );
 185
 186                 ELSIF rank_adjust.bump_type = 'full_match' THEN
 187                     SELECT  array_to_string( array_accum( term ), E'\\s+' ) INTO tmp_text
 188                       FROM  search.parse_search_args(param_searches)
 189                       WHERE table_alias = query_part.table_alias AND term_type = 'word';
 190
 191                     tmp_text := query_part.table_alias || '.value  ~ ' || quote_literal( '^' || tmp_text || E'\\W*$' );
 192
 193                 END IF;
 194
 195
 196                 current_rank := current_rank || ' * ( CASE WHEN ' || tmp_text ||
 197                     ' THEN ' || rank_adjust.multiplier || '::REAL ELSE 1.0 END )';
 198
 199                 used_ranks := array_append( used_ranks, rank_adjust.bump_type );
 200
 201             END IF;
 202
 203         END LOOP;
 204
 205         ranks := array_append( ranks, current_rank );
 206         used_ranks := '{}';
 207
 208         FOR phrase_query_part IN
 209             SELECT  *
 210               FROM  search.parse_search_args(param_searches)
 211               WHERE term_type = 'phrase'
 212                     AND table_alias = query_part.table_alias LOOP
 213
 214             inner_where_clause := inner_where_clause || ' AND ' || 'value  ~* ' || quote_literal( E'(^|\\W+)' || regexp_replace(phrase_query_part.term, E'\\s+',E'\\\\s+','g') || E'(\\W+|\$)' );
 215
 216         END LOOP;
 217
 218         query_table := search.pick_table(query_part.field_class);
 219
 220         from_clause := from_clause ||
 221             ' JOIN ( SELECT * FROM ' || query_table || ' WHERE ' || inner_where_clause ||
 222                     CASE WHEN core_rel_limit > 0 THEN ' LIMIT ' || core_rel_limit::TEXT ELSE '' END || ' ) AS ' || query_part.table_alias ||
 223                 ' ON ( m.source = ' || query_part.table_alias || '.source )' ||
 224             ' JOIN config.metabib_field AS ' || query_part.table_alias || '_weight' ||
 225                 ' ON ( ' || query_part.table_alias || '.field = ' || query_part.table_alias || '_weight.id  AND  ' || query_part.table_alias || '_weight.search_field)';
 226
 227         from_alias_array := array_append(from_alias_array, query_part.table_alias);
 228
 229     END LOOP;
 230
 231     IF param_pref_lang IS NOT NULL AND param_pref_lang_multiplier IS NOT NULL THEN
 232         current_rank := ' CASE WHEN mrd.item_lang = ' || quote_literal( param_pref_lang ) ||
 233             ' THEN ' || param_pref_lang_multiplier || '::REAL ELSE 1.0 END ';
 234
 235         --ranks := array_append( ranks, current_rank );
 236     END IF;
 237
 238     current_rank := ' AVG( ( (' || array_to_string( ranks, ') + (' ) || ') ) * ' || current_rank || ' ) ';
 239     select_clause := select_clause || current_rank || ' AS rel,';
 240
 241     sort_desc = param_sort_desc;
 242
 243     IF param_sort = 'pubdate' THEN
 244
 245         tmp_text := '999999';
 246         IF param_sort_desc THEN tmp_text := '0'; END IF;
 247
 248         current_rank := $$
 249             ( COALESCE( FIRST ((
 250                 SELECT  SUBSTRING(frp.value FROM E'\\d{4}')
 251                   FROM  metabib.full_rec frp
 252                   WHERE frp.record = m.source
 253                     AND frp.tag = '260'
 254                     AND frp.subfield = 'c'
 255                   LIMIT 1
 256             )), $$ || quote_literal(tmp_text) || $$ )::INT )
 257         $$;
 258
 259     ELSIF param_sort = 'title' THEN
 260
 261         tmp_text := 'zzzzzz';
 262         IF param_sort_desc THEN tmp_text := '    '; END IF;
 263
 264         current_rank := $$
 265             ( COALESCE( FIRST ((
 266                 SELECT  LTRIM(SUBSTR( frt.value, COALESCE(SUBSTRING(frt.ind2 FROM E'\\d+'),'0')::INT + 1 ))
 267                   FROM  metabib.full_rec frt
 268                   WHERE frt.record = m.source
 269                     AND frt.tag = '245'
 270                     AND frt.subfield = 'a'
 271                   LIMIT 1
 272             )),$$ || quote_literal(tmp_text) || $$))
 273         $$;
 274
 275     ELSIF param_sort = 'author' THEN
 276
 277         tmp_text := 'zzzzzz';
 278         IF param_sort_desc THEN tmp_text := '    '; END IF;
 279
 280         current_rank := $$
 281             ( COALESCE( FIRST ((
 282                 SELECT  LTRIM(fra.value)
 283                   FROM  metabib.full_rec fra
 284                   WHERE fra.record = m.source
 285                     AND fra.tag LIKE '1%'
 286                     AND fra.subfield = 'a'
 287                   ORDER BY fra.tag::text::int
 288                   LIMIT 1
 289             )),$$ || quote_literal(tmp_text) || $$))
 290         $$;
 291
 292     ELSIF param_sort = 'create_date' THEN
 293             current_rank := $$( FIRST (( SELECT create_date FROM biblio.record_entry rbr WHERE rbr.id = m.source)) )$$;
 294     ELSIF param_sort = 'edit_date' THEN
 295             current_rank := $$( FIRST (( SELECT edit_date FROM biblio.record_entry rbr WHERE rbr.id = m.source)) )$$;
 296     ELSE
 297         sort_desc := NOT COALESCE(param_sort_desc, FALSE);
 298     END IF;
 299
 300     select_clause := select_clause || current_rank || ' AS rank';
 301
 302     -- now add the other qualifiers
 303     IF param_audience IS NOT NULL AND array_upper(param_audience, 1) > 0 THEN
 304         where_clause = where_clause || $$ AND mrd.audience IN ('$$ || array_to_string(param_audience, $$','$$) || $$') $$;
 305     END IF;
 306
 307     IF param_language IS NOT NULL AND array_upper(param_language, 1) > 0 THEN
 308         where_clause = where_clause || $$ AND mrd.item_lang IN ('$$ || array_to_string(param_language, $$','$$) || $$') $$;
 309     END IF;
 310
 311     IF param_lit_form IS NOT NULL AND array_upper(param_lit_form, 1) > 0 THEN
 312         where_clause = where_clause || $$ AND mrd.lit_form IN ('$$ || array_to_string(param_lit_form, $$','$$) || $$') $$;
 313     END IF;
 314
 315     IF param_types IS NOT NULL AND array_upper(param_types, 1) > 0 THEN
 316         where_clause = where_clause || $$ AND mrd.item_type IN ('$$ || array_to_string(param_types, $$','$$) || $$') $$;
 317     END IF;
 318
 319     IF param_forms IS NOT NULL AND array_upper(param_forms, 1) > 0 THEN
 320         where_clause = where_clause || $$ AND mrd.item_form IN ('$$ || array_to_string(param_forms, $$','$$) || $$') $$;
 321     END IF;
 322
 323     IF param_vformats IS NOT NULL AND array_upper(param_vformats, 1) > 0 THEN
 324         where_clause = where_clause || $$ AND mrd.vr_format IN ('$$ || array_to_string(param_vformats, $$','$$) || $$') $$;
 325     END IF;
 326
 327     core_rel_query := select_clause || from_clause || where_clause ||
 328                         ' GROUP BY 1 ORDER BY 4' || CASE WHEN sort_desc THEN ' DESC' ELSE ' ASC' END || ';';
 329     --RAISE NOTICE 'Base Query:  %', core_rel_query;
 330
 331     IF param_depth IS NOT NULL THEN
 332         SELECT array_accum(distinct id) INTO search_org_list FROM actor.org_unit_descendants( param_search_ou, param_depth );
 333     ELSE
 334         SELECT array_accum(distinct id) INTO search_org_list FROM actor.org_unit_descendants( param_search_ou );
 335     END IF;
 336
 337     OPEN core_cursor FOR EXECUTE core_rel_query;
 338
 339     LOOP
 340
 341         FETCH core_cursor INTO core_result;
 342         EXIT WHEN NOT FOUND;
 343
 344
 345         IF total_count % 1000 = 0 THEN
 346             -- RAISE NOTICE ' % total, % checked so far ... ', total_count, check_count;
 347         END IF;
 348
 349         IF core_chk_limit > 0 AND total_count - core_skip_chk + 1 >= core_chk_limit THEN
 350             total_count := total_count + 1;
 351             CONTINUE;
 352         END IF;
 353
 354         total_count := total_count + 1;
 355
 356         CONTINUE WHEN param_skip_chk IS NOT NULL and total_count < param_skip_chk;
 357
 358         check_count := check_count + 1;
 359
 360         PERFORM 1 FROM biblio.record_entry b WHERE NOT b.deleted AND b.id IN ( SELECT * FROM search.explode_array( core_result.records ) );
 361         IF NOT FOUND THEN
 362             -- RAISE NOTICE ' % were all deleted ... ', core_result.records;
 363             deleted_count := deleted_count + 1;
 364             CONTINUE;
 365         END IF;
 366
 367         PERFORM 1
 368           FROM  biblio.record_entry b
 369                 JOIN config.bib_source s ON (b.source = s.id)
 370           WHERE s.transcendant
 371                 AND b.id IN ( SELECT * FROM search.explode_array( core_result.records ) );
 372
 373         IF FOUND THEN
 374             -- RAISE NOTICE ' % were all transcendant ... ', core_result.records;
 375             visible_count := visible_count + 1;
 376
 377             current_res.id = core_result.id;
 378             current_res.rel = core_result.rel;
 379
 380             tmp_int := 1;
 381             IF metarecord THEN
 382                 SELECT COUNT(DISTINCT s.source) INTO tmp_int FROM metabib.metarecord_source_map s WHERE s.metarecord = core_result.id;
 383             END IF;
 384
 385             IF tmp_int = 1 THEN
 386                 current_res.record = core_result.records[1];
 387             ELSE
 388                 current_res.record = NULL;
 389             END IF;
 390
 391             RETURN NEXT current_res;
 392
 393             CONTINUE;
 394         END IF;
 395
 396         IF param_statuses IS NOT NULL AND array_upper(param_statuses, 1) > 0 THEN
 397
 398             PERFORM 1
 399               FROM  asset.call_number cn
 400                     JOIN asset.copy cp ON (cp.call_number = cn.id)
 401               WHERE NOT cn.deleted
 402                     AND NOT cp.deleted
 403                     AND cp.status IN ( SELECT * FROM search.explode_array( param_statuses ) )
 404                     AND cn.record IN ( SELECT * FROM search.explode_array( core_result.records ) )
 405                     AND cp.circ_lib IN ( SELECT * FROM search.explode_array( search_org_list ) )
 406               LIMIT 1;
 407
 408             IF NOT FOUND THEN
 409                 -- RAISE NOTICE ' % were all status-excluded ... ', core_result.records;
 410                 excluded_count := excluded_count + 1;
 411                 CONTINUE;
 412             END IF;
 413
 414         END IF;
 415
 416         IF staff IS NULL OR NOT staff THEN
 417
 418             PERFORM 1
 419               FROM  asset.call_number cn
 420                     JOIN asset.copy cp ON (cp.call_number = cn.id)
 421                     JOIN actor.org_unit a ON (cp.circ_lib = a.id)
 422                     JOIN asset.copy_location cl ON (cp.location = cl.id)
 423                     JOIN config.copy_status cs ON (cp.status = cs.id)
 424               WHERE NOT cn.deleted
 425                     AND NOT cp.deleted
 426                     AND cs.holdable
 427                     AND cl.opac_visible
 428                     AND cp.opac_visible
 429                     AND a.opac_visible
 430                     AND cp.circ_lib IN ( SELECT * FROM search.explode_array( search_org_list ) )
 431                     AND cn.record IN ( SELECT * FROM search.explode_array( core_result.records ) )
 432               LIMIT 1;
 433
 434             IF NOT FOUND THEN
 435                 -- RAISE NOTICE ' % were all visibility-excluded ... ', core_result.records;
 436                 excluded_count := excluded_count + 1;
 437                 CONTINUE;
 438             END IF;
 439
 440         END IF;
 441
 442         visible_count := visible_count + 1;
 443
 444         current_res.id = core_result.id;
 445         current_res.rel = core_result.rel;
 446
 447         tmp_int := 1;
 448         IF metarecord THEN
 449             SELECT COUNT(DISTINCT s.source) INTO tmp_int FROM metabib.metarecord_source_map s WHERE s.metarecord = core_result.id;
 450         END IF;
 451
 452         IF tmp_int = 1 THEN
 453             current_res.record = core_result.records[1];
 454         ELSE
 455             current_res.record = NULL;
 456         END IF;
 457
 458         RETURN NEXT current_res;
 459
 460         IF visible_count % 1000 = 0 THEN
 461             -- RAISE NOTICE ' % visible so far ... ', visible_count;
 462         END IF;
 463
 464     END LOOP;
 465
 466     current_res.id = NULL;
 467     current_res.rel = NULL;
 468     current_res.record = NULL;
 469     current_res.total = total_count;
 470     current_res.checked = check_count;
 471     current_res.deleted = deleted_count;
 472     current_res.visible = visible_count;
 473     current_res.excluded = excluded_count;
 474
 475     CLOSE core_cursor;
 476
 477     RETURN NEXT current_res;
 478
 479 END;
 480 $func$ LANGUAGE PLPGSQL;
 481
 482 /*
 483     param_statuses  INT[],
 484     param_audience  TEXT[], x
 485     param_language  TEXT[], x
 486     param_lit_form  TEXT[], x
 487     param_types     TEXT[], x
 488     param_forms     TEXT[], x
 489     param_vformats  TEXT[], x
 490 */
 491
 492 CREATE OR REPLACE FUNCTION search.explode_array(anyarray) RETURNS SETOF anyelement AS $BODY$
 493     SELECT ($1)[s] FROM generate_series(1, array_upper($1, 1)) AS s;
 494 $BODY$
 495 LANGUAGE 'sql' IMMUTABLE;
 496
 497 CREATE OR REPLACE FUNCTION search.parse_search_args (TEXT) RETURNS SETOF search.search_args AS $perlcode$
 498     use JSON::XS;
 499     my $json = shift;
 500
 501     my $args = decode_json( $json );
 502
 503     my $id = 1;
 504
 505     for my $k ( keys %$args ) {
 506         (my $alias = $k) =~ s/\|/_/gso;
 507         my ($class, $field) = split /\|/, $k;
 508         my $part = $args->{$k};
 509         for my $p ( keys %$part ) {
 510             my $data = $part->{$p};
 511             $data = [$data] if (!ref($data));
 512             for my $datum ( @$data ) {
 513                 return_next(
 514                     {   field_class => $class,
 515                         field_name  => $field,
 516                         term        => $datum,
 517                         table_alias => $alias,
 518                         term_type   => $p,
 519                         id          => $id,
 520                     }
 521                 );
 522                 $id++;
 523             }
 524         }
 525     }
 526
 527     return undef;
 528
 529 $perlcode$ LANGUAGE PLPERLU;
 530
 531
 532 COMMIT;
 533