Open-ILS/src/sql/Pg/1.2.2.3-1.2.3.0-upgrade.sql

   1 /*
   2  * Copyright (C) 2007-2008  Equinox Software, Inc.
   3  * Mike Rylander <miker@esilibrary.com>
   4  *
   5  * This program is free software; you can redistribute it and/or
   6  * modify it under the terms of the GNU General Public License
   7  * as published by the Free Software Foundation; either version 2
   8  * of the License, or (at your option) any later version.
   9  *
  10  * This program is distributed in the hope that it will be useful,
  11  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  13  * GNU General Public License for more details.
  14  *
  15  */
  16
  17
  18
  19 BEGIN;
  20
  21 ALTER TABLE config.rule_max_fine ADD COLUMN is_percent BOOL NOT NULL DEFAULT FALSE;
  22
  23 CREATE OR REPLACE FUNCTION biblio.next_autogen_tcn_value () RETURNS TEXT AS $$
  24     BEGIN RETURN 'AUTOGENERATED-' || nextval('biblio.autogen_tcn_value_seq'::TEXT); END;
  25 $$ LANGUAGE PLPGSQL;
  26
  27
  28 CREATE OR REPLACE FUNCTION search.staged_fts (
  29
  30     param_search_ou INT,
  31     param_depth     INT,
  32     param_searches  TEXT, -- JSON hash, to be turned into a resultset via search.parse_search_args
  33     param_statuses  INT[],
  34     param_locations INT[],
  35     param_audience  TEXT[],
  36     param_language  TEXT[],
  37     param_lit_form  TEXT[],
  38     param_types     TEXT[],
  39     param_forms     TEXT[],
  40     param_vformats  TEXT[],
  41     param_pref_lang TEXT,
  42     param_pref_lang_multiplier REAL,
  43     param_sort      TEXT,
  44     param_sort_desc BOOL,
  45     metarecord      BOOL,
  46     staff           BOOL,
  47     param_rel_limit INT,
  48     param_chk_limit INT,
  49     param_skip_chk  INT
  50
  51 ) RETURNS SETOF search.search_result AS $func$
  52 DECLARE
  53
  54     current_res         search.search_result%ROWTYPE;
  55     query_part          search.search_args%ROWTYPE;
  56     phrase_query_part   search.search_args%ROWTYPE;
  57     rank_adjust_id      INT;
  58     core_rel_limit      INT;
  59     core_chk_limit      INT;
  60     core_skip_chk       INT;
  61     rank_adjust         search.relevance_adjustment%ROWTYPE;
  62     query_table         TEXT;
  63     tmp_text            TEXT;
  64     tmp_int             INT;
  65     current_rank        TEXT;
  66     ranks               TEXT[] := '{}';
  67     query_table_alias   TEXT;
  68     from_alias_array    TEXT[] := '{}';
  69     used_ranks          TEXT[] := '{}';
  70     mb_field            INT;
  71     mb_field_list       INT[];
  72     search_org_list     INT[];
  73     select_clause       TEXT := 'SELECT';
  74     from_clause         TEXT := ' FROM  metabib.metarecord_source_map m JOIN metabib.rec_descriptor mrd ON (m.source = mrd.record) ';
  75     where_clause        TEXT := ' WHERE 1=1 ';
  76     mrd_used            BOOL := FALSE;
  77     sort_desc           BOOL := FALSE;
  78
  79     core_result         RECORD;
  80     core_cursor         REFCURSOR;
  81     core_rel_query      TEXT;
  82     vis_limit_query     TEXT;
  83     inner_where_clause  TEXT;
  84
  85     total_count         INT := 0;
  86     check_count         INT := 0;
  87     deleted_count       INT := 0;
  88     visible_count       INT := 0;
  89     excluded_count      INT := 0;
  90
  91 BEGIN
  92
  93     core_rel_limit := COALESCE( param_rel_limit, 25000 );
  94     core_chk_limit := COALESCE( param_chk_limit, 1000 );
  95     core_skip_chk := COALESCE( param_skip_chk, 1 );
  96
  97     IF metarecord THEN
  98         select_clause := select_clause || ' m.metarecord as id, array_accum(distinct m.source) as records,';
  99     ELSE
 100         select_clause := select_clause || ' m.source as id, array_accum(distinct m.source) as records,';
 101     END IF;
 102
 103     -- first we need to construct the base query
 104     FOR query_part IN SELECT * FROM search.parse_search_args(param_searches) WHERE term_type = 'fts_query' LOOP
 105
 106         inner_where_clause := 'index_vector @@ ' || query_part.term;
 107
 108         IF query_part.field_name IS NOT NULL THEN
 109
 110            SELECT  id INTO mb_field
 111              FROM  config.metabib_field
 112              WHERE field_class = query_part.field_class
 113                    AND name = query_part.field_name;
 114
 115             IF FOUND THEN
 116                 inner_where_clause := inner_where_clause ||
 117                     ' AND ' || 'field = ' || mb_field;
 118             END IF;
 119
 120         END IF;
 121
 122         -- moving on to the rank ...
 123         SELECT  * INTO query_part
 124           FROM  search.parse_search_args(param_searches)
 125           WHERE term_type = 'fts_rank'
 126                 AND table_alias = query_part.table_alias;
 127
 128         current_rank := query_part.term || ' * ' || query_part.table_alias || '_weight.weight';
 129
 130         IF query_part.field_name IS NOT NULL THEN
 131
 132            SELECT  array_accum(distinct id) INTO mb_field_list
 133              FROM  config.metabib_field
 134              WHERE field_class = query_part.field_class
 135                    AND name = query_part.field_name;
 136
 137         ELSE
 138
 139            SELECT  array_accum(distinct id) INTO mb_field_list
 140              FROM  config.metabib_field
 141              WHERE field_class = query_part.field_class;
 142
 143         END IF;
 144
 145         FOR rank_adjust IN SELECT * FROM search.relevance_adjustment WHERE active AND field IN ( SELECT * FROM search.explode_array( mb_field_list ) ) LOOP
 146
 147             IF NOT rank_adjust.bump_type = ANY (used_ranks) THEN
 148
 149                 IF rank_adjust.bump_type = 'first_word' THEN
 150                     SELECT  term INTO tmp_text
 151                       FROM  search.parse_search_args(param_searches)
 152                       WHERE table_alias = query_part.table_alias AND term_type = 'word'
 153                       ORDER BY id
 154                       LIMIT 1;
 155
 156                     tmp_text := query_part.table_alias || '.value ILIKE ' || quote_literal( tmp_text || '%' );
 157
 158                 ELSIF rank_adjust.bump_type = 'word_order' THEN
 159                     SELECT  array_to_string( array_accum( term ), '%' ) INTO tmp_text
 160                       FROM  search.parse_search_args(param_searches)
 161                       WHERE table_alias = query_part.table_alias AND term_type = 'word';
 162
 163                     tmp_text := query_part.table_alias || '.value ILIKE ' || quote_literal( '%' || tmp_text || '%' );
 164
 165                 ELSIF rank_adjust.bump_type = 'full_match' THEN
 166                     SELECT  array_to_string( array_accum( term ), E'\\s+' ) INTO tmp_text
 167                       FROM  search.parse_search_args(param_searches)
 168                       WHERE table_alias = query_part.table_alias AND term_type = 'word';
 169
 170                     tmp_text := query_part.table_alias || '.value  ~ ' || quote_literal( '^' || tmp_text || E'\\W*$' );
 171
 172                 END IF;
 173
 174
 175                 IF tmp_text IS NOT NULL THEN
 176                     current_rank := current_rank || ' * ( CASE WHEN ' || tmp_text ||
 177                         ' THEN ' || rank_adjust.multiplier || '::REAL ELSE 1.0 END )';
 178                 END IF;
 179
 180                 used_ranks := array_append( used_ranks, rank_adjust.bump_type );
 181
 182             END IF;
 183
 184         END LOOP;
 185
 186         ranks := array_append( ranks, current_rank );
 187         used_ranks := '{}';
 188
 189         FOR phrase_query_part IN
 190             SELECT  *
 191               FROM  search.parse_search_args(param_searches)
 192               WHERE term_type = 'phrase'
 193                     AND table_alias = query_part.table_alias LOOP
 194
 195             tmp_text := replace( phrase_query_part.term, '*', E'\\*' );
 196             tmp_text := replace( tmp_text, '?', E'\\?' );
 197             tmp_text := replace( tmp_text, '+', E'\\+' );
 198             tmp_text := replace( tmp_text, '|', E'\\|' );
 199             tmp_text := replace( tmp_text, '(', E'\\(' );
 200             tmp_text := replace( tmp_text, ')', E'\\)' );
 201             tmp_text := replace( tmp_text, '[', E'\\[' );
 202             tmp_text := replace( tmp_text, ']', E'\\]' );
 203
 204             inner_where_clause := inner_where_clause || ' AND ' || 'value  ~* ' || quote_literal( E'(^|\\W+)' || regexp_replace(tmp_text, E'\\s+',E'\\\\s+','g') || E'(\\W+|\$)' );
 205
 206         END LOOP;
 207
 208         query_table := search.pick_table(query_part.field_class);
 209
 210         from_clause := from_clause ||
 211             ' JOIN ( SELECT * FROM ' || query_table || ' WHERE ' || inner_where_clause ||
 212                     CASE WHEN core_rel_limit > 0 THEN ' LIMIT ' || core_rel_limit::TEXT ELSE '' END || ' ) AS ' || query_part.table_alias ||
 213                 ' ON ( m.source = ' || query_part.table_alias || '.source )' ||
 214             ' JOIN config.metabib_field AS ' || query_part.table_alias || '_weight' ||
 215                 ' ON ( ' || query_part.table_alias || '.field = ' || query_part.table_alias || '_weight.id  AND  ' || query_part.table_alias || '_weight.search_field)';
 216
 217         from_alias_array := array_append(from_alias_array, query_part.table_alias);
 218
 219     END LOOP;
 220
 221     IF param_pref_lang IS NOT NULL AND param_pref_lang_multiplier IS NOT NULL THEN
 222         current_rank := ' CASE WHEN mrd.item_lang = ' || quote_literal( param_pref_lang ) ||
 223             ' THEN ' || param_pref_lang_multiplier || '::REAL ELSE 1.0 END ';
 224
 225         --ranks := array_append( ranks, current_rank );
 226     END IF;
 227
 228     current_rank := ' AVG( ( (' || array_to_string( ranks, ') + (' ) || ') ) * ' || current_rank || ' ) ';
 229     select_clause := select_clause || current_rank || ' AS rel,';
 230
 231     sort_desc = param_sort_desc;
 232
 233     IF param_sort = 'pubdate' THEN
 234
 235         tmp_text := '999999';
 236         IF param_sort_desc THEN tmp_text := '0'; END IF;
 237
 238         current_rank := $$
 239             ( COALESCE( FIRST ((
 240                 SELECT  SUBSTRING(frp.value FROM E'\\d{4}')
 241                   FROM  metabib.full_rec frp
 242                   WHERE frp.record = m.source
 243                     AND frp.tag = '260'
 244                     AND frp.subfield = 'c'
 245                   LIMIT 1
 246             )), $$ || quote_literal(tmp_text) || $$ )::INT )
 247         $$;
 248
 249     ELSIF param_sort = 'title' THEN
 250
 251         tmp_text := 'zzzzzz';
 252         IF param_sort_desc THEN tmp_text := '    '; END IF;
 253
 254         current_rank := $$
 255             ( COALESCE( FIRST ((
 256                 SELECT  LTRIM(SUBSTR( frt.value, COALESCE(SUBSTRING(frt.ind2 FROM E'\\d+'),'0')::INT + 1 ))
 257                   FROM  metabib.full_rec frt
 258                   WHERE frt.record = m.source
 259                     AND frt.tag = '245'
 260                     AND frt.subfield = 'a'
 261                   LIMIT 1
 262             )),$$ || quote_literal(tmp_text) || $$))
 263         $$;
 264
 265     ELSIF param_sort = 'author' THEN
 266
 267         tmp_text := 'zzzzzz';
 268         IF param_sort_desc THEN tmp_text := '    '; END IF;
 269
 270         current_rank := $$
 271             ( COALESCE( FIRST ((
 272                 SELECT  LTRIM(fra.value)
 273                   FROM  metabib.full_rec fra
 274                   WHERE fra.record = m.source
 275                     AND fra.tag LIKE '1%'
 276                     AND fra.subfield = 'a'
 277                   ORDER BY fra.tag::text::int
 278                   LIMIT 1
 279             )),$$ || quote_literal(tmp_text) || $$))
 280         $$;
 281
 282     ELSIF param_sort = 'create_date' THEN
 283             current_rank := $$( FIRST (( SELECT create_date FROM biblio.record_entry rbr WHERE rbr.id = m.source)) )$$;
 284     ELSIF param_sort = 'edit_date' THEN
 285             current_rank := $$( FIRST (( SELECT edit_date FROM biblio.record_entry rbr WHERE rbr.id = m.source)) )$$;
 286     ELSE
 287         sort_desc := NOT COALESCE(param_sort_desc, FALSE);
 288     END IF;
 289
 290     select_clause := select_clause || current_rank || ' AS rank';
 291
 292     -- now add the other qualifiers
 293     IF param_audience IS NOT NULL AND array_upper(param_audience, 1) > 0 THEN
 294         where_clause = where_clause || $$ AND mrd.audience IN ('$$ || array_to_string(param_audience, $$','$$) || $$') $$;
 295     END IF;
 296
 297     IF param_language IS NOT NULL AND array_upper(param_language, 1) > 0 THEN
 298         where_clause = where_clause || $$ AND mrd.item_lang IN ('$$ || array_to_string(param_language, $$','$$) || $$') $$;
 299     END IF;
 300
 301     IF param_lit_form IS NOT NULL AND array_upper(param_lit_form, 1) > 0 THEN
 302         where_clause = where_clause || $$ AND mrd.lit_form IN ('$$ || array_to_string(param_lit_form, $$','$$) || $$') $$;
 303     END IF;
 304
 305     IF param_types IS NOT NULL AND array_upper(param_types, 1) > 0 THEN
 306         where_clause = where_clause || $$ AND mrd.item_type IN ('$$ || array_to_string(param_types, $$','$$) || $$') $$;
 307     END IF;
 308
 309     IF param_forms IS NOT NULL AND array_upper(param_forms, 1) > 0 THEN
 310         where_clause = where_clause || $$ AND mrd.item_form IN ('$$ || array_to_string(param_forms, $$','$$) || $$') $$;
 311     END IF;
 312
 313     IF param_vformats IS NOT NULL AND array_upper(param_vformats, 1) > 0 THEN
 314         where_clause = where_clause || $$ AND mrd.vr_format IN ('$$ || array_to_string(param_vformats, $$','$$) || $$') $$;
 315     END IF;
 316
 317     core_rel_query := select_clause || from_clause || where_clause ||
 318                         ' GROUP BY 1 ORDER BY 4' || CASE WHEN sort_desc THEN ' DESC' ELSE ' ASC' END || ';';
 319     --RAISE NOTICE 'Base Query:  %', core_rel_query;
 320
 321     IF param_depth IS NOT NULL THEN
 322         SELECT array_accum(distinct id) INTO search_org_list FROM actor.org_unit_descendants( param_search_ou, param_depth );
 323     ELSE
 324         SELECT array_accum(distinct id) INTO search_org_list FROM actor.org_unit_descendants( param_search_ou );
 325     END IF;
 326
 327     OPEN core_cursor FOR EXECUTE core_rel_query;
 328
 329     LOOP
 330
 331         FETCH core_cursor INTO core_result;
 332         EXIT WHEN NOT FOUND;
 333
 334
 335         IF total_count % 1000 = 0 THEN
 336             -- RAISE NOTICE ' % total, % checked so far ... ', total_count, check_count;
 337         END IF;
 338
 339         IF core_chk_limit > 0 AND total_count - core_skip_chk + 1 >= core_chk_limit THEN
 340             total_count := total_count + 1;
 341             CONTINUE;
 342         END IF;
 343
 344         total_count := total_count + 1;
 345
 346         CONTINUE WHEN param_skip_chk IS NOT NULL and total_count < param_skip_chk;
 347
 348         check_count := check_count + 1;
 349
 350         PERFORM 1 FROM biblio.record_entry b WHERE NOT b.deleted AND b.id IN ( SELECT * FROM search.explode_array( core_result.records ) );
 351         IF NOT FOUND THEN
 352             -- RAISE NOTICE ' % were all deleted ... ', core_result.records;
 353             deleted_count := deleted_count + 1;
 354             CONTINUE;
 355         END IF;
 356
 357         PERFORM 1
 358           FROM  biblio.record_entry b
 359                 JOIN config.bib_source s ON (b.source = s.id)
 360           WHERE s.transcendant
 361                 AND b.id IN ( SELECT * FROM search.explode_array( core_result.records ) );
 362
 363         IF FOUND THEN
 364             -- RAISE NOTICE ' % were all transcendant ... ', core_result.records;
 365             visible_count := visible_count + 1;
 366
 367             current_res.id = core_result.id;
 368             current_res.rel = core_result.rel;
 369
 370             tmp_int := 1;
 371             IF metarecord THEN
 372                 SELECT COUNT(DISTINCT s.source) INTO tmp_int FROM metabib.metarecord_source_map s WHERE s.metarecord = core_result.id;
 373             END IF;
 374
 375             IF tmp_int = 1 THEN
 376                 current_res.record = core_result.records[1];
 377             ELSE
 378                 current_res.record = NULL;
 379             END IF;
 380
 381             RETURN NEXT current_res;
 382
 383             CONTINUE;
 384         END IF;
 385
 386         IF param_statuses IS NOT NULL AND array_upper(param_statuses, 1) > 0 THEN
 387
 388             PERFORM 1
 389               FROM  asset.call_number cn
 390                     JOIN asset.copy cp ON (cp.call_number = cn.id)
 391               WHERE NOT cn.deleted
 392                     AND NOT cp.deleted
 393                     AND cp.status IN ( SELECT * FROM search.explode_array( param_statuses ) )
 394                     AND cn.record IN ( SELECT * FROM search.explode_array( core_result.records ) )
 395                     AND cp.circ_lib IN ( SELECT * FROM search.explode_array( search_org_list ) )
 396               LIMIT 1;
 397
 398             IF NOT FOUND THEN
 399                 -- RAISE NOTICE ' % were all status-excluded ... ', core_result.records;
 400                 excluded_count := excluded_count + 1;
 401                 CONTINUE;
 402             END IF;
 403
 404         END IF;
 405
 406         IF param_locations IS NOT NULL AND array_upper(param_locations, 1) > 0 THEN
 407
 408             PERFORM 1
 409               FROM  asset.call_number cn
 410                     JOIN asset.copy cp ON (cp.call_number = cn.id)
 411               WHERE NOT cn.deleted
 412                     AND NOT cp.deleted
 413                     AND cp.location IN ( SELECT * FROM search.explode_array( param_locations ) )
 414                     AND cn.record IN ( SELECT * FROM search.explode_array( core_result.records ) )
 415                     AND cp.circ_lib IN ( SELECT * FROM search.explode_array( search_org_list ) )
 416               LIMIT 1;
 417
 418             IF NOT FOUND THEN
 419                 -- RAISE NOTICE ' % were all copy_location-excluded ... ', core_result.records;
 420                 excluded_count := excluded_count + 1;
 421                 CONTINUE;
 422             END IF;
 423
 424         END IF;
 425
 426         IF staff IS NULL OR NOT staff THEN
 427
 428             PERFORM 1
 429               FROM  asset.call_number cn
 430                     JOIN asset.copy cp ON (cp.call_number = cn.id)
 431                     JOIN actor.org_unit a ON (cp.circ_lib = a.id)
 432                     JOIN asset.copy_location cl ON (cp.location = cl.id)
 433                     JOIN config.copy_status cs ON (cp.status = cs.id)
 434               WHERE NOT cn.deleted
 435                     AND NOT cp.deleted
 436                     AND cs.holdable
 437                     AND cl.opac_visible
 438                     AND cp.opac_visible
 439                     AND a.opac_visible
 440                     AND cp.circ_lib IN ( SELECT * FROM search.explode_array( search_org_list ) )
 441                     AND cn.record IN ( SELECT * FROM search.explode_array( core_result.records ) )
 442               LIMIT 1;
 443
 444             IF NOT FOUND THEN
 445                 -- RAISE NOTICE ' % were all visibility-excluded ... ', core_result.records;
 446                 excluded_count := excluded_count + 1;
 447                 CONTINUE;
 448             END IF;
 449
 450         ELSE
 451
 452             PERFORM 1
 453               FROM  asset.call_number cn
 454                     JOIN asset.copy cp ON (cp.call_number = cn.id)
 455                     JOIN actor.org_unit a ON (cp.circ_lib = a.id)
 456                     JOIN asset.copy_location cl ON (cp.location = cl.id)
 457                     JOIN config.copy_status cs ON (cp.status = cs.id)
 458               WHERE NOT cn.deleted
 459                     AND NOT cp.deleted
 460                     AND cp.circ_lib IN ( SELECT * FROM search.explode_array( search_org_list ) )
 461                     AND cn.record IN ( SELECT * FROM search.explode_array( core_result.records ) )
 462               LIMIT 1;
 463
 464             IF NOT FOUND THEN
 465
 466                 PERFORM 1
 467                   FROM  asset.call_number cn
 468                   WHERE cn.record IN ( SELECT * FROM search.explode_array( core_result.records ) )
 469                   LIMIT 1;
 470
 471                 IF FOUND THEN
 472                     -- RAISE NOTICE ' % were all visibility-excluded ... ', core_result.records;
 473                     excluded_count := excluded_count + 1;
 474                     CONTINUE;
 475                 END IF;
 476
 477             END IF;
 478
 479         END IF;
 480
 481         visible_count := visible_count + 1;
 482
 483         current_res.id = core_result.id;
 484         current_res.rel = core_result.rel;
 485
 486         tmp_int := 1;
 487         IF metarecord THEN
 488             SELECT COUNT(DISTINCT s.source) INTO tmp_int FROM metabib.metarecord_source_map s WHERE s.metarecord = core_result.id;
 489         END IF;
 490
 491         IF tmp_int = 1 THEN
 492             current_res.record = core_result.records[1];
 493         ELSE
 494             current_res.record = NULL;
 495         END IF;
 496
 497         RETURN NEXT current_res;
 498
 499         IF visible_count % 1000 = 0 THEN
 500             -- RAISE NOTICE ' % visible so far ... ', visible_count;
 501         END IF;
 502
 503     END LOOP;
 504
 505     current_res.id = NULL;
 506     current_res.rel = NULL;
 507     current_res.record = NULL;
 508     current_res.total = total_count;
 509     current_res.checked = check_count;
 510     current_res.deleted = deleted_count;
 511     current_res.visible = visible_count;
 512     current_res.excluded = excluded_count;
 513
 514     CLOSE core_cursor;
 515
 516     RETURN NEXT current_res;
 517
 518 END;
 519 $func$ LANGUAGE PLPGSQL;
 520
 521 COMMIT;
 522