Open-ILS/src/sql/Pg/1.2.1-1.2.2-upgrade-db.sql

   1 /*
   2  * Copyright (C) 2008  Equinox Software, Inc.
   3  * Mike Rylander <miker@esilibrary.com.com>
   4  *
   5  * This program is free software; you can redistribute it and/or
   6  * modify it under the terms of the GNU General Public License
   7  * as published by the Free Software Foundation; either version 2
   8  * of the License, or (at your option) any later version.
   9  *
  10  * This program is distributed in the hope that it will be useful,
  11  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  13  * GNU General Public License for more details.
  14  *
  15  */
  16
  17 BEGIN;
  18
  19 -------------------------------------------------------------------
  20 /* new materialized view for reporting schema -- ok if it fails  */
  21 -------------------------------------------------------------------
  22
  23 CREATE TABLE reporter.materialized_simple_record AS SELECT * FROM reporter.super_simple_record WHERE 1=0;
  24
  25 INSERT INTO reporter.materialized_simple_record
  26     (id,fingerprint,quality,tcn_source,tcn_value,title,author,publisher,pubdate,isbn,issn)
  27     SELECT DISTINCT ON (id) * FROM reporter.super_simple_record;
  28
  29 ALTER TABLE reporter.materialized_simple_record ADD PRIMARY KEY (id);
  30
  31 CREATE OR REPLACE VIEW reporter.super_simple_record AS SELECT * FROM reporter.materialized_simple_record;
  32
  33 CREATE OR REPLACE VIEW reporter.old_super_simple_record AS
  34 SELECT  r.id,
  35     r.fingerprint,
  36     r.quality,
  37     r.tcn_source,
  38     r.tcn_value,
  39     title.value AS title,
  40     FIRST(author.value) AS author,
  41     publisher.value AS publisher,
  42     SUBSTRING(pubdate.value FROM $$\d+$$) AS pubdate,
  43     ARRAY_ACCUM( SUBSTRING(isbn.value FROM $$^\S+$$) ) AS isbn,
  44     ARRAY_ACCUM( SUBSTRING(issn.value FROM $$^\S+$$) ) AS issn
  45   FROM  biblio.record_entry r
  46     LEFT JOIN metabib.full_rec title ON (r.id = title.record AND title.tag = '245' AND title.subfield = 'a')
  47     LEFT JOIN metabib.full_rec author ON (r.id = author.record AND author.tag IN ('100','110','111') AND author.subfield = 'a')
  48     LEFT JOIN metabib.full_rec publisher ON (r.id = publisher.record AND publisher.tag = '260' AND publisher.subfield = 'b')
  49     LEFT JOIN metabib.full_rec pubdate ON (r.id = pubdate.record AND pubdate.tag = '260' AND pubdate.subfield = 'c')
  50     LEFT JOIN metabib.full_rec isbn ON (r.id = isbn.record AND isbn.tag IN ('024', '020') AND isbn.subfield IN ('a','z'))
  51     LEFT JOIN metabib.full_rec issn ON (r.id = issn.record AND issn.tag = '022' AND issn.subfield = 'a')
  52   GROUP BY 1,2,3,4,5,6,8,9;
  53
  54 CREATE OR REPLACE FUNCTION reporter.simple_rec_sync () RETURNS TRIGGER AS $$
  55 DECLARE
  56     r_id        BIGINT;
  57     new_data    RECORD;
  58 BEGIN
  59     IF TG_OP IN ('DELETE') THEN
  60         r_id := OLD.record;
  61     ELSE
  62         r_id := NEW.record;
  63     END IF;
  64
  65     SELECT * INTO new_data FROM reporter.materialized_simple_record WHERE id = r_id FOR UPDATE;
  66     DELETE FROM reporter.materialized_simple_record WHERE id = r_id;
  67
  68     IF TG_OP IN ('DELETE') THEN
  69         RETURN OLD;
  70     ELSE
  71         INSERT INTO reporter.materialized_simple_record SELECT DISTINCT ON (id) * FROM reporter.old_super_simple_record WHERE id = NEW.record;
  72         RETURN NEW;
  73     END IF;
  74
  75 END;
  76 $$ LANGUAGE PLPGSQL;
  77
  78 CREATE TRIGGER zzz_update_materialized_simple_record_tgr
  79     AFTER INSERT OR UPDATE OR DELETE ON metabib.full_rec
  80     FOR EACH ROW EXECUTE PROCEDURE reporter.simple_rec_sync();
  81
  82 COMMIT;
  83
  84
  85 DROP VIEW reporter.overdue_reports;
  86 DROP VIEW reporter.pending_reports;
  87 DROP VIEW reporter.currently_running;
  88
  89 BEGIN;
  90
  91 -------------------------------------------------------------------
  92 /* convenience views for report management                       */
  93 -------------------------------------------------------------------
  94
  95 CREATE OR REPLACE VIEW reporter.overdue_reports AS
  96  SELECT s.id, c.barcode AS runner_barcode, r.name, s.run_time, s.run_time - now() AS scheduled_wait_time
  97    FROM reporter.schedule s
  98    JOIN reporter.report r ON r.id = s.report
  99    JOIN actor.usr u ON s.runner = u.id
 100    JOIN actor.card c ON c.id = u.card
 101   WHERE s.start_time IS NULL AND s.run_time < now();
 102
 103 CREATE OR REPLACE VIEW reporter.pending_reports AS
 104  SELECT s.id, c.barcode AS runner_barcode, r.name, s.run_time, s.run_time - now() AS scheduled_wait_time
 105    FROM reporter.schedule s
 106    JOIN reporter.report r ON r.id = s.report
 107    JOIN actor.usr u ON s.runner = u.id
 108    JOIN actor.card c ON c.id = u.card
 109   WHERE s.start_time IS NULL;
 110
 111 CREATE OR REPLACE VIEW reporter.currently_running AS
 112  SELECT s.id, c.barcode AS runner_barcode, r.name, s.run_time, s.run_time - now() AS scheduled_wait_time
 113    FROM reporter.schedule s
 114    JOIN reporter.report r ON r.id = s.report
 115    JOIN actor.usr u ON s.runner = u.id
 116    JOIN actor.card c ON c.id = u.card
 117   WHERE s.start_time IS NOT NULL AND s.complete_time IS NULL;
 118
 119
 120 -------------------------------------------------------------------
 121 /* view for restricting circ counts by circ_mod                  */
 122 -------------------------------------------------------------------
 123
 124 CREATE OR REPLACE VIEW action.open_circ_count_by_circ_mod AS
 125     SELECT  circ.usr,
 126             cp.circ_modifier,
 127             count(circ.id)
 128       FROM  action.circulation circ
 129             JOIN asset.copy cp ON (circ.target_copy = cp.id)
 130       WHERE circ.checkin_time IS NULL
 131             AND ( circ.stop_fines IN ('LOST','LONGOVERDUE','CLAIMSRETURNED') OR circ.stop_fines IS NULL )
 132       GROUP BY 1,2;
 133
 134
 135 -------------------------------------------------------------------
 136 /* reporting functions for new (and fixed) transforms            */
 137 -------------------------------------------------------------------
 138
 139 CREATE OR REPLACE FUNCTION public.first_word ( TEXT ) RETURNS TEXT AS $$
 140         SELECT SUBSTRING( $1 FROM $_$^\S+$_$);
 141 $$ LANGUAGE SQL;
 142
 143 CREATE OR REPLACE FUNCTION public.first5 ( TEXT ) RETURNS TEXT AS $$
 144        SELECT SUBSTRING( $1, 1, 5);
 145 $$ LANGUAGE SQL;
 146
 147 CREATE OR REPLACE FUNCTION public.call_number_dewey( TEXT ) RETURNS TEXT AS $$
 148         my $txt = shift;
 149         $txt =~ s/^\s+//o;
 150         $txt =~ s/[\[\]\{\}\(\)`'"#<>\*\?\-\+\$\\]+//o; #' To help vim in SQL mode
 151         $txt =~ s/\s+$//o;
 152         if ($txt =~ /(\d{3}(?:\.\d+)?)/o) {
 153                 return $1;
 154         } else {
 155                 return (split /\s+/, $txt)[0];
 156         }
 157 $$ LANGUAGE 'plperlu' STRICT IMMUTABLE;
 158
 159 COMMIT;
 160
 161 DROP SCHEMA IF EXISTS search CASCADE;
 162 BEGIN;
 163
 164 -------------------------------------------------------------------
 165 /* staged search -- also applied by 300.schema.staged_search.sql */
 166 -------------------------------------------------------------------
 167
 168 CREATE SCHEMA search;
 169
 170 CREATE TABLE search.relevance_adjustment (
 171     id          SERIAL  PRIMARY KEY,
 172     active      BOOL    NOT NULL DEFAULT TRUE,
 173     field       INT     NOT NULL REFERENCES config.metabib_field (id) DEFERRABLE INITIALLY DEFERRED,
 174     bump_type   TEXT    NOT NULL CHECK (bump_type IN ('word_order','first_word','full_match')),
 175     multiplier  NUMERIC NOT NULL DEFAULT 1.0
 176 );
 177 CREATE UNIQUE INDEX bump_once_per_field_idx ON search.relevance_adjustment ( field, bump_type );
 178
 179 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(1, 'first_word', 1.5);
 180 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(1, 'full_match', 20);
 181 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(2, 'first_word', 1.5);
 182 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(2, 'word_order', 10);
 183 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(2, 'full_match', 20);
 184 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(3, 'first_word', 1.5);
 185 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(3, 'word_order', 10);
 186 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(3, 'full_match', 20);
 187 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(4, 'first_word', 1.5);
 188 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(4, 'word_order', 10);
 189 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(4, 'full_match', 20);
 190 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(5, 'first_word', 1.5);
 191 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(5, 'word_order', 10);
 192 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(5, 'full_match', 20);
 193 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(6, 'first_word', 1.5);
 194 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(7, 'first_word', 1.5);
 195 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(8, 'first_word', 1.5);
 196 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(9, 'first_word', 1.5);
 197 INSERT INTO search.relevance_adjustment (field, bump_type, multiplier) VALUES(14, 'word_order', 10);
 198
 199 CREATE OR REPLACE FUNCTION search.pick_table (TEXT) RETURNS TEXT AS $$
 200     SELECT  CASE
 201                 WHEN $1 = 'author'  THEN 'metabib.author_field_entry'
 202                 WHEN $1 = 'title'   THEN 'metabib.title_field_entry'
 203                 WHEN $1 = 'subject' THEN 'metabib.subject_field_entry'
 204                 WHEN $1 = 'keyword' THEN 'metabib.keyword_field_entry'
 205                 WHEN $1 = 'series'  THEN 'metabib.series_field_entry'
 206             END;
 207 $$ LANGUAGE SQL;
 208
 209 CREATE TYPE search.search_result AS ( id BIGINT, rel NUMERIC, record INT, total INT, checked INT, visible INT, deleted INT, excluded INT );
 210 CREATE TYPE search.search_args AS ( id INT, field_class TEXT, field_name TEXT, table_alias TEXT, term TEXT, term_type TEXT );
 211
 212 CREATE OR REPLACE FUNCTION search.staged_fts (
 213
 214     param_search_ou INT,
 215     param_depth     INT,
 216     param_searches  TEXT, -- JSON hash, to be turned into a resultset via search.parse_search_args
 217     param_statuses  INT[],
 218     param_audience  TEXT[],
 219     param_language  TEXT[],
 220     param_lit_form  TEXT[],
 221     param_types     TEXT[],
 222     param_forms     TEXT[],
 223     param_vformats  TEXT[],
 224     param_pref_lang TEXT,
 225     param_pref_lang_multiplier REAL,
 226     param_sort      TEXT,
 227     param_sort_desc BOOL,
 228     metarecord      BOOL,
 229     staff           BOOL,
 230     param_rel_limit INT,
 231     param_chk_limit INT,
 232     param_skip_chk  INT
 233
 234 ) RETURNS SETOF search.search_result AS $func$
 235 DECLARE
 236
 237     current_res         search.search_result%ROWTYPE;
 238     query_part          search.search_args%ROWTYPE;
 239     phrase_query_part   search.search_args%ROWTYPE;
 240     rank_adjust_id      INT;
 241     core_rel_limit      INT;
 242     core_chk_limit      INT;
 243     core_skip_chk       INT;
 244     rank_adjust         search.relevance_adjustment%ROWTYPE;
 245     query_table         TEXT;
 246     tmp_text            TEXT;
 247     tmp_int             INT;
 248     current_rank        TEXT;
 249     ranks               TEXT[] := '{}';
 250     query_table_alias   TEXT;
 251     from_alias_array    TEXT[] := '{}';
 252     used_ranks          TEXT[] := '{}';
 253     mb_field            INT;
 254     mb_field_list       INT[];
 255     search_org_list     INT[];
 256     select_clause       TEXT := 'SELECT';
 257     from_clause         TEXT := ' FROM  metabib.metarecord_source_map m JOIN metabib.rec_descriptor mrd ON (m.source = mrd.record) ';
 258     where_clause        TEXT := ' WHERE 1=1 ';
 259     mrd_used            BOOL := FALSE;
 260     sort_desc           BOOL := FALSE;
 261
 262     core_result         RECORD;
 263     core_cursor         REFCURSOR;
 264     core_rel_query      TEXT;
 265     vis_limit_query     TEXT;
 266     inner_where_clause  TEXT;
 267
 268     total_count         INT := 0;
 269     check_count         INT := 0;
 270     deleted_count       INT := 0;
 271     visible_count       INT := 0;
 272     excluded_count      INT := 0;
 273
 274 BEGIN
 275
 276     core_rel_limit := COALESCE( param_rel_limit, 25000 );
 277     core_chk_limit := COALESCE( param_chk_limit, 1000 );
 278     core_skip_chk := COALESCE( param_skip_chk, 1 );
 279
 280     IF metarecord THEN
 281         select_clause := select_clause || ' m.metarecord as id, array_accum(distinct m.source) as records,';
 282     ELSE
 283         select_clause := select_clause || ' m.source as id, array_accum(distinct m.source) as records,';
 284     END IF;
 285
 286     -- first we need to construct the base query
 287     FOR query_part IN SELECT * FROM search.parse_search_args(param_searches) WHERE term_type = 'fts_query' LOOP
 288
 289         inner_where_clause := 'index_vector @@ ' || query_part.term;
 290
 291         IF query_part.field_name IS NOT NULL THEN
 292
 293            SELECT  id INTO mb_field
 294              FROM  config.metabib_field
 295              WHERE field_class = query_part.field_class
 296                    AND name = query_part.field_name;
 297
 298             IF FOUND THEN
 299                 inner_where_clause := inner_where_clause ||
 300                     ' AND ' || 'field = ' || mb_field;
 301             END IF;
 302
 303         END IF;
 304
 305         -- moving on to the rank ...
 306         SELECT  * INTO query_part
 307           FROM  search.parse_search_args(param_searches)
 308           WHERE term_type = 'fts_rank'
 309                 AND table_alias = query_part.table_alias;
 310
 311         current_rank := query_part.term || ' * ' || query_part.table_alias || '_weight.weight';
 312
 313         IF query_part.field_name IS NOT NULL THEN
 314
 315            SELECT  array_accum(distinct id) INTO mb_field_list
 316              FROM  config.metabib_field
 317              WHERE field_class = query_part.field_class
 318                    AND name = query_part.field_name;
 319
 320         ELSE
 321
 322            SELECT  array_accum(distinct id) INTO mb_field_list
 323              FROM  config.metabib_field
 324              WHERE field_class = query_part.field_class;
 325
 326         END IF;
 327
 328         FOR rank_adjust IN SELECT * FROM search.relevance_adjustment WHERE active AND field IN ( SELECT * FROM search.explode_array( mb_field_list ) ) LOOP
 329
 330             IF NOT rank_adjust.bump_type = ANY (used_ranks) THEN
 331
 332                 IF rank_adjust.bump_type = 'first_word' THEN
 333                     SELECT  term INTO tmp_text
 334                       FROM  search.parse_search_args(param_searches)
 335                       WHERE table_alias = query_part.table_alias AND term_type = 'word'
 336                       ORDER BY id
 337                       LIMIT 1;
 338
 339                     tmp_text := query_part.table_alias || '.value ILIKE ' || quote_literal( tmp_text || '%' );
 340
 341                 ELSIF rank_adjust.bump_type = 'word_order' THEN
 342                     SELECT  array_to_string( array_accum( term ), '%' ) INTO tmp_text
 343                       FROM  search.parse_search_args(param_searches)
 344                       WHERE table_alias = query_part.table_alias AND term_type = 'word';
 345
 346                     tmp_text := query_part.table_alias || '.value ILIKE ' || quote_literal( '%' || tmp_text || '%' );
 347
 348                 ELSIF rank_adjust.bump_type = 'full_match' THEN
 349                     SELECT  array_to_string( array_accum( term ), E'\\s+' ) INTO tmp_text
 350                       FROM  search.parse_search_args(param_searches)
 351                       WHERE table_alias = query_part.table_alias AND term_type = 'word';
 352
 353                     tmp_text := query_part.table_alias || '.value  ~ ' || quote_literal( '^' || tmp_text || E'\\W*$' );
 354
 355                 END IF;
 356
 357                 current_rank := current_rank || ' * ( CASE WHEN ' || tmp_text ||
 358                     ' THEN ' || rank_adjust.multiplier || '::REAL ELSE 1.0 END )';
 359
 360                 used_ranks := array_append( used_ranks, rank_adjust.bump_type );
 361
 362             END IF;
 363
 364         END LOOP;
 365
 366         ranks := array_append( ranks, current_rank );
 367         used_ranks := '{}';
 368
 369         FOR phrase_query_part IN
 370             SELECT  *
 371               FROM  search.parse_search_args(param_searches)
 372               WHERE term_type = 'phrase'
 373                     AND table_alias = query_part.table_alias LOOP
 374
 375             tmp_text := replace( phrase_query_part.term, '*', E'\\*' );
 376             tmp_text := replace( tmp_text, '?', E'\\?' );
 377             tmp_text := replace( tmp_text, '+', E'\\+' );
 378             tmp_text := replace( tmp_text, '|', E'\\|' );
 379             tmp_text := replace( tmp_text, '(', E'\\(' );
 380             tmp_text := replace( tmp_text, ')', E'\\)' );
 381             tmp_text := replace( tmp_text, '[', E'\\[' );
 382             tmp_text := replace( tmp_text, ']', E'\\]' );
 383
 384             inner_where_clause := inner_where_clause || ' AND ' || 'value  ~* ' || quote_literal( E'(^|\\W+)' || regexp_replace(tmp_text, E'\\s+',E'\\\\s+','g') || E'(\\W+|\$)' );
 385
 386         END LOOP;
 387
 388         query_table := search.pick_table(query_part.field_class);
 389
 390         from_clause := from_clause ||
 391             ' JOIN ( SELECT * FROM ' || query_table || ' WHERE ' || inner_where_clause ||
 392                     CASE WHEN core_rel_limit > 0 THEN ' LIMIT ' || core_rel_limit::TEXT ELSE '' END || ' ) AS ' || query_part.table_alias ||
 393                 ' ON ( m.source = ' || query_part.table_alias || '.source )' ||
 394             ' JOIN config.metabib_field AS ' || query_part.table_alias || '_weight' ||
 395                 ' ON ( ' || query_part.table_alias || '.field = ' || query_part.table_alias || '_weight.id  AND  ' || query_part.table_alias || '_weight.search_field)';
 396
 397         from_alias_array := array_append(from_alias_array, query_part.table_alias);
 398
 399     END LOOP;
 400
 401     IF param_pref_lang IS NOT NULL AND param_pref_lang_multiplier IS NOT NULL THEN
 402         current_rank := ' CASE WHEN mrd.item_lang = ' || quote_literal( param_pref_lang ) ||
 403             ' THEN ' || param_pref_lang_multiplier || '::REAL ELSE 1.0 END ';
 404
 405         --ranks := array_append( ranks, current_rank );
 406     END IF;
 407
 408     current_rank := ' AVG( ( (' || array_to_string( ranks, ') + (' ) || ') ) * ' || current_rank || ' ) ';
 409     select_clause := select_clause || current_rank || ' AS rel,';
 410
 411     sort_desc = param_sort_desc;
 412
 413     IF param_sort = 'pubdate' THEN
 414
 415         tmp_text := '999999';
 416         IF param_sort_desc THEN tmp_text := '0'; END IF;
 417
 418         current_rank := $$
 419             ( COALESCE( FIRST ((
 420                 SELECT  SUBSTRING(frp.value FROM E'\\d{4}')
 421                   FROM  metabib.full_rec frp
 422                   WHERE frp.record = m.source
 423                     AND frp.tag = '260'
 424                     AND frp.subfield = 'c'
 425                   LIMIT 1
 426             )), $$ || quote_literal(tmp_text) || $$ )::INT )
 427         $$;
 428
 429     ELSIF param_sort = 'title' THEN
 430
 431         tmp_text := 'zzzzzz';
 432         IF param_sort_desc THEN tmp_text := '    '; END IF;
 433
 434         current_rank := $$
 435             ( COALESCE( FIRST ((
 436                 SELECT  LTRIM(SUBSTR( frt.value, COALESCE(SUBSTRING(frt.ind2 FROM E'\\d+'),'0')::INT + 1 ))
 437                   FROM  metabib.full_rec frt
 438                   WHERE frt.record = m.source
 439                     AND frt.tag = '245'
 440                     AND frt.subfield = 'a'
 441                   LIMIT 1
 442             )),$$ || quote_literal(tmp_text) || $$))
 443         $$;
 444
 445     ELSIF param_sort = 'author' THEN
 446
 447         tmp_text := 'zzzzzz';
 448         IF param_sort_desc THEN tmp_text := '    '; END IF;
 449
 450         current_rank := $$
 451             ( COALESCE( FIRST ((
 452                 SELECT  LTRIM(fra.value)
 453                   FROM  metabib.full_rec fra
 454                   WHERE fra.record = m.source
 455                     AND fra.tag LIKE '1%'
 456                     AND fra.subfield = 'a'
 457                   ORDER BY fra.tag::text::int
 458                   LIMIT 1
 459             )),$$ || quote_literal(tmp_text) || $$))
 460         $$;
 461
 462     ELSIF param_sort = 'create_date' THEN
 463             current_rank := $$( FIRST (( SELECT create_date FROM biblio.record_entry rbr WHERE rbr.id = m.source)) )$$;
 464     ELSIF param_sort = 'edit_date' THEN
 465             current_rank := $$( FIRST (( SELECT edit_date FROM biblio.record_entry rbr WHERE rbr.id = m.source)) )$$;
 466     ELSE
 467         sort_desc := NOT COALESCE(param_sort_desc, FALSE);
 468     END IF;
 469
 470     select_clause := select_clause || current_rank || ' AS rank';
 471
 472     -- now add the other qualifiers
 473     IF param_audience IS NOT NULL AND array_upper(param_audience, 1) > 0 THEN
 474         where_clause = where_clause || $$ AND mrd.audience IN ('$$ || array_to_string(param_audience, $$','$$) || $$') $$;
 475     END IF;
 476
 477     IF param_language IS NOT NULL AND array_upper(param_language, 1) > 0 THEN
 478         where_clause = where_clause || $$ AND mrd.item_lang IN ('$$ || array_to_string(param_language, $$','$$) || $$') $$;
 479     END IF;
 480
 481     IF param_lit_form IS NOT NULL AND array_upper(param_lit_form, 1) > 0 THEN
 482         where_clause = where_clause || $$ AND mrd.lit_form IN ('$$ || array_to_string(param_lit_form, $$','$$) || $$') $$;
 483     END IF;
 484
 485     IF param_types IS NOT NULL AND array_upper(param_types, 1) > 0 THEN
 486         where_clause = where_clause || $$ AND mrd.item_type IN ('$$ || array_to_string(param_types, $$','$$) || $$') $$;
 487     END IF;
 488
 489     IF param_forms IS NOT NULL AND array_upper(param_forms, 1) > 0 THEN
 490         where_clause = where_clause || $$ AND mrd.item_form IN ('$$ || array_to_string(param_forms, $$','$$) || $$') $$;
 491     END IF;
 492
 493     IF param_vformats IS NOT NULL AND array_upper(param_vformats, 1) > 0 THEN
 494         where_clause = where_clause || $$ AND mrd.vr_format IN ('$$ || array_to_string(param_vformats, $$','$$) || $$') $$;
 495     END IF;
 496
 497     core_rel_query := select_clause || from_clause || where_clause ||
 498                         ' GROUP BY 1 ORDER BY 4' || CASE WHEN sort_desc THEN ' DESC' ELSE ' ASC' END || ';';
 499     --RAISE NOTICE 'Base Query:  %', core_rel_query;
 500
 501     IF param_depth IS NOT NULL THEN
 502         SELECT array_accum(distinct id) INTO search_org_list FROM actor.org_unit_descendants( param_search_ou, param_depth );
 503     ELSE
 504         SELECT array_accum(distinct id) INTO search_org_list FROM actor.org_unit_descendants( param_search_ou );
 505     END IF;
 506
 507     OPEN core_cursor FOR EXECUTE core_rel_query;
 508
 509     LOOP
 510
 511         FETCH core_cursor INTO core_result;
 512         EXIT WHEN NOT FOUND;
 513
 514         IF total_count % 1000 = 0 THEN
 515             -- RAISE NOTICE ' % total, % checked so far ... ', total_count, check_count;
 516         END IF;
 517
 518         IF core_chk_limit > 0 AND total_count - core_skip_chk + 1 >= core_chk_limit THEN
 519             total_count := total_count + 1;
 520             CONTINUE;
 521         END IF;
 522
 523         total_count := total_count + 1;
 524
 525         CONTINUE WHEN param_skip_chk IS NOT NULL and total_count < param_skip_chk;
 526
 527         check_count := check_count + 1;
 528
 529         PERFORM 1 FROM biblio.record_entry b WHERE NOT b.deleted AND b.id IN ( SELECT * FROM search.explode_array( core_result.records ) );
 530         IF NOT FOUND THEN
 531             -- RAISE NOTICE ' % were all deleted ... ', core_result.records;
 532             deleted_count := deleted_count + 1;
 533             CONTINUE;
 534         END IF;
 535
 536         PERFORM 1
 537           FROM  biblio.record_entry b
 538                 JOIN config.bib_source s ON (b.source = s.id)
 539           WHERE s.transcendant
 540                 AND b.id IN ( SELECT * FROM search.explode_array( core_result.records ) );
 541
 542         IF FOUND THEN
 543             -- RAISE NOTICE ' % were all transcendant ... ', core_result.records;
 544             visible_count := visible_count + 1;
 545
 546             current_res.id = core_result.id;
 547             current_res.rel = core_result.rel;
 548
 549             tmp_int := 1;
 550             IF metarecord THEN
 551                 SELECT COUNT(DISTINCT s.source) INTO tmp_int FROM metabib.metarecord_source_map s WHERE s.metarecord = core_result.id;
 552             END IF;
 553
 554             IF tmp_int = 1 THEN
 555                 current_res.record = core_result.records[1];
 556             ELSE
 557                 current_res.record = NULL;
 558             END IF;
 559
 560             RETURN NEXT current_res;
 561
 562             CONTINUE;
 563         END IF;
 564
 565         IF param_statuses IS NOT NULL AND array_upper(param_statuses, 1) > 0 THEN
 566
 567             PERFORM 1
 568               FROM  asset.call_number cn
 569                     JOIN asset.copy cp ON (cp.call_number = cn.id)
 570               WHERE NOT cn.deleted
 571                     AND NOT cp.deleted
 572                     AND cp.status IN ( SELECT * FROM search.explode_array( param_statuses ) )
 573                     AND cn.record IN ( SELECT * FROM search.explode_array( core_result.records ) )
 574                     AND cp.circ_lib IN ( SELECT * FROM search.explode_array( search_org_list ) )
 575               LIMIT 1;
 576
 577             IF NOT FOUND THEN
 578                 -- RAISE NOTICE ' % were all status-excluded ... ', core_result.records;
 579                 excluded_count := excluded_count + 1;
 580                 CONTINUE;
 581             END IF;
 582
 583         END IF;
 584
 585         IF staff IS NULL OR NOT staff THEN
 586
 587             PERFORM 1
 588               FROM  asset.call_number cn
 589                     JOIN asset.copy cp ON (cp.call_number = cn.id)
 590                     JOIN actor.org_unit a ON (cp.circ_lib = a.id)
 591                     JOIN asset.copy_location cl ON (cp.location = cl.id)
 592                     JOIN config.copy_status cs ON (cp.status = cs.id)
 593               WHERE NOT cn.deleted
 594                     AND NOT cp.deleted
 595                     AND cs.holdable
 596                     AND cl.opac_visible
 597                     AND cp.opac_visible
 598                     AND a.opac_visible
 599                     AND cp.circ_lib IN ( SELECT * FROM search.explode_array( search_org_list ) )
 600                     AND cn.record IN ( SELECT * FROM search.explode_array( core_result.records ) )
 601               LIMIT 1;
 602
 603             IF NOT FOUND THEN
 604                 -- RAISE NOTICE ' % were all visibility-excluded ... ', core_result.records;
 605                 excluded_count := excluded_count + 1;
 606                 CONTINUE;
 607             END IF;
 608
 609         ELSE
 610
 611             PERFORM 1
 612               FROM  asset.call_number cn
 613                     JOIN asset.copy cp ON (cp.call_number = cn.id)
 614                     JOIN actor.org_unit a ON (cp.circ_lib = a.id)
 615                     JOIN asset.copy_location cl ON (cp.location = cl.id)
 616                     JOIN config.copy_status cs ON (cp.status = cs.id)
 617               WHERE NOT cn.deleted
 618                     AND NOT cp.deleted
 619                     AND cp.circ_lib IN ( SELECT * FROM search.explode_array( search_org_list ) )
 620                     AND cn.record IN ( SELECT * FROM search.explode_array( core_result.records ) )
 621               LIMIT 1;
 622
 623             IF NOT FOUND THEN
 624
 625                 PERFORM 1
 626                   FROM  asset.call_number cn
 627                   WHERE cn.record IN ( SELECT * FROM search.explode_array( core_result.records ) )
 628                   LIMIT 1;
 629
 630                 IF FOUND THEN
 631                     -- RAISE NOTICE ' % were all visibility-excluded ... ', core_result.records;
 632                     excluded_count := excluded_count + 1;
 633                     CONTINUE;
 634                 END IF;
 635
 636             END IF;
 637
 638         END IF;
 639
 640         visible_count := visible_count + 1;
 641
 642         current_res.id = core_result.id;
 643         current_res.rel = core_result.rel;
 644
 645         tmp_int := 1;
 646         IF metarecord THEN
 647             SELECT COUNT(DISTINCT s.source) INTO tmp_int FROM metabib.metarecord_source_map s WHERE s.metarecord = core_result.id;
 648         END IF;
 649
 650         IF tmp_int = 1 THEN
 651             current_res.record = core_result.records[1];
 652         ELSE
 653             current_res.record = NULL;
 654         END IF;
 655
 656         RETURN NEXT current_res;
 657
 658         IF visible_count % 1000 = 0 THEN
 659             -- RAISE NOTICE ' % visible so far ... ', visible_count;
 660         END IF;
 661
 662     END LOOP;
 663
 664     current_res.id = NULL;
 665     current_res.rel = NULL;
 666     current_res.record = NULL;
 667     current_res.total = total_count;
 668     current_res.checked = check_count;
 669     current_res.deleted = deleted_count;
 670     current_res.visible = visible_count;
 671     current_res.excluded = excluded_count;
 672
 673     CLOSE core_cursor;
 674
 675     RETURN NEXT current_res;
 676
 677 END;
 678 $func$ LANGUAGE PLPGSQL;
 679
 680 CREATE OR REPLACE FUNCTION search.explode_array(anyarray) RETURNS SETOF anyelement AS $BODY$
 681     SELECT ($1)[s] FROM generate_series(1, array_upper($1, 1)) AS s;
 682 $BODY$
 683 LANGUAGE 'sql' IMMUTABLE;
 684
 685 CREATE OR REPLACE FUNCTION search.parse_search_args (TEXT) RETURNS SETOF search.search_args AS $perlcode$
 686     use JSON::XS;
 687     my $json = shift;
 688
 689     my $args = decode_json( $json );
 690
 691     my $id = 1;
 692
 693     for my $k ( keys %$args ) {
 694         (my $alias = $k) =~ s/\|/_/gso;
 695         my ($class, $field) = split /\|/, $k;
 696         my $part = $args->{$k};
 697         for my $p ( keys %$part ) {
 698             my $data = $part->{$p};
 699             $data = [$data] if (!ref($data));
 700             for my $datum ( @$data ) {
 701                 return_next(
 702                     {   field_class => $class,
 703                         field_name  => $field,
 704                         term        => $datum,
 705                         table_alias => $alias,
 706                         term_type   => $p,
 707                         id          => $id,
 708                     }
 709                 );
 710                 $id++;
 711             }
 712         }
 713     }
 714
 715     return undef;
 716
 717 $perlcode$ LANGUAGE PLPERLU;
 718
 719 COMMIT;