Open-ILS/src/sql/Pg/300.schema.staged_search.sql

   1 /*
   2  * Copyright (C) 2007-2008  Equinox Software, Inc.
   3  * Mike Rylander <miker@esilibrary.com>
   4  *
   5  * This program is free software; you can redistribute it and/or
   6  * modify it under the terms of the GNU General Public License
   7  * as published by the Free Software Foundation; either version 2
   8  * of the License, or (at your option) any later version.
   9  *
  10  * This program is distributed in the hope that it will be useful,
  11  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  13  * GNU General Public License for more details.
  14  *
  15  */
  16
  17
  18 DROP SCHEMA search CASCADE;
  19
  20 BEGIN;
  21
  22 CREATE SCHEMA search;
  23
  24 CREATE TABLE search.relevance_adjustment (
  25     id          SERIAL  PRIMARY KEY,
  26     active      BOOL    NOT NULL DEFAULT TRUE,
  27     field       INT     NOT NULL REFERENCES config.metabib_field (id) DEFERRABLE INITIALLY DEFERRED,
  28     bump_type   TEXT    NOT NULL CHECK (bump_type IN ('word_order','first_word','full_match')),
  29     multiplier  NUMERIC NOT NULL DEFAULT 1.0
  30 );
  31 CREATE UNIQUE INDEX bump_once_per_field_idx ON search.relevance_adjustment ( field, bump_type );
  32
  33 CREATE OR REPLACE FUNCTION search.pick_table (TEXT) RETURNS TEXT AS $$
  34     SELECT  CASE
  35                 WHEN $1 = 'author'  THEN 'metabib.author_field_entry'
  36                 WHEN $1 = 'title'   THEN 'metabib.title_field_entry'
  37                 WHEN $1 = 'subject' THEN 'metabib.subject_field_entry'
  38                 WHEN $1 = 'keyword' THEN 'metabib.keyword_field_entry'
  39                 WHEN $1 = 'series'  THEN 'metabib.series_field_entry'
  40             END;
  41 $$ LANGUAGE SQL;
  42
  43 CREATE TYPE search.search_result AS ( id BIGINT, rel NUMERIC, record INT, total INT, checked INT, visible INT, deleted INT, excluded INT );
  44 CREATE TYPE search.search_args AS ( id INT, field_class TEXT, field_name TEXT, table_alias TEXT, term TEXT, term_type TEXT );
  45
  46 CREATE OR REPLACE FUNCTION search.staged_fts (
  47
  48     param_search_ou INT,
  49     param_depth     INT,
  50     param_searches  TEXT, -- JSON hash, to be turned into a resultset via search.parse_search_args
  51     param_statuses  INT[],
  52     param_locations INT[],
  53     param_audience  TEXT[],
  54     param_language  TEXT[],
  55     param_lit_form  TEXT[],
  56     param_types     TEXT[],
  57     param_forms     TEXT[],
  58     param_vformats  TEXT[],
  59     param_bib_level TEXT[],
  60     param_before    TEXT,
  61     param_after     TEXT,
  62     param_during    TEXT,
  63     param_between   TEXT[],
  64     param_pref_lang TEXT,
  65     param_pref_lang_multiplier REAL,
  66     param_sort      TEXT,
  67     param_sort_desc BOOL,
  68     metarecord      BOOL,
  69     staff           BOOL,
  70     param_rel_limit INT,
  71     param_chk_limit INT,
  72     param_skip_chk  INT
  73
  74 ) RETURNS SETOF search.search_result AS $func$
  75 DECLARE
  76
  77     current_res         search.search_result%ROWTYPE;
  78     query_part          search.search_args%ROWTYPE;
  79     phrase_query_part   search.search_args%ROWTYPE;
  80     rank_adjust_id      INT;
  81     core_rel_limit      INT;
  82     core_chk_limit      INT;
  83     core_skip_chk       INT;
  84     rank_adjust         search.relevance_adjustment%ROWTYPE;
  85     query_table         TEXT;
  86     tmp_text            TEXT;
  87     tmp_int             INT;
  88     current_rank        TEXT;
  89     ranks               TEXT[] := '{}';
  90     query_table_alias   TEXT;
  91     from_alias_array    TEXT[] := '{}';
  92     used_ranks          TEXT[] := '{}';
  93     mb_field            INT;
  94     mb_field_list       INT[];
  95     search_org_list     INT[];
  96     select_clause       TEXT := 'SELECT';
  97     from_clause         TEXT := ' FROM  metabib.metarecord_source_map m JOIN metabib.rec_descriptor mrd ON (m.source = mrd.record) ';
  98     where_clause        TEXT := ' WHERE 1=1 ';
  99     mrd_used            BOOL := FALSE;
 100     sort_desc           BOOL := FALSE;
 101
 102     core_result         RECORD;
 103     core_cursor         REFCURSOR;
 104     core_rel_query      TEXT;
 105     vis_limit_query     TEXT;
 106     inner_where_clause  TEXT;
 107
 108     total_count         INT := 0;
 109     check_count         INT := 0;
 110     deleted_count       INT := 0;
 111     visible_count       INT := 0;
 112     excluded_count      INT := 0;
 113
 114 BEGIN
 115
 116     core_rel_limit := COALESCE( param_rel_limit, 25000 );
 117     core_chk_limit := COALESCE( param_chk_limit, 1000 );
 118     core_skip_chk := COALESCE( param_skip_chk, 1 );
 119
 120     IF metarecord THEN
 121         select_clause := select_clause || ' m.metarecord as id, array_accum(distinct m.source) as records,';
 122     ELSE
 123         select_clause := select_clause || ' m.source as id, array_accum(distinct m.source) as records,';
 124     END IF;
 125
 126     -- first we need to construct the base query
 127     FOR query_part IN SELECT * FROM search.parse_search_args(param_searches) WHERE term_type = 'fts_query' LOOP
 128
 129         inner_where_clause := 'index_vector @@ ' || query_part.term;
 130
 131         IF query_part.field_name IS NOT NULL THEN
 132
 133            SELECT  id INTO mb_field
 134              FROM  config.metabib_field
 135              WHERE field_class = query_part.field_class
 136                    AND name = query_part.field_name;
 137
 138             IF FOUND THEN
 139                 inner_where_clause := inner_where_clause ||
 140                     ' AND ' || 'field = ' || mb_field;
 141             END IF;
 142
 143         END IF;
 144
 145         -- moving on to the rank ...
 146         SELECT  * INTO query_part
 147           FROM  search.parse_search_args(param_searches)
 148           WHERE term_type = 'fts_rank'
 149                 AND table_alias = query_part.table_alias;
 150
 151         current_rank := query_part.term || ' * ' || query_part.table_alias || '_weight.weight';
 152
 153         IF query_part.field_name IS NOT NULL THEN
 154
 155            SELECT  array_accum(distinct id) INTO mb_field_list
 156              FROM  config.metabib_field
 157              WHERE field_class = query_part.field_class
 158                    AND name = query_part.field_name;
 159
 160         ELSE
 161
 162            SELECT  array_accum(distinct id) INTO mb_field_list
 163              FROM  config.metabib_field
 164              WHERE field_class = query_part.field_class;
 165
 166         END IF;
 167
 168         FOR rank_adjust IN SELECT * FROM search.relevance_adjustment WHERE active AND field IN ( SELECT * FROM search.explode_array( mb_field_list ) ) LOOP
 169
 170             IF NOT rank_adjust.bump_type = ANY (used_ranks) THEN
 171
 172                 IF rank_adjust.bump_type = 'first_word' THEN
 173                     SELECT  term INTO tmp_text
 174                       FROM  search.parse_search_args(param_searches)
 175                       WHERE table_alias = query_part.table_alias AND term_type = 'word'
 176                       ORDER BY id
 177                       LIMIT 1;
 178
 179                     tmp_text := query_part.table_alias || '.value ILIKE ' || quote_literal( tmp_text || '%' );
 180
 181                 ELSIF rank_adjust.bump_type = 'word_order' THEN
 182                     SELECT  array_to_string( array_accum( term ), '%' ) INTO tmp_text
 183                       FROM  search.parse_search_args(param_searches)
 184                       WHERE table_alias = query_part.table_alias AND term_type = 'word';
 185
 186                     tmp_text := query_part.table_alias || '.value ILIKE ' || quote_literal( '%' || tmp_text || '%' );
 187
 188                 ELSIF rank_adjust.bump_type = 'full_match' THEN
 189                     SELECT  array_to_string( array_accum( term ), E'\\s+' ) INTO tmp_text
 190                       FROM  search.parse_search_args(param_searches)
 191                       WHERE table_alias = query_part.table_alias AND term_type = 'word';
 192
 193                     tmp_text := query_part.table_alias || '.value  ~ ' || quote_literal( '^' || tmp_text || E'\\W*$' );
 194
 195                 END IF;
 196
 197
 198                 IF tmp_text IS NOT NULL THEN
 199                     current_rank := current_rank || ' * ( CASE WHEN ' || tmp_text ||
 200                         ' THEN ' || rank_adjust.multiplier || '::REAL ELSE 1.0 END )';
 201                 END IF;
 202
 203                 used_ranks := array_append( used_ranks, rank_adjust.bump_type );
 204
 205             END IF;
 206
 207         END LOOP;
 208
 209         ranks := array_append( ranks, current_rank );
 210         used_ranks := '{}';
 211
 212         FOR phrase_query_part IN
 213             SELECT  *
 214               FROM  search.parse_search_args(param_searches)
 215               WHERE term_type = 'phrase'
 216                     AND table_alias = query_part.table_alias LOOP
 217
 218             tmp_text := replace( phrase_query_part.term, '*', E'\\*' );
 219             tmp_text := replace( tmp_text, '?', E'\\?' );
 220             tmp_text := replace( tmp_text, '+', E'\\+' );
 221             tmp_text := replace( tmp_text, '|', E'\\|' );
 222             tmp_text := replace( tmp_text, '(', E'\\(' );
 223             tmp_text := replace( tmp_text, ')', E'\\)' );
 224             tmp_text := replace( tmp_text, '[', E'\\[' );
 225             tmp_text := replace( tmp_text, ']', E'\\]' );
 226
 227             inner_where_clause := inner_where_clause || ' AND ' || 'value  ~* ' || quote_literal( E'(^|\\W+)' || regexp_replace(tmp_text, E'\\s+',E'\\\\s+','g') || E'(\\W+|\$)' );
 228
 229         END LOOP;
 230
 231         query_table := search.pick_table(query_part.field_class);
 232
 233         from_clause := from_clause ||
 234             ' JOIN ( SELECT * FROM ' || query_table || ' WHERE ' || inner_where_clause ||
 235                     CASE WHEN core_rel_limit > 0 THEN ' LIMIT ' || core_rel_limit::TEXT ELSE '' END || ' ) AS ' || query_part.table_alias ||
 236                 ' ON ( m.source = ' || query_part.table_alias || '.source )' ||
 237             ' JOIN config.metabib_field AS ' || query_part.table_alias || '_weight' ||
 238                 ' ON ( ' || query_part.table_alias || '.field = ' || query_part.table_alias || '_weight.id  AND  ' || query_part.table_alias || '_weight.search_field)';
 239
 240         from_alias_array := array_append(from_alias_array, query_part.table_alias);
 241
 242     END LOOP;
 243
 244     IF param_pref_lang IS NOT NULL AND param_pref_lang_multiplier IS NOT NULL THEN
 245         current_rank := ' CASE WHEN mrd.item_lang = ' || quote_literal( param_pref_lang ) ||
 246             ' THEN ' || param_pref_lang_multiplier || '::REAL ELSE 1.0 END ';
 247
 248         -- ranks := array_append( ranks, current_rank );
 249     END IF;
 250
 251     current_rank := ' AVG( ( (' || array_to_string( ranks, ') + (' ) || ') ) * ' || current_rank || ' ) ';
 252     select_clause := select_clause || current_rank || ' AS rel,';
 253
 254     sort_desc = param_sort_desc;
 255
 256     IF param_sort = 'pubdate' THEN
 257
 258         tmp_text := '999999';
 259         IF param_sort_desc THEN tmp_text := '0'; END IF;
 260
 261         current_rank := $$ COALESCE( FIRST(NULLIF(REGEXP_REPLACE(mrd.date1, E'\\D+', '9', 'g'),'')), $$ || quote_literal(tmp_text) || $$ )::INT $$;
 262
 263     ELSIF param_sort = 'title' THEN
 264
 265         tmp_text := 'zzzzzz';
 266         IF param_sort_desc THEN tmp_text := '    '; END IF;
 267
 268         current_rank := $$
 269             ( COALESCE( FIRST ((
 270                 SELECT  LTRIM(SUBSTR( frt.value, COALESCE(SUBSTRING(frt.ind2 FROM E'\\d+'),'0')::INT + 1 ))
 271                   FROM  metabib.full_rec frt
 272                   WHERE frt.record = m.source
 273                     AND frt.tag = '245'
 274                     AND frt.subfield = 'a'
 275                   LIMIT 1
 276             )),$$ || quote_literal(tmp_text) || $$))
 277         $$;
 278
 279     ELSIF param_sort = 'author' THEN
 280
 281         tmp_text := 'zzzzzz';
 282         IF param_sort_desc THEN tmp_text := '    '; END IF;
 283
 284         current_rank := $$
 285             ( COALESCE( FIRST ((
 286                 SELECT  LTRIM(fra.value)
 287                   FROM  metabib.full_rec fra
 288                   WHERE fra.record = m.source
 289                     AND fra.tag LIKE '1%'
 290                     AND fra.subfield = 'a'
 291                   ORDER BY fra.tag::text::int
 292                   LIMIT 1
 293             )),$$ || quote_literal(tmp_text) || $$))
 294         $$;
 295
 296     ELSIF param_sort = 'create_date' THEN
 297             current_rank := $$( FIRST (( SELECT create_date FROM biblio.record_entry rbr WHERE rbr.id = m.source)) )$$;
 298     ELSIF param_sort = 'edit_date' THEN
 299             current_rank := $$( FIRST (( SELECT edit_date FROM biblio.record_entry rbr WHERE rbr.id = m.source)) )$$;
 300     ELSE
 301         sort_desc := NOT COALESCE(param_sort_desc, FALSE);
 302     END IF;
 303
 304     select_clause := select_clause || current_rank || ' AS rank, ' ||
 305                         $$ COALESCE( FIRST(NULLIF(REGEXP_REPLACE(mrd.date1, E'\\D+', '0', 'g'),'')), '0' )::INT  AS tie_break $$;
 306
 307     -- now add the other qualifiers
 308     IF param_audience IS NOT NULL AND array_upper(param_audience, 1) > 0 THEN
 309         where_clause = where_clause || $$ AND mrd.audience IN ('$$ || array_to_string(param_audience, $$','$$) || $$') $$;
 310     END IF;
 311
 312     IF param_language IS NOT NULL AND array_upper(param_language, 1) > 0 THEN
 313         where_clause = where_clause || $$ AND mrd.item_lang IN ('$$ || array_to_string(param_language, $$','$$) || $$') $$;
 314     END IF;
 315
 316     IF param_lit_form IS NOT NULL AND array_upper(param_lit_form, 1) > 0 THEN
 317         where_clause = where_clause || $$ AND mrd.lit_form IN ('$$ || array_to_string(param_lit_form, $$','$$) || $$') $$;
 318     END IF;
 319
 320     IF param_types IS NOT NULL AND array_upper(param_types, 1) > 0 THEN
 321         where_clause = where_clause || $$ AND mrd.item_type IN ('$$ || array_to_string(param_types, $$','$$) || $$') $$;
 322     END IF;
 323
 324     IF param_forms IS NOT NULL AND array_upper(param_forms, 1) > 0 THEN
 325         where_clause = where_clause || $$ AND mrd.item_form IN ('$$ || array_to_string(param_forms, $$','$$) || $$') $$;
 326     END IF;
 327
 328     IF param_vformats IS NOT NULL AND array_upper(param_vformats, 1) > 0 THEN
 329         where_clause = where_clause || $$ AND mrd.vr_format IN ('$$ || array_to_string(param_vformats, $$','$$) || $$') $$;
 330     END IF;
 331
 332     IF param_bib_level IS NOT NULL AND array_upper(param_bib_level, 1) > 0 THEN
 333         where_clause = where_clause || $$ AND mrd.bib_level IN ('$$ || array_to_string(param_bib_level, $$','$$) || $$') $$;
 334     END IF;
 335
 336     IF param_before IS NOT NULL AND param_before <> '' THEN
 337         where_clause = where_clause || $$ AND mrd.date1 <= $$ || quote_literal(param_before) || ' ';
 338     END IF;
 339
 340     IF param_after IS NOT NULL AND param_after <> '' THEN
 341         where_clause = where_clause || $$ AND mrd.date1 >= $$ || quote_literal(param_after) || ' ';
 342     END IF;
 343
 344     IF param_during IS NOT NULL AND param_during <> '' THEN
 345         where_clause = where_clause || $$ AND $$ || quote_literal(param_during) || $$ BETWEEN mrd.date1 AND mrd.date2 $$;
 346     END IF;
 347
 348     IF param_between IS NOT NULL AND array_upper(param_between, 1) > 1 THEN
 349         where_clause = where_clause || $$ AND mrd.date1 BETWEEN '$$ || array_to_string(param_between, $$' AND '$$) || $$' $$;
 350     END IF;
 351
 352     core_rel_query := select_clause || from_clause || where_clause ||
 353                         ' GROUP BY 1 ORDER BY 4 ' || CASE WHEN sort_desc THEN 'DESC' ELSE 'ASC' END || ', 5 DESC;';
 354
 355     --RAISE NOTICE 'Base Query:  %', core_rel_query;
 356
 357     IF param_search_ou > 0 THEN
 358         IF param_depth IS NOT NULL THEN
 359             SELECT array_accum(distinct id) INTO search_org_list FROM actor.org_unit_descendants( param_search_ou, param_depth );
 360         ELSE
 361             SELECT array_accum(distinct id) INTO search_org_list FROM actor.org_unit_descendants( param_search_ou );
 362         END IF;
 363     ELSIF param_search_ou < 0 THEN
 364         SELECT array_accum(distinct org_unit) INTO search_org_list FROM actor.org_lasso_map WHERE lasso = -param_search_ou;
 365     ELSIF param_search_ou = 0 THEN
 366         -- reserved for user lassos (ou_buckets/type='lasso') with ID passed in depth ... hack? sure.
 367     END IF;
 368
 369     OPEN core_cursor FOR EXECUTE core_rel_query;
 370
 371     LOOP
 372
 373         FETCH core_cursor INTO core_result;
 374         EXIT WHEN NOT FOUND;
 375
 376
 377         IF total_count % 1000 = 0 THEN
 378             -- RAISE NOTICE ' % total, % checked so far ... ', total_count, check_count;
 379         END IF;
 380
 381         IF core_chk_limit > 0 AND total_count - core_skip_chk + 1 >= core_chk_limit THEN
 382             total_count := total_count + 1;
 383             CONTINUE;
 384         END IF;
 385
 386         total_count := total_count + 1;
 387
 388         CONTINUE WHEN param_skip_chk IS NOT NULL and total_count < param_skip_chk;
 389
 390         check_count := check_count + 1;
 391
 392         PERFORM 1 FROM biblio.record_entry b WHERE NOT b.deleted AND b.id IN ( SELECT * FROM search.explode_array( core_result.records ) );
 393         IF NOT FOUND THEN
 394             -- RAISE NOTICE ' % were all deleted ... ', core_result.records;
 395             deleted_count := deleted_count + 1;
 396             CONTINUE;
 397         END IF;
 398
 399         PERFORM 1
 400           FROM  biblio.record_entry b
 401                 JOIN config.bib_source s ON (b.source = s.id)
 402           WHERE s.transcendant
 403                 AND b.id IN ( SELECT * FROM search.explode_array( core_result.records ) );
 404
 405         IF FOUND THEN
 406             -- RAISE NOTICE ' % were all transcendant ... ', core_result.records;
 407             visible_count := visible_count + 1;
 408
 409             current_res.id = core_result.id;
 410             current_res.rel = core_result.rel;
 411
 412             tmp_int := 1;
 413             IF metarecord THEN
 414                 SELECT COUNT(DISTINCT s.source) INTO tmp_int FROM metabib.metarecord_source_map s WHERE s.metarecord = core_result.id;
 415             END IF;
 416
 417             IF tmp_int = 1 THEN
 418                 current_res.record = core_result.records[1];
 419             ELSE
 420                 current_res.record = NULL;
 421             END IF;
 422
 423             RETURN NEXT current_res;
 424
 425             CONTINUE;
 426         END IF;
 427
 428         PERFORM 1
 429           FROM  asset.call_number cn
 430                 JOIN asset.uri_call_number_map map ON (map.call_number = cn.id)
 431                 JOIN asset.uri uri ON (map.uri = uri.id)
 432           WHERE NOT cn.deleted
 433                 AND cn.label = '##URI##'
 434                 AND uri.active
 435                 AND ( param_locations IS NULL OR array_upper(param_locations, 1) IS NULL )
 436                 AND cn.record IN ( SELECT * FROM search.explode_array( core_result.records ) )
 437                 AND cn.owning_lib IN ( SELECT * FROM search.explode_array( search_org_list ) )
 438           LIMIT 1;
 439
 440         IF FOUND THEN
 441             -- RAISE NOTICE ' % have at least one URI ... ', core_result.records;
 442             visible_count := visible_count + 1;
 443
 444             current_res.id = core_result.id;
 445             current_res.rel = core_result.rel;
 446
 447             tmp_int := 1;
 448             IF metarecord THEN
 449                 SELECT COUNT(DISTINCT s.source) INTO tmp_int FROM metabib.metarecord_source_map s WHERE s.metarecord = core_result.id;
 450             END IF;
 451
 452             IF tmp_int = 1 THEN
 453                 current_res.record = core_result.records[1];
 454             ELSE
 455                 current_res.record = NULL;
 456             END IF;
 457
 458             RETURN NEXT current_res;
 459
 460             CONTINUE;
 461         END IF;
 462
 463         IF param_statuses IS NOT NULL AND array_upper(param_statuses, 1) > 0 THEN
 464
 465             PERFORM 1
 466               FROM  asset.call_number cn
 467                     JOIN asset.copy cp ON (cp.call_number = cn.id)
 468               WHERE NOT cn.deleted
 469                     AND NOT cp.deleted
 470                     AND cp.status IN ( SELECT * FROM search.explode_array( param_statuses ) )
 471                     AND cn.record IN ( SELECT * FROM search.explode_array( core_result.records ) )
 472                     AND cp.circ_lib IN ( SELECT * FROM search.explode_array( search_org_list ) )
 473               LIMIT 1;
 474
 475             IF NOT FOUND THEN
 476                 -- RAISE NOTICE ' % were all status-excluded ... ', core_result.records;
 477                 excluded_count := excluded_count + 1;
 478                 CONTINUE;
 479             END IF;
 480
 481         END IF;
 482
 483         IF param_locations IS NOT NULL AND array_upper(param_locations, 1) > 0 THEN
 484
 485             PERFORM 1
 486               FROM  asset.call_number cn
 487                     JOIN asset.copy cp ON (cp.call_number = cn.id)
 488               WHERE NOT cn.deleted
 489                     AND NOT cp.deleted
 490                     AND cp.location IN ( SELECT * FROM search.explode_array( param_locations ) )
 491                     AND cn.record IN ( SELECT * FROM search.explode_array( core_result.records ) )
 492                     AND cp.circ_lib IN ( SELECT * FROM search.explode_array( search_org_list ) )
 493               LIMIT 1;
 494
 495             IF NOT FOUND THEN
 496                 -- RAISE NOTICE ' % were all copy_location-excluded ... ', core_result.records;
 497                 excluded_count := excluded_count + 1;
 498                 CONTINUE;
 499             END IF;
 500
 501         END IF;
 502
 503         IF staff IS NULL OR NOT staff THEN
 504
 505             PERFORM 1
 506               FROM  asset.call_number cn
 507                     JOIN asset.copy cp ON (cp.call_number = cn.id)
 508                     JOIN actor.org_unit a ON (cp.circ_lib = a.id)
 509                     JOIN asset.copy_location cl ON (cp.location = cl.id)
 510                     JOIN config.copy_status cs ON (cp.status = cs.id)
 511               WHERE NOT cn.deleted
 512                     AND NOT cp.deleted
 513                     AND cs.opac_visible
 514                     AND cl.opac_visible
 515                     AND cp.opac_visible
 516                     AND a.opac_visible
 517                     AND cp.circ_lib IN ( SELECT * FROM search.explode_array( search_org_list ) )
 518                     AND cn.record IN ( SELECT * FROM search.explode_array( core_result.records ) )
 519               LIMIT 1;
 520
 521             IF NOT FOUND THEN
 522                 -- RAISE NOTICE ' % were all visibility-excluded ... ', core_result.records;
 523                 excluded_count := excluded_count + 1;
 524                 CONTINUE;
 525             END IF;
 526
 527         ELSE
 528
 529             PERFORM 1
 530               FROM  asset.call_number cn
 531                     JOIN asset.copy cp ON (cp.call_number = cn.id)
 532                     JOIN actor.org_unit a ON (cp.circ_lib = a.id)
 533                     JOIN asset.copy_location cl ON (cp.location = cl.id)
 534               WHERE NOT cn.deleted
 535                     AND NOT cp.deleted
 536                     AND cp.circ_lib IN ( SELECT * FROM search.explode_array( search_org_list ) )
 537                     AND cn.record IN ( SELECT * FROM search.explode_array( core_result.records ) )
 538               LIMIT 1;
 539
 540             IF NOT FOUND THEN
 541
 542                 PERFORM 1
 543                   FROM  asset.call_number cn
 544                   WHERE cn.record IN ( SELECT * FROM search.explode_array( core_result.records ) )
 545                   LIMIT 1;
 546
 547                 IF FOUND THEN
 548                     -- RAISE NOTICE ' % were all visibility-excluded ... ', core_result.records;
 549                     excluded_count := excluded_count + 1;
 550                     CONTINUE;
 551                 END IF;
 552
 553             END IF;
 554
 555         END IF;
 556
 557         visible_count := visible_count + 1;
 558
 559         current_res.id = core_result.id;
 560         current_res.rel = core_result.rel;
 561
 562         tmp_int := 1;
 563         IF metarecord THEN
 564             SELECT COUNT(DISTINCT s.source) INTO tmp_int FROM metabib.metarecord_source_map s WHERE s.metarecord = core_result.id;
 565         END IF;
 566
 567         IF tmp_int = 1 THEN
 568             current_res.record = core_result.records[1];
 569         ELSE
 570             current_res.record = NULL;
 571         END IF;
 572
 573         RETURN NEXT current_res;
 574
 575         IF visible_count % 1000 = 0 THEN
 576             -- RAISE NOTICE ' % visible so far ... ', visible_count;
 577         END IF;
 578
 579     END LOOP;
 580
 581     current_res.id = NULL;
 582     current_res.rel = NULL;
 583     current_res.record = NULL;
 584     current_res.total = total_count;
 585     current_res.checked = check_count;
 586     current_res.deleted = deleted_count;
 587     current_res.visible = visible_count;
 588     current_res.excluded = excluded_count;
 589
 590     CLOSE core_cursor;
 591
 592     RETURN NEXT current_res;
 593
 594 END;
 595 $func$ LANGUAGE PLPGSQL;
 596
 597
 598 CREATE OR REPLACE FUNCTION search.explode_array(anyarray) RETURNS SETOF anyelement AS $BODY$
 599     SELECT ($1)[s] FROM generate_series(1, array_upper($1, 1)) AS s;
 600 $BODY$
 601 LANGUAGE 'sql' IMMUTABLE;
 602
 603 CREATE OR REPLACE FUNCTION search.parse_search_args (TEXT) RETURNS SETOF search.search_args AS $perlcode$
 604     use JSON::XS;
 605     my $json = shift;
 606
 607     my $args = decode_json( $json );
 608
 609     my $id = 1;
 610
 611     for my $k ( keys %$args ) {
 612         (my $alias = $k) =~ s/\|/_/gso;
 613         my ($class, $field) = split /\|/, $k;
 614         my $part = $args->{$k};
 615         for my $p ( keys %$part ) {
 616             my $data = $part->{$p};
 617             $data = [$data] if (!ref($data));
 618             for my $datum ( @$data ) {
 619                 return_next(
 620                     {   field_class => $class,
 621                         field_name  => $field,
 622                         term        => $datum,
 623                         table_alias => $alias,
 624                         term_type   => $p,
 625                         id          => $id,
 626                     }
 627                 );
 628                 $id++;
 629             }
 630         }
 631     }
 632
 633     return undef;
 634
 635 $perlcode$ LANGUAGE PLPERLU;
 636
 637
 638 COMMIT;
 639