Open-ILS/src/sql/Pg/upgrade/0300.schema.bib-ingest-splitting.sql

   1
   2 INSERT INTO config.internal_flag (name) VALUES ('ingest.disable_located_uri');
   3 INSERT INTO config.internal_flag (name) VALUES ('ingest.disable_metabib_full_rec');
   4 INSERT INTO config.internal_flag (name) VALUES ('ingest.disable_metabib_rec_descriptor');
   5 INSERT INTO config.internal_flag (name) VALUES ('ingest.disable_metabib_field_entry');
   6
   7 BEGIN;
   8
   9 -- Splitting the ingest trigger up into little bits
  10
  11 INSERT INTO config.upgrade_log (version) VALUES ('0300'); --miker
  12
  13 CREATE OR REPLACE FUNCTION metabib.reingest_metabib_rec_descriptor( bib_id BIGINT ) RETURNS VOID AS $func$
  14 BEGIN
  15     DELETE FROM metabib.rec_descriptor WHERE record = bib_id;
  16     INSERT INTO metabib.rec_descriptor (record, item_type, item_form, bib_level, control_type, enc_level, audience, lit_form, type_mat, cat_form, pub_status, item_lang, vr_format, date1, date2)
  17         SELECT  bib_id,
  18                 biblio.marc21_extract_fixed_field( bib_id, 'Type' ),
  19                 biblio.marc21_extract_fixed_field( bib_id, 'Form' ),
  20                 biblio.marc21_extract_fixed_field( bib_id, 'BLvl' ),
  21                 biblio.marc21_extract_fixed_field( bib_id, 'Ctrl' ),
  22                 biblio.marc21_extract_fixed_field( bib_id, 'ELvl' ),
  23                 biblio.marc21_extract_fixed_field( bib_id, 'Audn' ),
  24                 biblio.marc21_extract_fixed_field( bib_id, 'LitF' ),
  25                 biblio.marc21_extract_fixed_field( bib_id, 'TMat' ),
  26                 biblio.marc21_extract_fixed_field( bib_id, 'Desc' ),
  27                 biblio.marc21_extract_fixed_field( bib_id, 'DtSt' ),
  28                 biblio.marc21_extract_fixed_field( bib_id, 'Lang' ),
  29                 (   SELECT  v.value
  30                       FROM  biblio.marc21_physical_characteristics( bib_id) p
  31                             JOIN config.marc21_physical_characteristic_subfield_map s ON (s.id = p.subfield)
  32                             JOIN config.marc21_physical_characteristic_value_map v ON (v.id = p.value)
  33                       WHERE p.ptype = 'v' AND s.subfield = 'e'    ),
  34                 biblio.marc21_extract_fixed_field( bib_id, 'Date1'),
  35                 biblio.marc21_extract_fixed_field( bib_id, 'Date2');
  36
  37     RETURN;
  38 END;
  39 $func$ LANGUAGE PLPGSQL;
  40
  41 CREATE OR REPLACE FUNCTION metabib.reingest_metabib_full_rec( bib_id BIGINT ) RETURNS VOID AS $func$
  42 BEGIN
  43     DELETE FROM metabib.real_full_rec WHERE record = bib_id;
  44     INSERT INTO metabib.real_full_rec (record, tag, ind1, ind2, subfield, value)
  45         SELECT record, tag, ind1, ind2, subfield, value FROM biblio.flatten_marc( bib_id );
  46
  47     RETURN;
  48 END;
  49 $func$ LANGUAGE PLPGSQL;
  50
  51 CREATE OR REPLACE FUNCTION metabib.reingest_metabib_field_entries( bib_id BIGINT ) RETURNS VOID AS $func$
  52 DECLARE
  53     fclass          RECORD;
  54     ind_data        metabib.field_entry_template%ROWTYPE;
  55     ind_vector      TSVECTOR;
  56 BEGIN
  57     FOR fclass IN SELECT * FROM config.metabib_class LOOP
  58         -- RAISE NOTICE 'Emptying out %', fclass.name;
  59         EXECUTE $$DELETE FROM metabib.$$ || fclass.name || $$_field_entry WHERE source = $$ || bib_id;
  60     END LOOP;
  61
  62     FOR ind_data IN SELECT * FROM biblio.extract_metabib_field_entry( bib_id ) LOOP
  63         IF ind_data.field < 0 THEN
  64             ind_vector = '';
  65             ind_data.field = -1 * ind_data.field;
  66         ELSE
  67             ind_vector = NULL;
  68         END IF;
  69
  70         EXECUTE $$
  71             INSERT INTO metabib.$$ || ind_data.field_class || $$_field_entry (field, source, value, index_vector)
  72                 VALUES ($$ ||
  73                     quote_literal(ind_data.field) || $$, $$ ||
  74                     quote_literal(ind_data.source) || $$, $$ ||
  75                     quote_literal(ind_data.value) || $$, $$ ||
  76                     COALESCE(quote_literal(ind_vector),'NULL'::TEXT) ||
  77                 $$);$$;
  78     END LOOP;
  79
  80     RETURN;
  81 END;
  82 $func$ LANGUAGE PLPGSQL;
  83
  84 CREATE OR REPLACE FUNCTION biblio.extract_located_uris( bib_id BIGINT, marcxml TEXT, editor_id INT ) RETURNS VOID AS $func$
  85 DECLARE
  86     uris            TEXT[];
  87     uri_xml         TEXT;
  88     uri_label       TEXT;
  89     uri_href        TEXT;
  90     uri_use         TEXT;
  91     uri_owner       TEXT;
  92     uri_owner_id    INT;
  93     uri_id          INT;
  94     uri_cn_id       INT;
  95     uri_map_id      INT;
  96 BEGIN
  97
  98     uris := oils_xpath('//*[@tag="856" and (@ind1="4" or @ind1="1") and (@ind2="0" or @ind2="1")]',marcxml);
  99     IF ARRAY_UPPER(uris,1) > 0 THEN
 100         FOR i IN 1 .. ARRAY_UPPER(uris, 1) LOOP
 101             -- First we pull info out of the 856
 102             uri_xml     := uris[i];
 103
 104             uri_href    := (oils_xpath('//*[@code="u"]/text()',uri_xml))[1];
 105             CONTINUE WHEN uri_href IS NULL;
 106
 107             uri_label   := (oils_xpath('//*[@code="y"]/text()|//*[@code="3"]/text()|//*[@code="u"]/text()',uri_xml))[1];
 108             CONTINUE WHEN uri_label IS NULL;
 109
 110             uri_owner   := (oils_xpath('//*[@code="9"]/text()|//*[@code="w"]/text()|//*[@code="n"]/text()',uri_xml))[1];
 111             CONTINUE WHEN uri_owner IS NULL;
 112
 113             uri_use     := (oils_xpath('//*[@code="z"]/text()|//*[@code="2"]/text()|//*[@code="n"]/text()',uri_xml))[1];
 114
 115             uri_owner := REGEXP_REPLACE(uri_owner, $re$^.*?\((\w+)\).*$$re$, E'\\1');
 116
 117             SELECT id INTO uri_owner_id FROM actor.org_unit WHERE shortname = uri_owner;
 118             CONTINUE WHEN NOT FOUND;
 119
 120             -- now we look for a matching uri
 121             SELECT id INTO uri_id FROM asset.uri WHERE label = uri_label AND href = uri_href AND use_restriction = uri_use AND active;
 122             IF NOT FOUND THEN -- create one
 123                 INSERT INTO asset.uri (label, href, use_restriction) VALUES (uri_label, uri_href, uri_use);
 124                 SELECT id INTO uri_id FROM asset.uri WHERE label = uri_label AND href = uri_href AND use_restriction = uri_use AND active;
 125             END IF;
 126
 127             -- we need a call number to link through
 128             SELECT id INTO uri_cn_id FROM asset.call_number WHERE owning_lib = uri_owner_id AND record = bib_id AND label = '##URI##' AND NOT deleted;
 129             IF NOT FOUND THEN
 130                 INSERT INTO asset.call_number (owning_lib, record, create_date, edit_date, creator, editor, label)
 131                     VALUES (uri_owner_id, bib_id, 'now', 'now', editor_id, editor_id, '##URI##');
 132                 SELECT id INTO uri_cn_id FROM asset.call_number WHERE owning_lib = uri_owner_id AND record = bib_id AND label = '##URI##' AND NOT deleted;
 133             END IF;
 134
 135             -- now, link them if they're not already
 136             SELECT id INTO uri_map_id FROM asset.uri_call_number_map WHERE call_number = uri_cn_id AND uri = uri_id;
 137             IF NOT FOUND THEN
 138                 INSERT INTO asset.uri_call_number_map (call_number, uri) VALUES (uri_cn_id, uri_id);
 139             END IF;
 140
 141         END LOOP;
 142     END IF;
 143
 144     RETURN;
 145 END;
 146 $func$ LANGUAGE PLPGSQL;
 147
 148
 149 CREATE OR REPLACE FUNCTION metabib.remap_metarecord_for_bib( bib_id BIGINT, fp TEXT ) RETURNS BIGINT AS $func$
 150 DECLARE
 151     source_count    INT;
 152     old_mr          BIGINT;
 153     tmp_mr          metabib.metarecord%ROWTYPE;
 154     deleted_mrs     BIGINT[];
 155 BEGIN
 156
 157     DELETE FROM metabib.metarecord_source_map WHERE source = bib_id; -- Rid ourselves of the search-estimate-killing linkage
 158
 159     FOR tmp_mr IN SELECT  m.* FROM  metabib.metarecord m JOIN metabib.metarecord_source_map s ON (s.metarecord = m.id) WHERE s.source = bib_id LOOP
 160
 161         IF old_mr IS NULL AND fp = tmp_mr.fingerprint THEN -- Find the first fingerprint-matching
 162             old_mr := tmp_mr.id;
 163         ELSE
 164             SELECT COUNT(*) INTO source_count FROM metabib.metarecord_source_map WHERE metarecord = tmp_mr.id;
 165             IF source_count = 0 THEN -- No other records
 166                 deleted_mrs := ARRAY_APPEND(deleted_mrs, tmp_mr.id);
 167                 DELETE FROM metabib.metarecord WHERE id = tmp_mr.id;
 168             END IF;
 169         END IF;
 170
 171     END LOOP;
 172
 173     IF old_mr IS NULL THEN -- we found no suitable, preexisting MR based on old source maps
 174         SELECT id INTO old_mr FROM metabib.metarecord WHERE fingerprint = fp; -- is there one for our current fingerprint?
 175         IF old_mr IS NULL THEN -- nope, create one and grab its id
 176             INSERT INTO metabib.metarecord ( fingerprint, master_record ) VALUES ( fp, bib_id );
 177             SELECT id INTO old_mr FROM metabib.metarecord WHERE fingerprint = fp;
 178         ELSE -- indeed there is. update it with a null cache and recalcualated master record
 179             UPDATE  metabib.metarecord
 180               SET   mods = NULL,
 181                     master_record = ( SELECT id FROM biblio.record_entry WHERE fingerprint = fp ORDER BY quality DESC LIMIT 1)
 182               WHERE id = old_mr;
 183         END IF;
 184     ELSE -- there was one we already attached to, update its mods cache and master_record
 185         UPDATE  metabib.metarecord
 186           SET   mods = NULL,
 187                 master_record = ( SELECT id FROM biblio.record_entry WHERE fingerprint = fp ORDER BY quality DESC LIMIT 1)
 188           WHERE id = old_mr;
 189     END IF;
 190
 191     INSERT INTO metabib.metarecord_source_map (metarecord, source) VALUES (old_mr, bib_id); -- new source mapping
 192
 193     IF ARRAY_UPPER(deleted_mrs,1) > 0 THEN
 194         UPDATE action.hold_request SET target = old_mr WHERE target IN ( SELECT explode_array(deleted_mrs) ) AND hold_type = 'M'; -- if we had to delete any MRs above, make sure their holds are moved
 195     END IF;
 196
 197     RETURN old_mr;
 198
 199 END;
 200 $func$ LANGUAGE PLPGSQL;
 201
 202 CREATE OR REPLACE FUNCTION biblio.indexing_ingest_or_delete () RETURNS TRIGGER AS $func$
 203 BEGIN
 204
 205     IF NEW.deleted IS TRUE THEN -- If this bib is deleted
 206         DELETE FROM metabib.metarecord_source_map WHERE source = NEW.id; -- Rid ourselves of the search-estimate-killing linkage
 207         RETURN NEW; -- and we're done
 208     END IF;
 209
 210     IF TG_OP = 'UPDATE' THEN -- re-ingest?
 211         PERFORM * FROM config.internal_flag WHERE name = 'ingest.reingest.force_on_same_marc' AND enabled;
 212
 213         IF NOT FOUND AND OLD.marc = NEW.marc THEN -- don't do anything if the MARC didn't change
 214             RETURN NEW;
 215         END IF;
 216
 217
 218     END IF;
 219
 220     -- Flatten and insert the mfr data
 221     PERFORM * FROM config.internal_flag WHERE name = 'ingest.disable_metabib_full_rec' AND enabled;
 222     IF NOT FOUND THEN
 223         PERFORM metabib.reingest_metabib_full_rec(NEW.id);
 224         PERFORM * FROM config.internal_flag WHERE name = 'ingest.disable_metabib_rec_descriptor' AND enabled;
 225         IF NOT FOUND THEN
 226             PERFORM metabib.reingest_metabib_rec_descriptor(NEW.id);
 227         END IF;
 228     END IF;
 229
 230     -- Gather and insert the field entry data
 231     PERFORM metabib.reingest_metabib_field_entries(NEW.id);
 232
 233     -- Located URI magic
 234     IF TG_OP = 'INSERT' THEN
 235         PERFORM * FROM config.internal_flag WHERE name = 'ingest.disable_located_uri' AND enabled;
 236         IF NOT FOUND THEN
 237             PERFORM biblio.extract_located_uris( NEW.id, NEW.marc, NEW.editor );
 238         END IF;
 239     ELSE
 240         PERFORM * FROM config.internal_flag WHERE name = 'ingest.disable_located_uri' AND enabled;
 241         IF NOT FOUND THEN
 242             PERFORM biblio.extract_located_uris( NEW.id, NEW.marc, NEW.editor );
 243         END IF;
 244     END IF;
 245
 246     -- (re)map metarecord-bib linking
 247     IF TG_OP = 'INSERT' THEN -- if not deleted and performing an insert, check for the flag
 248         PERFORM * FROM config.internal_flag WHERE name = 'ingest.metarecord_mapping.skip_on_insert' AND enabled;
 249         IF NOT FOUND THEN
 250             PERFORM metabib.remap_metarecord_for_bib( NEW.id, NEW.fingerprint );
 251         END IF;
 252     ELSE -- we're doing an update, and we're not deleted, remap
 253         PERFORM metabib.remap_metarecord_for_bib( NEW.id, NEW.fingerprint );
 254     END IF;
 255
 256     RETURN NEW;
 257 END;
 258 $func$ LANGUAGE PLPGSQL;
 259
 260 COMMIT;
 261