Open-ILS/src/sql/Pg/upgrade/0878.schema.browse-ingest-null-protect.sql

   1 BEGIN;
   2
   3 SELECT evergreen.upgrade_deps_block_check('0878', :eg_version);
   4
   5 CREATE OR REPLACE FUNCTION metabib.reingest_metabib_field_entries( bib_id BIGINT, skip_facet BOOL DEFAULT FALSE, skip_browse BOOL DEFAULT FALSE, skip_search BOOL DEFAULT FALSE ) RETURNS VOID AS $func$
   6 DECLARE
   7     fclass          RECORD;
   8     ind_data        metabib.field_entry_template%ROWTYPE;
   9     mbe_row         metabib.browse_entry%ROWTYPE;
  10     mbe_id          BIGINT;
  11     b_skip_facet    BOOL;
  12     b_skip_browse   BOOL;
  13     b_skip_search   BOOL;
  14     value_prepped   TEXT;
  15 BEGIN
  16
  17     SELECT COALESCE(NULLIF(skip_facet, FALSE), EXISTS (SELECT enabled FROM config.internal_flag WHERE name =  'ingest.skip_facet_indexing' AND enabled)) INTO b_skip_facet;
  18     SELECT COALESCE(NULLIF(skip_browse, FALSE), EXISTS (SELECT enabled FROM config.internal_flag WHERE name =  'ingest.skip_browse_indexing' AND enabled)) INTO b_skip_browse;
  19     SELECT COALESCE(NULLIF(skip_search, FALSE), EXISTS (SELECT enabled FROM config.internal_flag WHERE name =  'ingest.skip_search_indexing' AND enabled)) INTO b_skip_search;
  20
  21     PERFORM * FROM config.internal_flag WHERE name = 'ingest.assume_inserts_only' AND enabled;
  22     IF NOT FOUND THEN
  23         IF NOT b_skip_search THEN
  24             FOR fclass IN SELECT * FROM config.metabib_class LOOP
  25                 -- RAISE NOTICE 'Emptying out %', fclass.name;
  26                 EXECUTE $$DELETE FROM metabib.$$ || fclass.name || $$_field_entry WHERE source = $$ || bib_id;
  27             END LOOP;
  28         END IF;
  29         IF NOT b_skip_facet THEN
  30             DELETE FROM metabib.facet_entry WHERE source = bib_id;
  31         END IF;
  32         IF NOT b_skip_browse THEN
  33             DELETE FROM metabib.browse_entry_def_map WHERE source = bib_id;
  34         END IF;
  35     END IF;
  36
  37     FOR ind_data IN SELECT * FROM biblio.extract_metabib_field_entry( bib_id ) LOOP
  38
  39         -- don't store what has been normalized away
  40         CONTINUE WHEN ind_data.value IS NULL;
  41
  42         IF ind_data.field < 0 THEN
  43             ind_data.field = -1 * ind_data.field;
  44         END IF;
  45
  46         IF ind_data.facet_field AND NOT b_skip_facet THEN
  47             INSERT INTO metabib.facet_entry (field, source, value)
  48                 VALUES (ind_data.field, ind_data.source, ind_data.value);
  49         END IF;
  50
  51         IF ind_data.browse_field AND NOT b_skip_browse THEN
  52             -- A caveat about this SELECT: this should take care of replacing
  53             -- old mbe rows when data changes, but not if normalization (by
  54             -- which I mean specifically the output of
  55             -- evergreen.oils_tsearch2()) changes.  It may or may not be
  56             -- expensive to add a comparison of index_vector to index_vector
  57             -- to the WHERE clause below.
  58
  59             CONTINUE WHEN ind_data.sort_value IS NULL;
  60
  61             value_prepped := metabib.browse_normalize(ind_data.value, ind_data.field);
  62             SELECT INTO mbe_row * FROM metabib.browse_entry
  63                 WHERE value = value_prepped AND sort_value = ind_data.sort_value;
  64
  65             IF FOUND THEN
  66                 mbe_id := mbe_row.id;
  67             ELSE
  68                 INSERT INTO metabib.browse_entry
  69                     ( value, sort_value ) VALUES
  70                     ( value_prepped, ind_data.sort_value );
  71
  72                 mbe_id := CURRVAL('metabib.browse_entry_id_seq'::REGCLASS);
  73             END IF;
  74
  75             INSERT INTO metabib.browse_entry_def_map (entry, def, source, authority)
  76                 VALUES (mbe_id, ind_data.field, ind_data.source, ind_data.authority);
  77         END IF;
  78
  79         IF ind_data.search_field AND NOT b_skip_search THEN
  80             -- Avoid inserting duplicate rows
  81             EXECUTE 'SELECT 1 FROM metabib.' || ind_data.field_class ||
  82                 '_field_entry WHERE field = $1 AND source = $2 AND value = $3'
  83                 INTO mbe_id USING ind_data.field, ind_data.source, ind_data.value;
  84                 -- RAISE NOTICE 'Search for an already matching row returned %', mbe_id;
  85             IF mbe_id IS NULL THEN
  86                 EXECUTE $$
  87                 INSERT INTO metabib.$$ || ind_data.field_class || $$_field_entry (field, source, value)
  88                     VALUES ($$ ||
  89                         quote_literal(ind_data.field) || $$, $$ ||
  90                         quote_literal(ind_data.source) || $$, $$ ||
  91                         quote_literal(ind_data.value) ||
  92                     $$);$$;
  93             END IF;
  94         END IF;
  95
  96     END LOOP;
  97
  98     IF NOT b_skip_search THEN
  99         PERFORM metabib.update_combined_index_vectors(bib_id);
 100     END IF;
 101
 102     RETURN;
 103 END;
 104 $func$ LANGUAGE PLPGSQL;
 105
 106 COMMIT;
 107