]> git.evergreen-ils.org Git - working/Evergreen.git/blob - Open-ILS/src/sql/Pg/upgrade/XXXX.schema.browse-ingest-null-protect.sql
LP#1303940: Protect against bogus data that can breaking indexing
[working/Evergreen.git] / Open-ILS / src / sql / Pg / upgrade / XXXX.schema.browse-ingest-null-protect.sql
1 BEGIN;
2
3 SELECT evergreen.upgrade_deps_block_check('XXXX', :eg_version);
4
5 CREATE OR REPLACE FUNCTION metabib.reingest_metabib_field_entries( bib_id BIGINT, skip_facet BOOL DEFAULT FALSE, skip_browse BOOL DEFAULT FALSE, skip_search BOOL DEFAULT FALSE ) RETURNS VOID AS $func$
6 DECLARE
7     fclass          RECORD;
8     ind_data        metabib.field_entry_template%ROWTYPE;
9     mbe_row         metabib.browse_entry%ROWTYPE;
10     mbe_id          BIGINT;
11     b_skip_facet    BOOL;
12     b_skip_browse   BOOL;
13     b_skip_search   BOOL;
14     value_prepped   TEXT;
15 BEGIN
16
17     SELECT COALESCE(NULLIF(skip_facet, FALSE), EXISTS (SELECT enabled FROM config.internal_flag WHERE name =  'ingest.skip_facet_indexing' AND enabled)) INTO b_skip_facet;
18     SELECT COALESCE(NULLIF(skip_browse, FALSE), EXISTS (SELECT enabled FROM config.internal_flag WHERE name =  'ingest.skip_browse_indexing' AND enabled)) INTO b_skip_browse;
19     SELECT COALESCE(NULLIF(skip_search, FALSE), EXISTS (SELECT enabled FROM config.internal_flag WHERE name =  'ingest.skip_search_indexing' AND enabled)) INTO b_skip_search;
20
21     PERFORM * FROM config.internal_flag WHERE name = 'ingest.assume_inserts_only' AND enabled;
22     IF NOT FOUND THEN
23         IF NOT b_skip_search THEN
24             FOR fclass IN SELECT * FROM config.metabib_class LOOP
25                 -- RAISE NOTICE 'Emptying out %', fclass.name;
26                 EXECUTE $$DELETE FROM metabib.$$ || fclass.name || $$_field_entry WHERE source = $$ || bib_id;
27             END LOOP;
28         END IF;
29         IF NOT b_skip_facet THEN
30             DELETE FROM metabib.facet_entry WHERE source = bib_id;
31         END IF;
32         IF NOT b_skip_browse THEN
33             DELETE FROM metabib.browse_entry_def_map WHERE source = bib_id;
34         END IF;
35     END IF;
36
37     FOR ind_data IN SELECT * FROM biblio.extract_metabib_field_entry( bib_id ) LOOP
38         IF ind_data.field < 0 THEN
39             ind_data.field = -1 * ind_data.field;
40         END IF;
41
42         IF ind_data.facet_field AND NOT b_skip_facet THEN
43             INSERT INTO metabib.facet_entry (field, source, value)
44                 VALUES (ind_data.field, ind_data.source, ind_data.value);
45         END IF;
46
47         IF ind_data.browse_field AND NOT b_skip_browse THEN
48             -- A caveat about this SELECT: this should take care of replacing
49             -- old mbe rows when data changes, but not if normalization (by
50             -- which I mean specifically the output of
51             -- evergreen.oils_tsearch2()) changes.  It may or may not be
52             -- expensive to add a comparison of index_vector to index_vector
53             -- to the WHERE clause below.
54
55             CONTINUE WHEN ind_data.value IS NULL OR ind_data.sort_value IS NULL;
56
57             value_prepped := metabib.browse_normalize(ind_data.value, ind_data.field);
58             SELECT INTO mbe_row * FROM metabib.browse_entry
59                 WHERE value = value_prepped AND sort_value = ind_data.sort_value;
60
61             IF FOUND THEN
62                 mbe_id := mbe_row.id;
63             ELSE
64                 INSERT INTO metabib.browse_entry
65                     ( value, sort_value ) VALUES
66                     ( value_prepped, ind_data.sort_value );
67
68                 mbe_id := CURRVAL('metabib.browse_entry_id_seq'::REGCLASS);
69             END IF;
70
71             INSERT INTO metabib.browse_entry_def_map (entry, def, source, authority)
72                 VALUES (mbe_id, ind_data.field, ind_data.source, ind_data.authority);
73         END IF;
74
75         IF ind_data.search_field AND NOT b_skip_search THEN
76             -- Avoid inserting duplicate rows
77             EXECUTE 'SELECT 1 FROM metabib.' || ind_data.field_class ||
78                 '_field_entry WHERE field = $1 AND source = $2 AND value = $3'
79                 INTO mbe_id USING ind_data.field, ind_data.source, ind_data.value;
80                 -- RAISE NOTICE 'Search for an already matching row returned %', mbe_id;
81             IF mbe_id IS NULL THEN
82                 EXECUTE $$
83                 INSERT INTO metabib.$$ || ind_data.field_class || $$_field_entry (field, source, value)
84                     VALUES ($$ ||
85                         quote_literal(ind_data.field) || $$, $$ ||
86                         quote_literal(ind_data.source) || $$, $$ ||
87                         quote_literal(ind_data.value) ||
88                     $$);$$;
89             END IF;
90         END IF;
91
92     END LOOP;
93
94     IF NOT b_skip_search THEN
95         PERFORM metabib.update_combined_index_vectors(bib_id);
96     END IF;
97
98     RETURN;
99 END;
100 $func$ LANGUAGE PLPGSQL;
101
102 COMMIT;
103