Add tsearch2 removal upgrade script
[working/Evergreen.git] / Open-ILS / src / sql / Pg / upgrade / 0743.schema.remove_tsearch2.sql
1 -- Evergreen DB patch 0743.schema.remove_tsearch2.sql
2 --
3 -- Enable native full-text search to be used, and drop TSearch2 extension
4 --
5 BEGIN;
6
7 -- check whether patch can be applied
8 SELECT evergreen.upgrade_deps_block_check('0743', :eg_version);
9
10 -- FIXME: add/check SQL statements to perform the upgrade
11 -- First up, these functions depend on metabib.full_rec. They have to go for now.
12 DROP FUNCTION IF EXISTS biblio.flatten_marc(bigint);
13 DROP FUNCTION IF EXISTS biblio.flatten_marc(text);
14
15 -- These views depend on metabib.full_rec as well. Bye-bye!
16 DROP VIEW IF EXISTS reporter.old_super_simple_record;
17 DROP VIEW IF EXISTS reporter.simple_record;
18
19 -- Now we can drop metabib.full_rec.
20 DROP VIEW IF EXISTS metabib.full_rec;
21
22 -- These indexes have to go. BEFORE we alter the tables, otherwise things take extra time when we alter the tables.
23 DROP INDEX metabib.metabib_author_field_entry_value_idx;
24 DROP INDEX metabib.metabib_identifier_field_entry_value_idx;
25 DROP INDEX metabib.metabib_keyword_field_entry_value_idx;
26 DROP INDEX metabib.metabib_series_field_entry_value_idx;
27 DROP INDEX metabib.metabib_subject_field_entry_value_idx;
28 DROP INDEX metabib.metabib_title_field_entry_value_idx;
29
30 -- Now grab all of the tsvector-enabled columns and switch them to the non-wrapper version of the type.
31 ALTER TABLE authority.full_rec ALTER COLUMN index_vector TYPE pg_catalog.tsvector;
32 ALTER TABLE authority.simple_heading ALTER COLUMN index_vector TYPE pg_catalog.tsvector;
33 ALTER TABLE metabib.real_full_rec ALTER COLUMN index_vector TYPE pg_catalog.tsvector;
34 ALTER TABLE metabib.author_field_entry ALTER COLUMN index_vector TYPE pg_catalog.tsvector;
35 ALTER TABLE metabib.browse_entry ALTER COLUMN index_vector TYPE pg_catalog.tsvector;
36 ALTER TABLE metabib.identifier_field_entry ALTER COLUMN index_vector TYPE pg_catalog.tsvector;
37 ALTER TABLE metabib.keyword_field_entry ALTER COLUMN index_vector TYPE pg_catalog.tsvector;
38 ALTER TABLE metabib.series_field_entry ALTER COLUMN index_vector TYPE pg_catalog.tsvector;
39 ALTER TABLE metabib.subject_field_entry ALTER COLUMN index_vector TYPE pg_catalog.tsvector;
40 ALTER TABLE metabib.title_field_entry ALTER COLUMN index_vector TYPE pg_catalog.tsvector;
41
42 -- Halfway there! Goodbye tsearch2 extension!
43 DROP EXTENSION tsearch2;
44
45 -- Next up, re-creating all of the stuff we just dropped.
46
47 -- Indexes! Note to whomever: Do we even need these anymore?
48 CREATE INDEX metabib_author_field_entry_value_idx ON metabib.author_field_entry (SUBSTRING(value,1,1024)) WHERE index_vector = ''::TSVECTOR;
49 CREATE INDEX metabib_identifier_field_entry_value_idx ON metabib.identifier_field_entry (SUBSTRING(value,1,1024)) WHERE index_vector = ''::TSVECTOR;
50 CREATE INDEX metabib_keyword_field_entry_value_idx ON metabib.keyword_field_entry (SUBSTRING(value,1,1024)) WHERE index_vector = ''::TSVECTOR;
51 CREATE INDEX metabib_series_field_entry_value_idx ON metabib.series_field_entry (SUBSTRING(value,1,1024)) WHERE index_vector = ''::TSVECTOR;
52 CREATE INDEX metabib_subject_field_entry_value_idx ON metabib.subject_field_entry (SUBSTRING(value,1,1024)) WHERE index_vector = ''::TSVECTOR;
53 CREATE INDEX metabib_title_field_entry_value_idx ON metabib.title_field_entry (SUBSTRING(value,1,1024)) WHERE index_vector = ''::TSVECTOR;
54
55 -- metabib.full_rec, with insert/update/delete rules
56 CREATE OR REPLACE VIEW metabib.full_rec AS
57     SELECT  id,
58             record,
59             tag,
60             ind1,
61             ind2,
62             subfield,
63             SUBSTRING(value,1,1024) AS value,
64             index_vector
65       FROM  metabib.real_full_rec;
66
67 CREATE OR REPLACE RULE metabib_full_rec_insert_rule
68     AS ON INSERT TO metabib.full_rec
69     DO INSTEAD
70     INSERT INTO metabib.real_full_rec VALUES (
71         COALESCE(NEW.id, NEXTVAL('metabib.full_rec_id_seq'::REGCLASS)),
72         NEW.record,
73         NEW.tag,
74         NEW.ind1,
75         NEW.ind2,
76         NEW.subfield,
77         NEW.value,
78         NEW.index_vector
79     );
80
81 CREATE OR REPLACE RULE metabib_full_rec_update_rule
82     AS ON UPDATE TO metabib.full_rec
83     DO INSTEAD
84     UPDATE  metabib.real_full_rec SET
85         id = NEW.id,
86         record = NEW.record,
87         tag = NEW.tag,
88         ind1 = NEW.ind1,
89         ind2 = NEW.ind2,
90         subfield = NEW.subfield,
91         value = NEW.value,
92         index_vector = NEW.index_vector
93       WHERE id = OLD.id;
94
95 CREATE OR REPLACE RULE metabib_full_rec_delete_rule
96     AS ON DELETE TO metabib.full_rec
97     DO INSTEAD
98     DELETE FROM metabib.real_full_rec WHERE id = OLD.id;
99
100 -- reporter views that depended on metabib.full_rec are up next
101 CREATE OR REPLACE VIEW reporter.simple_record AS
102 SELECT  r.id,
103     s.metarecord,
104     r.fingerprint,
105     r.quality,
106     r.tcn_source,
107     r.tcn_value,
108     title.value AS title,
109     uniform_title.value AS uniform_title,
110     author.value AS author,
111     publisher.value AS publisher,
112     SUBSTRING(pubdate.value FROM $$\d+$$) AS pubdate,
113     series_title.value AS series_title,
114     series_statement.value AS series_statement,
115     summary.value AS summary,
116     ARRAY_ACCUM( DISTINCT REPLACE(SUBSTRING(isbn.value FROM $$^\S+$$), '-', '') ) AS isbn,
117     ARRAY_ACCUM( DISTINCT REGEXP_REPLACE(issn.value, E'^\\S*(\\d{4})[-\\s](\\d{3,4}x?)', E'\\1 \\2') ) AS issn,
118     ARRAY((SELECT DISTINCT value FROM metabib.full_rec WHERE tag = '650' AND subfield = 'a' AND record = r.id)) AS topic_subject,
119     ARRAY((SELECT DISTINCT value FROM metabib.full_rec WHERE tag = '651' AND subfield = 'a' AND record = r.id)) AS geographic_subject,
120     ARRAY((SELECT DISTINCT value FROM metabib.full_rec WHERE tag = '655' AND subfield = 'a' AND record = r.id)) AS genre,
121     ARRAY((SELECT DISTINCT value FROM metabib.full_rec WHERE tag = '600' AND subfield = 'a' AND record = r.id)) AS name_subject,
122     ARRAY((SELECT DISTINCT value FROM metabib.full_rec WHERE tag = '610' AND subfield = 'a' AND record = r.id)) AS corporate_subject,
123     ARRAY((SELECT value FROM metabib.full_rec WHERE tag = '856' AND subfield IN ('3','y','u') AND record = r.id ORDER BY CASE WHEN subfield IN ('3','y') THEN 0 ELSE 1 END)) AS external_uri
124   FROM  biblio.record_entry r
125     JOIN metabib.metarecord_source_map s ON (s.source = r.id)
126     LEFT JOIN metabib.full_rec uniform_title ON (r.id = uniform_title.record AND uniform_title.tag = '240' AND uniform_title.subfield = 'a')
127     LEFT JOIN metabib.full_rec title ON (r.id = title.record AND title.tag = '245' AND title.subfield = 'a')
128     LEFT JOIN metabib.full_rec author ON (r.id = author.record AND author.tag = '100' AND author.subfield = 'a')
129     LEFT JOIN metabib.full_rec publisher ON (r.id = publisher.record AND publisher.tag = '260' AND publisher.subfield = 'b')
130     LEFT JOIN metabib.full_rec pubdate ON (r.id = pubdate.record AND pubdate.tag = '260' AND pubdate.subfield = 'c')
131     LEFT JOIN metabib.full_rec isbn ON (r.id = isbn.record AND isbn.tag IN ('024', '020') AND isbn.subfield IN ('a','z'))
132     LEFT JOIN metabib.full_rec issn ON (r.id = issn.record AND issn.tag = '022' AND issn.subfield = 'a')
133     LEFT JOIN metabib.full_rec series_title ON (r.id = series_title.record AND series_title.tag IN ('830','440') AND series_title.subfield = 'a')
134     LEFT JOIN metabib.full_rec series_statement ON (r.id = series_statement.record AND series_statement.tag = '490' AND series_statement.subfield = 'a')
135     LEFT JOIN metabib.full_rec summary ON (r.id = summary.record AND summary.tag = '520' AND summary.subfield = 'a')
136   GROUP BY 1,2,3,4,5,6,7,8,9,10,11,12,13,14;
137
138 CREATE OR REPLACE VIEW reporter.old_super_simple_record AS
139 SELECT  r.id,
140     r.fingerprint,
141     r.quality,
142     r.tcn_source,
143     r.tcn_value,
144     FIRST(title.value) AS title,
145     FIRST(author.value) AS author,
146     ARRAY_TO_STRING(ARRAY_ACCUM( DISTINCT publisher.value), ', ') AS publisher,
147     ARRAY_TO_STRING(ARRAY_ACCUM( DISTINCT SUBSTRING(pubdate.value FROM $$\d+$$) ), ', ') AS pubdate,
148     ARRAY_ACCUM( DISTINCT REPLACE(SUBSTRING(isbn.value FROM $$^\S+$$), '-', '') ) AS isbn,
149     ARRAY_ACCUM( DISTINCT REGEXP_REPLACE(issn.value, E'^\\S*(\\d{4})[-\\s](\\d{3,4}x?)', E'\\1 \\2') ) AS issn
150   FROM  biblio.record_entry r
151     LEFT JOIN metabib.full_rec title ON (r.id = title.record AND title.tag = '245' AND title.subfield = 'a')
152     LEFT JOIN metabib.full_rec author ON (r.id = author.record AND author.tag IN ('100','110','111') AND author.subfield = 'a')
153     LEFT JOIN metabib.full_rec publisher ON (r.id = publisher.record AND publisher.tag = '260' AND publisher.subfield = 'b')
154     LEFT JOIN metabib.full_rec pubdate ON (r.id = pubdate.record AND pubdate.tag = '260' AND pubdate.subfield = 'c')
155     LEFT JOIN metabib.full_rec isbn ON (r.id = isbn.record AND isbn.tag IN ('024', '020') AND isbn.subfield IN ('a','z'))
156     LEFT JOIN metabib.full_rec issn ON (r.id = issn.record AND issn.tag = '022' AND issn.subfield = 'a')
157   GROUP BY 1,2,3,4,5;
158
159 -- And finally, the biblio functions. NOTE: I can't find the original source of the second one, so I skipped it as old cruft that was in our production DB.
160 CREATE OR REPLACE FUNCTION biblio.flatten_marc ( rid BIGINT ) RETURNS SETOF metabib.full_rec AS $func$
161 DECLARE
162     bib biblio.record_entry%ROWTYPE;
163     output  metabib.full_rec%ROWTYPE;
164     field   RECORD;
165 BEGIN
166     SELECT INTO bib * FROM biblio.record_entry WHERE id = rid;
167
168     FOR field IN SELECT * FROM vandelay.flatten_marc( bib.marc ) LOOP
169         output.record := rid;
170         output.ind1 := field.ind1;
171         output.ind2 := field.ind2;
172         output.tag := field.tag;
173         output.subfield := field.subfield;
174         output.value := field.value;
175
176         RETURN NEXT output;
177     END LOOP;
178 END;
179 $func$ LANGUAGE PLPGSQL;
180
181 COMMIT;