]> git.evergreen-ils.org Git - working/Evergreen.git/blob - Open-ILS/src/sql/Pg/upgrade/0200.schema.in-db-ingest-SP-bugs.sql
LP#1066326: use internal flags; sync with master
[working/Evergreen.git] / Open-ILS / src / sql / Pg / upgrade / 0200.schema.in-db-ingest-SP-bugs.sql
1
2 BEGIN;
3
4 INSERT INTO config.upgrade_log (version) VALUES ('0200'); -- miker
5
6 CREATE OR REPLACE FUNCTION biblio.extract_metabib_field_entry ( rid BIGINT, default_joiner TEXT ) RETURNS SETOF metabib.field_entry_template AS $func$
7 DECLARE
8     bib     biblio.record_entry%ROWTYPE;
9     idx     config.metabib_field%ROWTYPE;
10     xfrm        config.xml_transform%ROWTYPE;
11     prev_xfrm   TEXT;
12     transformed_xml TEXT;
13     xml_node    TEXT;
14     xml_node_list   TEXT[];
15     raw_text    TEXT;
16     joiner      TEXT := default_joiner; -- XXX will index defs supply a joiner?
17     output_row  metabib.field_entry_template%ROWTYPE;
18 BEGIN
19
20     -- Get the record
21     SELECT INTO bib * FROM biblio.record_entry WHERE id = rid;
22
23     -- Loop over the indexing entries
24     FOR idx IN SELECT * FROM config.metabib_field ORDER BY format LOOP
25
26         SELECT INTO xfrm * from config.xml_transform WHERE name = idx.format;
27
28         -- See if we can skip the XSLT ... it's expensive
29         IF prev_xfrm IS NULL OR prev_xfrm <> xfrm.name THEN
30             -- Can't skip the transform
31             IF xfrm.xslt <> '---' THEN
32                 transformed_xml := oils_xslt_process(bib.marc,xfrm.xslt);
33             ELSE
34                 transformed_xml := bib.marc;
35             END IF;
36
37             prev_xfrm := xfrm.name;
38         END IF;
39
40         xml_node_list := oils_xpath( idx.xpath, transformed_xml, ARRAY[ARRAY[xfrm.prefix, xfrm.namespace_uri]] );
41
42         raw_text := NULL;
43         FOR xml_node IN SELECT x FROM explode_array(xml_node_list) AS x LOOP
44             IF raw_text IS NOT NULL THEN
45                 raw_text := raw_text || joiner;
46             END IF;
47             raw_text := COALESCE(raw_text,'') || ARRAY_TO_STRING(oils_xpath( '//text()', REGEXP_REPLACE(xml_node,'&(?!amp;)','&amp;','g')), ' ');
48         END LOOP;
49
50         CONTINUE WHEN raw_text IS NULL;
51
52         output_row.field_class = idx.field_class;
53         output_row.field = idx.id;
54         output_row.source = rid;
55         output_row.value = BTRIM(REGEXP_REPLACE(raw_text, E'\\s+', ' ', 'g'));
56
57         RETURN NEXT output_row;
58
59     END LOOP;
60
61 END;
62 $func$ LANGUAGE PLPGSQL;
63
64 CREATE OR REPLACE FUNCTION biblio.flatten_marc ( rid BIGINT ) RETURNS SETOF metabib.full_rec AS $func$
65 DECLARE
66     bib biblio.record_entry%ROWTYPE;
67     output  metabib.full_rec%ROWTYPE;
68     field   RECORD;
69 BEGIN
70     SELECT INTO bib * FROM biblio.record_entry WHERE id = rid;
71
72     FOR field IN SELECT * FROM biblio.flatten_marc( bib.marc ) LOOP
73         output.record := rid;
74         output.ind1 := field.ind1;
75         output.ind2 := field.ind2;
76         output.tag := field.tag;
77         output.subfield := field.subfield;
78         IF field.subfield IS NOT NULL AND field.tag NOT IN ('020','022','024') THEN -- exclude standard numbers and control fields
79             output.value := naco_normalize(field.value, field.subfield);
80         ELSE
81             output.value := field.value;
82         END IF;
83
84         CONTINUE WHEN output.value IS NULL;
85
86         RETURN NEXT output;
87     END LOOP;
88 END;
89 $func$ LANGUAGE PLPGSQL;
90
91 COMMIT;
92