]> git.evergreen-ils.org Git - Evergreen.git/commit
This patch moves towards in-database indexed value normalization. The eventual
authormiker <miker@dcc99617-32d9-48b4-a31d-7c20da2025e4>
Mon, 12 Oct 2009 17:06:01 +0000 (17:06 +0000)
committermiker <miker@dcc99617-32d9-48b4-a31d-7c20da2025e4>
Mon, 12 Oct 2009 17:06:01 +0000 (17:06 +0000)
commit452f1b30d0746063b22c1506eab628485604fbe5
tree6f390f3b3948ededf38c7418de74883ffb18e9d1
parent5017f8974699818dbedfbb545432da72fea22a8a
This patch moves towards in-database indexed value normalization.  The eventual
goal of this is to move to pure database ingest handled by triggers.  This will
free us from the grip of the Ingest server, speed up ingest altogether, and
cause ingest to occur entirely within the same database transaction as the
INSERT or UPDATE to the MARC that is the cause of the ingest.  This means
no more potential for race conditions on ingest, and simpler data import.

In this first step, we add some normalization routines for dealing with basic
string data.  NACO normalization and the like.  With these functions we can
do everything that the Ingest server can do with regard to munging indexed
strings.

You can register these normalizers with specific indexed fields, and define the
order in which they are to be applied.

Next up: work on the scaffolding to actually apply the functions, define the
IDL entries, and create MARC-handling functions to do the xpath dances.

This functionallity will require either:

 * a custom (I have a patch) pgxml contrib module or
 * Postgresql 8.3+ XML/XPath support

git-svn-id: svn://svn.open-ils.org/ILS/trunk@14375 dcc99617-32d9-48b4-a31d-7c20da2025e4
Open-ILS/src/sql/Pg/002.functions.config.sql
Open-ILS/src/sql/Pg/002.schema.config.sql
Open-ILS/src/sql/Pg/950.data.seed-values.sql
Open-ILS/src/sql/Pg/upgrade/0032.ingest-normalizers.sql [new file with mode: 0644]
Open-ILS/src/sql/Pg/upgrade/0033.data.ingest-normalizers.sql [new file with mode: 0644]