Observed speed increases through judicious indexing
[working/Evergreen.git] / Open-ILS / src / sql / Pg / 200.schema.acq.sql
1 /*
2  * Copyright (C) 2009  Georgia Public Library Service
3  * Scott McKellar <scott@esilibrary.com>
4  *
5  * This program is free software; you can redistribute it and/or
6  * modify it under the terms of the GNU General Public License
7  * as published by the Free Software Foundation; either version 2
8  * of the License, or (at your option) any later version.
9  *
10  * This program is distributed in the hope that it will be useful,
11  * but WITHOUT ANY WARRANTY; without even the implied warranty of
12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13  * GNU General Public License for more details.
14  */
15
16 DROP SCHEMA IF EXISTS acq CASCADE;
17
18 BEGIN;
19
20 CREATE SCHEMA acq;
21
22
23 -- Tables
24
25
26 CREATE TABLE acq.currency_type (
27         code    TEXT PRIMARY KEY,
28         label   TEXT
29 );
30
31 -- Use the ISO 4217 abbreviations for currency codes
32 INSERT INTO acq.currency_type (code, label) VALUES ('USD','US Dollars');
33 INSERT INTO acq.currency_type (code, label) VALUES ('CAN','Canadian Dollars');
34 INSERT INTO acq.currency_type (code, label) VALUES ('EUR','Euros');
35
36 CREATE TABLE acq.exchange_rate (
37     id              SERIAL  PRIMARY KEY,
38     from_currency   TEXT    NOT NULL REFERENCES acq.currency_type (code) DEFERRABLE INITIALLY DEFERRED,
39     to_currency     TEXT    NOT NULL REFERENCES acq.currency_type (code) DEFERRABLE INITIALLY DEFERRED,
40     ratio           NUMERIC NOT NULL,
41     CONSTRAINT exchange_rate_from_to_once UNIQUE (from_currency,to_currency)
42 );
43
44 INSERT INTO acq.exchange_rate (from_currency,to_currency,ratio) VALUES ('USD','CAN',1.2);
45 INSERT INTO acq.exchange_rate (from_currency,to_currency,ratio) VALUES ('USD','EUR',0.5);
46
47 CREATE TABLE acq.claim_policy (
48         id              SERIAL       PRIMARY KEY,
49         org_unit        INT          NOT NULL REFERENCES actor.org_unit
50                                      DEFERRABLE INITIALLY DEFERRED,
51         name            TEXT         NOT NULL,
52         description     TEXT         NOT NULL,
53         CONSTRAINT name_once_per_org UNIQUE (org_unit, name)
54 );
55
56 CREATE TABLE acq.claim_event_type (
57         id             SERIAL           PRIMARY KEY,
58         org_unit       INT              NOT NULL REFERENCES actor.org_unit(id)
59                                                  DEFERRABLE INITIALLY DEFERRED,
60         code           TEXT             NOT NULL,
61         description    TEXT             NOT NULL,
62         library_initiated BOOL          NOT NULL DEFAULT FALSE,
63         CONSTRAINT event_type_once_per_org UNIQUE ( org_unit, code )
64 );
65
66 CREATE TABLE acq.claim_policy_action (
67         id              SERIAL       PRIMARY KEY,
68         claim_policy    INT          NOT NULL REFERENCES acq.claim_policy
69                                  ON DELETE CASCADE
70                                      DEFERRABLE INITIALLY DEFERRED,
71         action_interval INTERVAL     NOT NULL,
72         action          INT          NOT NULL REFERENCES acq.claim_event_type
73                                      DEFERRABLE INITIALLY DEFERRED,
74         CONSTRAINT action_sequence UNIQUE (claim_policy, action_interval)
75 );
76
77 CREATE TABLE acq.provider (
78     id                  SERIAL  PRIMARY KEY,
79     name                TEXT    NOT NULL,
80     owner               INT     NOT NULL REFERENCES actor.org_unit (id) DEFERRABLE INITIALLY DEFERRED,
81     currency_type       TEXT    NOT NULL REFERENCES acq.currency_type (code) DEFERRABLE INITIALLY DEFERRED,
82     code                TEXT    NOT NULL,
83     holding_tag         TEXT,
84     san                 TEXT,
85     edi_default         INT,          -- REFERENCES acq.edi_account (id) DEFERRABLE INITIALLY DEFERRED
86         active              BOOL    NOT NULL DEFAULT TRUE,
87         prepayment_required BOOL    NOT NULL DEFAULT FALSE,
88     url                 TEXT,
89     email               TEXT,
90     phone               TEXT,
91     fax_phone           TEXT,
92     default_copy_count  INT     NOT NULL DEFAULT 0,
93         default_claim_policy INT    REFERENCES acq.claim_policy
94                                     DEFERRABLE INITIALLY DEFERRED,
95     CONSTRAINT provider_name_once_per_owner UNIQUE (name,owner),
96         CONSTRAINT code_once_per_owner UNIQUE (code, owner)
97 );
98
99 CREATE TABLE acq.provider_holding_subfield_map (
100     id          SERIAL  PRIMARY KEY,
101     provider    INT     NOT NULL REFERENCES acq.provider (id) DEFERRABLE INITIALLY DEFERRED,
102     name        TEXT    NOT NULL, -- barcode, price, etc
103     subfield    TEXT    NOT NULL,
104     CONSTRAINT name_once_per_provider UNIQUE (provider,name)
105 );
106
107 CREATE TABLE acq.provider_address (
108         id              SERIAL  PRIMARY KEY,
109         valid           BOOL    NOT NULL DEFAULT TRUE,
110         address_type    TEXT,
111     provider    INT     NOT NULL REFERENCES acq.provider (id) DEFERRABLE INITIALLY DEFERRED,
112         street1         TEXT    NOT NULL,
113         street2         TEXT,
114         city            TEXT    NOT NULL,
115         county          TEXT,
116         state           TEXT    NOT NULL,
117         country         TEXT    NOT NULL,
118         post_code       TEXT    NOT NULL,
119         fax_phone       TEXT
120 );
121
122 CREATE TABLE acq.provider_contact (
123         id              SERIAL  PRIMARY KEY,
124     provider    INT NOT NULL REFERENCES acq.provider (id) DEFERRABLE INITIALLY DEFERRED,
125     name    TEXT NOT NULL,
126     role    TEXT, -- free-form.. e.g. "our sales guy"
127     email   TEXT,
128     phone   TEXT
129 );
130
131 CREATE TABLE acq.provider_contact_address (
132         id                      SERIAL  PRIMARY KEY,
133         valid                   BOOL    NOT NULL DEFAULT TRUE,
134         address_type    TEXT,
135         contact                 INT         NOT NULL REFERENCES acq.provider_contact (id) DEFERRABLE INITIALLY DEFERRED,
136         street1                 TEXT    NOT NULL,
137         street2                 TEXT,
138         city                    TEXT    NOT NULL,
139         county                  TEXT,
140         state                   TEXT    NOT NULL,
141         country                 TEXT    NOT NULL,
142         post_code               TEXT    NOT NULL,
143         fax_phone               TEXT
144 );
145
146 CREATE TABLE acq.provider_note (
147         id              SERIAL                          PRIMARY KEY,
148         provider    INT                         NOT NULL REFERENCES acq.provider (id) DEFERRABLE INITIALLY DEFERRED,
149         creator         INT                             NOT NULL REFERENCES actor.usr (id) DEFERRABLE INITIALLY DEFERRED,
150         editor          INT                             NOT NULL REFERENCES actor.usr (id) DEFERRABLE INITIALLY DEFERRED,
151         create_time     TIMESTAMP WITH TIME ZONE        NOT NULL DEFAULT NOW(),
152         edit_time       TIMESTAMP WITH TIME ZONE        NOT NULL DEFAULT NOW(),
153         value           TEXT                    NOT NULL
154 );
155 CREATE INDEX acq_pro_note_pro_idx      ON acq.provider_note ( provider );
156 CREATE INDEX acq_pro_note_creator_idx  ON acq.provider_note ( creator );
157 CREATE INDEX acq_pro_note_editor_idx   ON acq.provider_note ( editor );
158
159
160 CREATE TABLE acq.funding_source (
161         id              SERIAL  PRIMARY KEY,
162         name            TEXT    NOT NULL,
163         owner           INT     NOT NULL REFERENCES actor.org_unit (id) DEFERRABLE INITIALLY DEFERRED,
164         currency_type   TEXT    NOT NULL REFERENCES acq.currency_type (code) DEFERRABLE INITIALLY DEFERRED,
165         code            TEXT    UNIQUE,
166         CONSTRAINT funding_source_name_once_per_owner UNIQUE (name,owner)
167 );
168
169 CREATE TABLE acq.funding_source_credit (
170         id      SERIAL     PRIMARY KEY,
171         funding_source INT      NOT NULL REFERENCES acq.funding_source (id) DEFERRABLE INITIALLY DEFERRED,
172         amount         NUMERIC  NOT NULL,
173         note           TEXT,
174         deadline_date  TIMESTAMPTZ,
175         effective_date TIMESTAMPTZ NOT NULL default now()
176 );
177
178 CREATE VIEW acq.ordered_funding_source_credit AS
179     SELECT
180         CASE WHEN deadline_date IS NULL THEN
181             2
182         ELSE
183             1
184         END AS sort_priority,
185         CASE WHEN deadline_date IS NULL THEN
186             effective_date
187         ELSE
188             deadline_date
189         END AS sort_date,
190         id,
191         funding_source,
192         amount,
193         note
194     FROM
195         acq.funding_source_credit;
196
197 COMMENT ON VIEW acq.ordered_funding_source_credit IS $$
198 The acq.ordered_funding_source_credit view is a prioritized
199 ordering of funding source credits.  When ordered by the first
200 three columns, this view defines the order in which the various
201 credits are to be tapped for spending, subject to the allocations
202 in the acq.fund_allocation table.
203
204 The first column reflects the principle that we should spend
205 money with deadlines before spending money without deadlines.
206
207 The second column reflects the principle that we should spend the
208 oldest money first.  For money with deadlines, that means that we
209 spend first from the credit with the earliest deadline.  For
210 money without deadlines, we spend first from the credit with the
211 earliest effective date.
212
213 The third column is a tie breaker to ensure a consistent
214 ordering.
215 $$;
216
217 CREATE TABLE acq.fund (
218     id              SERIAL  PRIMARY KEY,
219     org             INT     NOT NULL REFERENCES actor.org_unit (id) ON UPDATE CASCADE ON DELETE CASCADE DEFERRABLE INITIALLY DEFERRED,
220     name            TEXT    NOT NULL,
221     year            INT     NOT NULL DEFAULT EXTRACT( YEAR FROM NOW() ),
222     currency_type   TEXT    NOT NULL REFERENCES acq.currency_type (code) DEFERRABLE INITIALLY DEFERRED,
223     code            TEXT,
224         rollover        BOOL    NOT NULL DEFAULT FALSE,
225         propagate       BOOL    NOT NULL DEFAULT TRUE,
226         active          BOOL    NOT NULL DEFAULT TRUE,
227         balance_warning_percent INT,
228         balance_stop_percent    INT,
229     CONSTRAINT name_once_per_org_year UNIQUE (org,name,year),
230     CONSTRAINT code_once_per_org_year UNIQUE (org, code, year),
231         CONSTRAINT acq_fund_rollover_implies_propagate CHECK ( propagate OR NOT rollover )
232 );
233
234 CREATE TABLE acq.fund_debit (
235         id                      SERIAL  PRIMARY KEY,
236         fund                    INT     NOT NULL REFERENCES acq.fund (id) DEFERRABLE INITIALLY DEFERRED,
237         origin_amount           NUMERIC NOT NULL,  -- pre-exchange-rate amount
238         origin_currency_type    TEXT    NOT NULL REFERENCES acq.currency_type (code) DEFERRABLE INITIALLY DEFERRED,
239         amount                  NUMERIC NOT NULL,
240         encumbrance             BOOL    NOT NULL DEFAULT TRUE,
241         debit_type              TEXT    NOT NULL,
242         xfer_destination        INT     REFERENCES acq.fund (id) DEFERRABLE INITIALLY DEFERRED,
243         create_time     TIMESTAMP WITH TIME ZONE NOT NULL DEFAULT NOW()
244 );
245
246 CREATE TABLE acq.fund_allocation (
247     id          SERIAL  PRIMARY KEY,
248     funding_source        INT     NOT NULL REFERENCES acq.funding_source (id) ON UPDATE CASCADE ON DELETE CASCADE DEFERRABLE INITIALLY DEFERRED,
249     fund        INT     NOT NULL REFERENCES acq.fund (id) ON UPDATE CASCADE ON DELETE CASCADE DEFERRABLE INITIALLY DEFERRED,
250     amount      NUMERIC NOT NULL,
251     allocator   INT NOT NULL REFERENCES actor.usr (id) DEFERRABLE INITIALLY DEFERRED,
252     note        TEXT,
253         create_time TIMESTAMP WITH TIME ZONE NOT NULL DEFAULT NOW()
254 );
255 CREATE INDEX fund_alloc_allocator_idx ON acq.fund_allocation ( allocator );
256
257 CREATE TABLE acq.fund_allocation_percent
258 (
259     id                   SERIAL            PRIMARY KEY,
260     funding_source       INT               NOT NULL REFERENCES acq.funding_source
261                                                DEFERRABLE INITIALLY DEFERRED,
262     org                  INT               NOT NULL REFERENCES actor.org_unit
263                                                DEFERRABLE INITIALLY DEFERRED,
264     fund_code            TEXT,
265     percent              NUMERIC           NOT NULL,
266     allocator            INTEGER           NOT NULL REFERENCES actor.usr
267                                                DEFERRABLE INITIALLY DEFERRED,
268     note                 TEXT,
269     create_time          TIMESTAMPTZ       NOT NULL DEFAULT now(),
270     CONSTRAINT logical_key UNIQUE( funding_source, org, fund_code ),
271     CONSTRAINT percentage_range CHECK( percent >= 0 AND percent <= 100 )
272 );
273
274 -- Trigger function to validate combination of org_unit and fund_code
275
276 CREATE OR REPLACE FUNCTION acq.fund_alloc_percent_val()
277 RETURNS TRIGGER AS $$
278 --
279 DECLARE
280 --
281 dummy int := 0;
282 --
283 BEGIN
284     SELECT
285         1
286     INTO
287         dummy
288     FROM
289         acq.fund
290     WHERE
291         org = NEW.org
292         AND code = NEW.fund_code
293         LIMIT 1;
294     --
295     IF dummy = 1 then
296         RETURN NEW;
297     ELSE
298         RAISE EXCEPTION 'No fund exists for org % and code %', NEW.org, NEW.fund_code;
299     END IF;
300 END;
301 $$ LANGUAGE plpgsql;
302
303 CREATE TRIGGER acq_fund_alloc_percent_val_trig
304     BEFORE INSERT OR UPDATE ON acq.fund_allocation_percent
305     FOR EACH ROW EXECUTE PROCEDURE acq.fund_alloc_percent_val();
306
307 -- To do: trigger to verify that percentages don't add up to more than 100
308
309 CREATE OR REPLACE FUNCTION acq.fap_limit_100()
310 RETURNS TRIGGER AS $$
311 DECLARE
312 --
313 total_percent numeric;
314 --
315 BEGIN
316     SELECT
317         sum( percent )
318     INTO
319         total_percent
320     FROM
321         acq.fund_allocation_percent AS fap
322     WHERE
323         fap.funding_source = NEW.funding_source;
324     --
325     IF total_percent > 100 THEN
326         RAISE EXCEPTION 'Total percentages exceed 100 for funding_source %',
327             NEW.funding_source;
328     ELSE
329         RETURN NEW;
330     END IF;
331 END;
332 $$ LANGUAGE plpgsql;
333
334 CREATE TRIGGER acqfap_limit_100_trig
335     AFTER INSERT OR UPDATE ON acq.fund_allocation_percent
336     FOR EACH ROW EXECUTE PROCEDURE acq.fap_limit_100();
337
338 CREATE TABLE acq.picklist (
339         id              SERIAL                          PRIMARY KEY,
340         owner           INT                             NOT NULL REFERENCES actor.usr (id) DEFERRABLE INITIALLY DEFERRED,
341         creator         INT                             NOT NULL REFERENCES actor.usr (id) DEFERRABLE INITIALLY DEFERRED,
342         editor          INT                             NOT NULL REFERENCES actor.usr (id) DEFERRABLE INITIALLY DEFERRED,
343         org_unit        INT                             NOT NULL REFERENCES actor.org_unit (id) DEFERRABLE INITIALLY DEFERRED,
344         name            TEXT                            NOT NULL,
345         create_time     TIMESTAMP WITH TIME ZONE        NOT NULL DEFAULT NOW(),
346         edit_time       TIMESTAMP WITH TIME ZONE        NOT NULL DEFAULT NOW(),
347         CONSTRAINT name_once_per_owner UNIQUE (name,owner)
348 );
349 CREATE INDEX acq_picklist_owner_idx   ON acq.picklist ( owner );
350 CREATE INDEX acq_picklist_creator_idx ON acq.picklist ( creator );
351 CREATE INDEX acq_picklist_editor_idx  ON acq.picklist ( editor );
352
353 CREATE TABLE acq.cancel_reason (
354         id            SERIAL            PRIMARY KEY,
355         org_unit      INTEGER           NOT NULL REFERENCES actor.org_unit( id )
356                                         DEFERRABLE INITIALLY DEFERRED,
357         label         TEXT              NOT NULL,
358         description   TEXT              NOT NULL,
359                 keep_debits   BOOL              NOT NULL DEFAULT FALSE,
360         CONSTRAINT acq_cancel_reason_one_per_org_unit UNIQUE( org_unit, label )
361 );
362
363 -- Reserve ids 1-999 for stock reasons
364 -- Reserve ids 1000-1999 for EDI reasons
365 -- 2000+ are available for staff to create
366
367 SELECT SETVAL('acq.cancel_reason_id_seq'::TEXT, 2000);
368
369 CREATE TABLE acq.purchase_order (
370         id              SERIAL                          PRIMARY KEY,
371         owner           INT                             NOT NULL REFERENCES actor.usr (id) DEFERRABLE INITIALLY DEFERRED,
372         creator         INT                             NOT NULL REFERENCES actor.usr (id) DEFERRABLE INITIALLY DEFERRED,
373         editor          INT                             NOT NULL REFERENCES actor.usr (id) DEFERRABLE INITIALLY DEFERRED,
374         ordering_agency INT                             NOT NULL REFERENCES actor.org_unit (id) DEFERRABLE INITIALLY DEFERRED,
375         create_time     TIMESTAMP WITH TIME ZONE        NOT NULL DEFAULT NOW(),
376         edit_time       TIMESTAMP WITH TIME ZONE        NOT NULL DEFAULT NOW(),
377         provider        INT                             NOT NULL REFERENCES acq.provider (id) DEFERRABLE INITIALLY DEFERRED,
378         state                   TEXT                                    NOT NULL DEFAULT 'new',
379         order_date              TIMESTAMP WITH TIME ZONE,
380         name                    TEXT                                    NOT NULL,
381         cancel_reason   INT                     REFERENCES acq.cancel_reason( id )
382                                             DEFERRABLE INITIALLY DEFERRED,
383         prepayment_required BOOLEAN NOT NULL DEFAULT FALSE,
384     CONSTRAINT valid_po_state CHECK (state IN ('new','pending','on-order','received','cancelled'))
385 );
386 CREATE INDEX po_owner_idx ON acq.purchase_order (owner);
387 CREATE INDEX po_provider_idx ON acq.purchase_order (provider);
388 CREATE INDEX po_state_idx ON acq.purchase_order (state);
389 CREATE INDEX po_creator_idx  ON acq.purchase_order ( creator );
390 CREATE INDEX po_editor_idx   ON acq.purchase_order ( editor );
391 CREATE INDEX acq_po_org_name_order_date_idx ON acq.purchase_order( ordering_agency, name, order_date );
392
393 -- The name should default to the id, as text.  We can't reference a column
394 -- in a DEFAULT clause, so we use a trigger:
395
396 CREATE OR REPLACE FUNCTION acq.purchase_order_name_default () RETURNS TRIGGER 
397 AS $$
398 BEGIN
399         IF NEW.name IS NULL THEN
400                 NEW.name := NEW.id::TEXT;
401         END IF;
402
403         RETURN NEW;
404 END;
405 $$ LANGUAGE PLPGSQL;
406
407 CREATE TRIGGER po_name_default_trg
408   BEFORE INSERT OR UPDATE ON acq.purchase_order
409   FOR EACH ROW EXECUTE PROCEDURE acq.purchase_order_name_default ();
410
411 -- The order name should be unique for a given ordering agency on a given order date
412 -- (truncated to midnight), but only where the order_date is not NULL.  Conceptually
413 -- this rule requires a check constraint with a subquery.  However you can't have a
414 -- subquery in a CHECK constraint, so we fake it with a trigger.
415
416 CREATE OR REPLACE FUNCTION acq.po_org_name_date_unique () RETURNS TRIGGER 
417 AS $$
418 DECLARE
419         collision INT;
420 BEGIN
421         --
422         -- If order_date is not null, then make sure we don't have a collision
423         -- on order_date (truncated to day), org, and name
424         --
425         IF NEW.order_date IS NULL THEN
426                 RETURN NEW;
427         END IF;
428         --
429         -- In the WHERE clause, we compare the order_dates without regard to time of day.
430         -- We use a pair of inequalities instead of comparing truncated dates so that the
431         -- query can do an indexed range scan.
432         --
433         SELECT 1 INTO collision
434         FROM acq.purchase_order
435         WHERE
436                 ordering_agency = NEW.ordering_agency
437                 AND name = NEW.name
438                 AND order_date >= date_trunc( 'day', NEW.order_date )
439                 AND order_date <  date_trunc( 'day', NEW.order_date ) + '1 day'::INTERVAL
440                 AND id <> NEW.id;
441         --
442         IF collision IS NULL THEN
443                 -- okay, no collision
444                 RETURN NEW;
445         ELSE
446                 -- collision; nip it in the bud
447                 RAISE EXCEPTION 'Colliding purchase orders: ordering_agency %, date %, name ''%''',
448                         NEW.ordering_agency, NEW.order_date, NEW.name;
449         END IF;
450 END;
451 $$ LANGUAGE PLPGSQL;
452
453 CREATE TRIGGER po_org_name_date_unique_trg
454   BEFORE INSERT OR UPDATE ON acq.purchase_order
455   FOR EACH ROW EXECUTE PROCEDURE acq.po_org_name_date_unique ();
456
457 CREATE TABLE acq.po_note (
458         id              SERIAL                          PRIMARY KEY,
459         purchase_order  INT                             NOT NULL REFERENCES acq.purchase_order (id) DEFERRABLE INITIALLY DEFERRED,
460         creator         INT                             NOT NULL REFERENCES actor.usr (id) DEFERRABLE INITIALLY DEFERRED,
461         editor          INT                             NOT NULL REFERENCES actor.usr (id) DEFERRABLE INITIALLY DEFERRED,
462         create_time     TIMESTAMP WITH TIME ZONE        NOT NULL DEFAULT NOW(),
463         edit_time       TIMESTAMP WITH TIME ZONE        NOT NULL DEFAULT NOW(),
464         value           TEXT                    NOT NULL,
465         vendor_public BOOLEAN       NOT NULL DEFAULT FALSE
466 );
467 CREATE INDEX po_note_po_idx ON acq.po_note (purchase_order);
468 CREATE INDEX acq_po_note_creator_idx  ON acq.po_note ( creator );
469 CREATE INDEX acq_po_note_editor_idx   ON acq.po_note ( editor );
470
471 CREATE TABLE acq.lineitem (
472         id                  BIGSERIAL                   PRIMARY KEY,
473         creator             INT                         NOT NULL REFERENCES actor.usr (id) DEFERRABLE INITIALLY DEFERRED,
474         editor              INT                         NOT NULL REFERENCES actor.usr (id) DEFERRABLE INITIALLY DEFERRED,
475         selector            INT                         NOT NULL REFERENCES actor.usr (id) DEFERRABLE INITIALLY DEFERRED,
476         provider            INT                         REFERENCES acq.provider (id) DEFERRABLE INITIALLY DEFERRED,
477         purchase_order      INT                         REFERENCES acq.purchase_order (id) DEFERRABLE INITIALLY DEFERRED,
478         picklist            INT                         REFERENCES acq.picklist (id) DEFERRABLE INITIALLY DEFERRED,
479         expected_recv_time  TIMESTAMP WITH TIME ZONE,
480         create_time         TIMESTAMP WITH TIME ZONE    NOT NULL DEFAULT NOW(),
481         edit_time           TIMESTAMP WITH TIME ZONE    NOT NULL DEFAULT NOW(),
482         marc                TEXT                        NOT NULL,
483         eg_bib_id           BIGINT                      REFERENCES biblio.record_entry (id) DEFERRABLE INITIALLY DEFERRED,
484         source_label        TEXT,
485         state               TEXT                        NOT NULL DEFAULT 'new',
486         cancel_reason       INT                         REFERENCES acq.cancel_reason( id )
487                                                     DEFERRABLE INITIALLY DEFERRED,
488         estimated_unit_price NUMERIC,
489         claim_policy        INT                         REFERENCES acq.claim_policy
490                                                                 DEFERRABLE INITIALLY DEFERRED,
491     queued_record       BIGINT                      REFERENCES vandelay.queued_bib_record (id)
492                                                         ON DELETE SET NULL DEFERRABLE INITIALLY DEFERRED,
493     CONSTRAINT picklist_or_po CHECK (picklist IS NOT NULL OR purchase_order IS NOT NULL)
494 );
495 CREATE INDEX li_po_idx ON acq.lineitem (purchase_order);
496 CREATE INDEX li_pl_idx ON acq.lineitem (picklist);
497 CREATE INDEX li_creator_idx   ON acq.lineitem ( creator );
498 CREATE INDEX li_editor_idx    ON acq.lineitem ( editor );
499 CREATE INDEX li_selector_idx  ON acq.lineitem ( selector );
500
501 CREATE TABLE acq.lineitem_alert_text (
502     id               SERIAL         PRIMARY KEY,
503     code             TEXT           NOT NULL,
504     description      TEXT,
505         owning_lib       INT            NOT NULL
506                                         REFERENCES actor.org_unit(id)
507                                         DEFERRABLE INITIALLY DEFERRED,
508         CONSTRAINT alert_one_code_per_org UNIQUE (code, owning_lib)
509 );
510
511 CREATE TABLE acq.lineitem_note (
512         id              SERIAL                          PRIMARY KEY,
513         lineitem        INT                             NOT NULL REFERENCES acq.lineitem (id) ON DELETE CASCADE DEFERRABLE INITIALLY DEFERRED,
514         creator         INT                             NOT NULL REFERENCES actor.usr (id) DEFERRABLE INITIALLY DEFERRED,
515         editor          INT                             NOT NULL REFERENCES actor.usr (id) DEFERRABLE INITIALLY DEFERRED,
516         create_time     TIMESTAMP WITH TIME ZONE        NOT NULL DEFAULT NOW(),
517         edit_time       TIMESTAMP WITH TIME ZONE        NOT NULL DEFAULT NOW(),
518         value           TEXT                    NOT NULL,
519         alert_text      INT                                              REFERENCES acq.lineitem_alert_text(id)
520                                                                                  DEFERRABLE INITIALLY DEFERRED,
521         vendor_public BOOLEAN       NOT NULL DEFAULT FALSE
522 );
523 CREATE INDEX li_note_li_idx ON acq.lineitem_note (lineitem);
524 CREATE INDEX li_note_creator_idx  ON acq.lineitem_note ( creator );
525 CREATE INDEX li_note_editor_idx   ON acq.lineitem_note ( editor );
526
527 CREATE TABLE acq.lineitem_detail (
528     id          BIGSERIAL       PRIMARY KEY,
529     lineitem    INT         NOT NULL REFERENCES acq.lineitem (id) ON DELETE CASCADE DEFERRABLE INITIALLY DEFERRED,
530     fund        INT         REFERENCES acq.fund (id) DEFERRABLE INITIALLY DEFERRED,
531     fund_debit  INT         REFERENCES acq.fund_debit (id) DEFERRABLE INITIALLY DEFERRED,
532     eg_copy_id  BIGINT,     -- REFERENCES asset.copy (id) ON DELETE SET NULL DEFERRABLE INITIALLY DEFERRED, -- XXX could be an serial.issuance
533     barcode     TEXT,
534     cn_label    TEXT,
535     note        TEXT,
536     collection_code TEXT,
537     circ_modifier   TEXT    REFERENCES config.circ_modifier (code) ON DELETE SET NULL DEFERRABLE INITIALLY DEFERRED,
538     owning_lib  INT         REFERENCES actor.org_unit (id) ON DELETE SET NULL DEFERRABLE INITIALLY DEFERRED,
539     location    INT         REFERENCES asset.copy_location (id) ON DELETE SET NULL DEFERRABLE INITIALLY DEFERRED,
540     recv_time   TIMESTAMP WITH TIME ZONE,
541         receiver                INT         REFERENCES actor.usr (id) DEFERRABLE INITIALLY DEFERRED,
542         cancel_reason   INT     REFERENCES acq.cancel_reason( id ) DEFERRABLE INITIALLY DEFERRED
543 );
544
545 CREATE INDEX li_detail_li_idx ON acq.lineitem_detail (lineitem);
546
547 CREATE TABLE acq.lineitem_attr_definition (
548         id              BIGSERIAL       PRIMARY KEY,
549         code            TEXT            NOT NULL,
550         description     TEXT            NOT NULL,
551         remove          TEXT            NOT NULL DEFAULT '',
552         ident           BOOL            NOT NULL DEFAULT FALSE
553 );
554
555 CREATE TABLE acq.lineitem_marc_attr_definition (
556         id              BIGINT  PRIMARY KEY DEFAULT NEXTVAL('acq.lineitem_attr_definition_id_seq'),
557         xpath           TEXT            NOT NULL
558 ) INHERITS (acq.lineitem_attr_definition);
559
560 CREATE TABLE acq.lineitem_provider_attr_definition (
561         id              BIGINT  PRIMARY KEY DEFAULT NEXTVAL('acq.lineitem_attr_definition_id_seq'),
562         xpath           TEXT            NOT NULL,
563         provider        INT     NOT NULL REFERENCES acq.provider (id) DEFERRABLE INITIALLY DEFERRED
564 ) INHERITS (acq.lineitem_attr_definition);
565
566 CREATE TABLE acq.lineitem_generated_attr_definition (
567         id              BIGINT  PRIMARY KEY DEFAULT NEXTVAL('acq.lineitem_attr_definition_id_seq'),
568         xpath           TEXT            NOT NULL
569 ) INHERITS (acq.lineitem_attr_definition);
570
571 CREATE TABLE acq.lineitem_usr_attr_definition (
572         id              BIGINT  PRIMARY KEY DEFAULT NEXTVAL('acq.lineitem_attr_definition_id_seq'),
573         usr             INT     NOT NULL REFERENCES actor.usr (id) DEFERRABLE INITIALLY DEFERRED
574 ) INHERITS (acq.lineitem_attr_definition);
575 CREATE INDEX li_usr_attr_def_usr_idx  ON acq.lineitem_usr_attr_definition ( usr );
576
577 CREATE TABLE acq.lineitem_local_attr_definition (
578         id              BIGINT  PRIMARY KEY DEFAULT NEXTVAL('acq.lineitem_attr_definition_id_seq')
579 ) INHERITS (acq.lineitem_attr_definition);
580
581 CREATE TABLE acq.lineitem_attr (
582         id              BIGSERIAL       PRIMARY KEY,
583         definition      BIGINT          NOT NULL,
584         lineitem        BIGINT          NOT NULL REFERENCES acq.lineitem (id) ON DELETE CASCADE DEFERRABLE INITIALLY DEFERRED,
585         attr_type       TEXT            NOT NULL,
586         attr_name       TEXT            NOT NULL,
587         attr_value      TEXT            NOT NULL,
588         order_ident     BOOLEAN         NOT NULL DEFAULT FALSE
589 );
590
591 CREATE INDEX li_attr_li_idx ON acq.lineitem_attr (lineitem);
592 CREATE INDEX li_attr_value_idx ON acq.lineitem_attr (attr_value);
593 CREATE INDEX li_attr_definition_idx ON acq.lineitem_attr (definition);
594
595
596 -- Seed data
597
598
599 INSERT INTO acq.lineitem_marc_attr_definition ( code, description, xpath ) VALUES ('title','Title of work','//*[@tag="245"]/*[contains("abcmnopr",@code)]');
600 INSERT INTO acq.lineitem_marc_attr_definition ( code, description, xpath ) VALUES ('author','Author of work','//*[@tag="100" or @tag="110" or @tag="113"]/*[contains("ad",@code)]');
601 INSERT INTO acq.lineitem_marc_attr_definition ( code, description, xpath ) VALUES ('language','Language of work','//*[@tag="240"]/*[@code="l"][1]');
602 INSERT INTO acq.lineitem_marc_attr_definition ( code, description, xpath ) VALUES ('pagination','Pagination','//*[@tag="300"]/*[@code="a"][1]');
603 INSERT INTO acq.lineitem_marc_attr_definition ( code, description, xpath, remove ) VALUES ('isbn','ISBN','//*[@tag="020"]/*[@code="a"]', $r$(?:-|\s.+$)$r$);
604 INSERT INTO acq.lineitem_marc_attr_definition ( code, description, xpath, remove ) VALUES ('issn','ISSN','//*[@tag="022"]/*[@code="a"]', $r$(?:-|\s.+$)$r$);
605 INSERT INTO acq.lineitem_marc_attr_definition ( code, description, xpath, remove ) VALUES ('upc', 'UPC', '//*[@tag="024" and @ind1="1"]/*[@code="a"]', $r$(?:-|\s.+$)$r$);
606 INSERT INTO acq.lineitem_marc_attr_definition ( code, description, xpath ) VALUES ('price','Price','//*[@tag="020" or @tag="022"]/*[@code="c"][1]');
607 INSERT INTO acq.lineitem_marc_attr_definition ( code, description, xpath ) VALUES ('identifier','Identifier','//*[@tag="001"]');
608 INSERT INTO acq.lineitem_marc_attr_definition ( code, description, xpath ) VALUES ('publisher','Publisher','//*[@tag="260"]/*[@code="b"][1]');
609 INSERT INTO acq.lineitem_marc_attr_definition ( code, description, xpath ) VALUES ('pubdate','Publication Date','//*[@tag="260"]/*[@code="c"][1]');
610 INSERT INTO acq.lineitem_marc_attr_definition ( code, description, xpath ) VALUES ('edition','Edition','//*[@tag="250"]/*[@code="a"][1]');
611
612 INSERT INTO acq.lineitem_local_attr_definition ( code, description ) VALUES ('estimated_price', 'Estimated Price');
613
614
615 CREATE TABLE acq.distribution_formula (
616         id              SERIAL PRIMARY KEY,
617         owner   INT NOT NULL
618                         REFERENCES actor.org_unit(id) DEFERRABLE INITIALLY DEFERRED,
619         name    TEXT NOT NULL,
620         skip_count      INT NOT NULL DEFAULT 0,
621         CONSTRAINT acqdf_name_once_per_owner UNIQUE (name, owner)
622 );
623
624 CREATE TABLE acq.distribution_formula_entry (
625         id                      SERIAL PRIMARY KEY,
626         formula         INTEGER NOT NULL REFERENCES acq.distribution_formula(id)
627                                 ON DELETE CASCADE
628                                 DEFERRABLE INITIALLY DEFERRED,
629         position        INTEGER NOT NULL,
630         item_count      INTEGER NOT NULL,
631         owning_lib      INTEGER REFERENCES actor.org_unit(id)
632                                 DEFERRABLE INITIALLY DEFERRED,
633         location        INTEGER REFERENCES asset.copy_location(id),
634         fund            INTEGER REFERENCES acq.fund (id),
635         circ_modifier   TEXT REFERENCES config.circ_modifier (code),
636         collection_code TEXT,
637         CONSTRAINT acqdfe_lib_once_per_formula UNIQUE( formula, position ),
638         CONSTRAINT acqdfe_must_be_somewhere
639                                 CHECK( owning_lib IS NOT NULL OR location IS NOT NULL ) 
640 );
641
642 CREATE TABLE acq.distribution_formula_application (
643     id BIGSERIAL PRIMARY KEY,
644     creator INT NOT NULL REFERENCES actor.usr(id) DEFERRABLE INITIALLY DEFERRED,
645     create_time TIMESTAMP WITH TIME ZONE NOT NULL DEFAULT NOW(),
646     formula INT NOT NULL
647         REFERENCES acq.distribution_formula(id) DEFERRABLE INITIALLY DEFERRED,
648     lineitem INT NOT NULL
649         REFERENCES acq.lineitem(id) ON DELETE CASCADE DEFERRABLE INITIALLY DEFERRED
650 );
651
652 CREATE INDEX acqdfa_df_idx
653     ON acq.distribution_formula_application(formula);
654 CREATE INDEX acqdfa_li_idx
655     ON acq.distribution_formula_application(lineitem);
656 CREATE INDEX acqdfa_creator_idx
657     ON acq.distribution_formula_application(creator);
658
659 CREATE TABLE acq.fund_tag (
660         id              SERIAL PRIMARY KEY,
661         owner   INT NOT NULL
662                         REFERENCES actor.org_unit(id) DEFERRABLE INITIALLY DEFERRED,
663         name    TEXT NOT NULL,
664         CONSTRAINT acqft_tag_once_per_owner UNIQUE (name, owner)
665 );
666
667 CREATE TABLE acq.fund_tag_map (
668         id                      SERIAL PRIMARY KEY,
669         fund            INTEGER NOT NULL REFERENCES acq.fund(id)
670                                 DEFERRABLE INITIALLY DEFERRED,
671         tag         INTEGER REFERENCES acq.fund_tag(id)
672                                 ON DELETE CASCADE
673                                 DEFERRABLE INITIALLY DEFERRED,
674         CONSTRAINT acqftm_fund_once_per_tag UNIQUE( fund, tag )
675 );
676
677 CREATE TABLE acq.fund_transfer (
678     id               SERIAL         PRIMARY KEY,
679     src_fund         INT            NOT NULL REFERENCES acq.fund( id )
680                                     DEFERRABLE INITIALLY DEFERRED,
681     src_amount       NUMERIC        NOT NULL,
682     dest_fund        INT            REFERENCES acq.fund( id )
683                                     DEFERRABLE INITIALLY DEFERRED,
684     dest_amount      NUMERIC,
685     transfer_time    TIMESTAMPTZ    NOT NULL DEFAULT now(),
686     transfer_user    INT            NOT NULL REFERENCES actor.usr( id )
687                                     DEFERRABLE INITIALLY DEFERRED,
688     note             TEXT,
689         funding_source_credit INT       NOT NULL REFERENCES acq.funding_source_credit( id )
690                                     DEFERRABLE INITIALLY DEFERRED
691 );
692
693 CREATE INDEX acqftr_usr_idx
694 ON acq.fund_transfer( transfer_user );
695
696 COMMENT ON TABLE acq.fund_transfer IS $$
697 Fund Transfer
698 Each row represents the transfer of money from a source fund
699 to a destination fund.  There should be corresponding entries
700 in acq.fund_allocation.  The purpose of acq.fund_transfer is
701 to record how much money moved from which fund to which other
702 fund.
703
704 The presence of two amount fields, rather than one, reflects
705 the possibility that the two funds are denominated in different
706 currencies.  If they use the same currency type, the two
707 amounts should be the same.
708 $$;
709
710 CREATE TABLE acq.fiscal_calendar (
711         id              SERIAL         PRIMARY KEY,
712         name            TEXT           NOT NULL
713 );
714
715 -- Create a default calendar (though we don't specify its contents). 
716 -- Create a foreign key in actor.org_unit, initially pointing to
717 -- the default calendar.
718
719 INSERT INTO acq.fiscal_calendar (
720     name
721 ) VALUES (
722
723     'Default'
724 );
725
726 ALTER TABLE actor.org_unit ADD FOREIGN KEY
727         (fiscal_calendar) REFERENCES acq.fiscal_calendar( id )
728         DEFERRABLE INITIALLY DEFERRED;
729
730 CREATE TABLE acq.fiscal_year (
731         id              SERIAL         PRIMARY KEY,
732         calendar        INT            NOT NULL
733                                        REFERENCES acq.fiscal_calendar
734                                        ON DELETE CASCADE
735                                        DEFERRABLE INITIALLY DEFERRED,
736         year            INT            NOT NULL,
737         year_begin      TIMESTAMPTZ    NOT NULL,
738         year_end        TIMESTAMPTZ    NOT NULL,
739         CONSTRAINT acq_fy_logical_key  UNIQUE ( calendar, year ),
740     CONSTRAINT acq_fy_physical_key UNIQUE ( calendar, year_begin )
741 );
742
743 CREATE TABLE acq.edi_account (      -- similar tables can extend remote_account for other parts of EG
744     provider    INT     NOT NULL REFERENCES acq.provider          (id) ON DELETE CASCADE DEFERRABLE INITIALLY DEFERRED,
745     in_dir      TEXT,   -- incoming messages dir (probably different than config.remote_account.path, the outgoing dir)
746     vendcode    TEXT,
747     vendacct    TEXT
748 ) INHERITS (config.remote_account);
749
750 -- We need a UNIQUE constraint here also, to support the FK from acq.provider.edi_default
751 ALTER TABLE acq.edi_account ADD PRIMARY KEY (id);
752
753 CREATE TABLE acq.edi_message (
754     id               SERIAL          PRIMARY KEY,
755     account          INTEGER         REFERENCES acq.edi_account(id)
756                                      DEFERRABLE INITIALLY DEFERRED,
757     remote_file      TEXT,
758     create_time      TIMESTAMPTZ     NOT NULL DEFAULT now(),
759     translate_time   TIMESTAMPTZ,
760     process_time     TIMESTAMPTZ,
761     error_time       TIMESTAMPTZ,
762     status           TEXT            NOT NULL DEFAULT 'new'
763                                      CONSTRAINT status_value CHECK
764                                      ( status IN (
765                                         'new',          -- needs to be translated
766                                         'translated',   -- needs to be processed
767                                         'trans_error',  -- error in translation step
768                                         'processed',    -- needs to have remote_file deleted
769                                         'proc_error',   -- error in processing step
770                                         'delete_error', -- error in deletion
771                                                                                 'retry',        -- need to retry
772                                         'complete'      -- done
773                                      )),
774     edi              TEXT,
775     jedi             TEXT,
776     error            TEXT,
777     purchase_order   INT             REFERENCES acq.purchase_order
778                                      DEFERRABLE INITIALLY DEFERRED,
779         message_type     TEXT            NOT NULL CONSTRAINT valid_message_type CHECK
780                                          ( message_type IN (
781                                                                              'ORDERS',
782                                                                              'ORDRSP',
783                                                                              'INVOIC',
784                                                                              'OSTENQ',
785                                                                              'OSTRPT'
786                                                                          ))
787 );
788 CREATE INDEX edi_message_account_status_idx ON acq.edi_message (account,status);
789 CREATE INDEX edi_message_po_idx ON acq.edi_message (purchase_order);
790
791 -- Note below that the primary key is NOT a SERIAL type.  We will periodically truncate and rebuild
792 -- the table, assigning ids programmatically instead of using a sequence.
793 CREATE TABLE acq.debit_attribution (
794     id                     INT         NOT NULL PRIMARY KEY,
795     fund_debit             INT         NOT NULL
796                                        REFERENCES acq.fund_debit
797                                        DEFERRABLE INITIALLY DEFERRED,
798     debit_amount           NUMERIC     NOT NULL,
799     funding_source_credit  INT         REFERENCES acq.funding_source_credit
800                                        DEFERRABLE INITIALLY DEFERRED,
801     credit_amount          NUMERIC
802 );
803
804 CREATE INDEX acq_attribution_debit_idx
805     ON acq.debit_attribution( fund_debit );
806
807 CREATE INDEX acq_attribution_credit_idx
808     ON acq.debit_attribution( funding_source_credit );
809
810 -- Invoicing
811
812 CREATE TABLE acq.invoice_method (
813     code    TEXT    PRIMARY KEY,
814     name    TEXT    NOT NULL -- i18n-ize
815 );
816
817 CREATE TABLE acq.invoice_payment_method (
818     code    TEXT    PRIMARY KEY,
819     name    TEXT    NOT NULL -- i18n-ize
820 );
821
822 CREATE TABLE acq.invoice (
823     id          SERIAL      PRIMARY KEY,
824     receiver    INT         NOT NULL REFERENCES actor.org_unit (id),
825     provider    INT         NOT NULL REFERENCES acq.provider (id),
826     shipper     INT         NOT NULL REFERENCES acq.provider (id),
827     recv_date   TIMESTAMPTZ NOT NULL DEFAULT NOW(),
828     recv_method TEXT        NOT NULL REFERENCES acq.invoice_method (code) DEFAULT 'EDI',
829     inv_type    TEXT,       -- A "type" field is desired, but no idea what goes here
830     inv_ident   TEXT        NOT NULL, -- vendor-supplied invoice id/number
831         payment_auth TEXT,
832         payment_method TEXT     REFERENCES acq.invoice_payment_method (code)
833                                 DEFERRABLE INITIALLY DEFERRED,
834         note        TEXT,
835     complete    BOOL        NOT NULL DEFAULT FALSE,
836     CONSTRAINT  inv_ident_once_per_provider UNIQUE(provider, inv_ident)
837 );
838
839 CREATE TABLE acq.invoice_entry (
840     id              SERIAL      PRIMARY KEY,
841     invoice         INT         NOT NULL REFERENCES acq.invoice (id) ON DELETE CASCADE,
842     purchase_order  INT         REFERENCES acq.purchase_order (id) ON UPDATE CASCADE ON DELETE SET NULL,
843     lineitem        INT         REFERENCES acq.lineitem (id) ON UPDATE CASCADE ON DELETE SET NULL,
844     inv_item_count  INT         NOT NULL, -- How many acqlids did they say they sent
845     phys_item_count INT, -- and how many did staff count
846     note            TEXT,
847     billed_per_item BOOL,
848     cost_billed     NUMERIC(8,2),
849     actual_cost     NUMERIC(8,2),
850         amount_paid     NUMERIC (8,2)
851 );
852
853 CREATE INDEX ie_inv_idx on acq.invoice_entry (invoice);
854 CREATE INDEX ie_po_idx on acq.invoice_entry (purchase_order);
855 CREATE INDEX ie_li_idx on acq.invoice_entry (lineitem);
856
857 CREATE TABLE acq.invoice_item_type (
858     code    TEXT    PRIMARY KEY,
859     name    TEXT    NOT NULL,  -- i18n-ize
860         prorate BOOL    NOT NULL DEFAULT FALSE
861 );
862
863 CREATE TABLE acq.po_item (
864         id              SERIAL      PRIMARY KEY,
865         purchase_order  INT         REFERENCES acq.purchase_order (id)
866                                     ON UPDATE CASCADE ON DELETE SET NULL
867                                     DEFERRABLE INITIALLY DEFERRED,
868         fund_debit      INT         REFERENCES acq.fund_debit (id)
869                                     DEFERRABLE INITIALLY DEFERRED,
870         inv_item_type   TEXT        NOT NULL
871                                     REFERENCES acq.invoice_item_type (code)
872                                     DEFERRABLE INITIALLY DEFERRED,
873         title           TEXT,
874         author          TEXT,
875         note            TEXT,
876         estimated_cost  NUMERIC(8,2),
877         fund            INT         REFERENCES acq.fund (id)
878                                     DEFERRABLE INITIALLY DEFERRED,
879     target          BIGINT
880 );
881
882 CREATE INDEX poi_po_idx ON acq.po_item (purchase_order);
883
884 CREATE TABLE acq.invoice_item ( -- for invoice-only debits: taxes/fees/non-bib items/etc
885     id              SERIAL      PRIMARY KEY,
886     invoice         INT         NOT NULL REFERENCES acq.invoice (id) ON UPDATE CASCADE ON DELETE CASCADE,
887     purchase_order  INT         REFERENCES acq.purchase_order (id) ON UPDATE CASCADE ON DELETE SET NULL,
888     fund_debit      INT         REFERENCES acq.fund_debit (id),
889     inv_item_type   TEXT        NOT NULL REFERENCES acq.invoice_item_type (code),
890     title           TEXT,
891     author          TEXT,
892     note            TEXT,
893     cost_billed     NUMERIC(8,2),
894     actual_cost     NUMERIC(8,2),
895         fund            INT         REFERENCES acq.fund (id)
896                                     DEFERRABLE INITIALLY DEFERRED,
897         amount_paid     NUMERIC (8,2),
898         po_item         INT         REFERENCES acq.po_item (id)
899                                     DEFERRABLE INITIALLY DEFERRED,
900     target          BIGINT
901 );
902
903 CREATE INDEX ii_inv_idx on acq.invoice_item (invoice);
904 CREATE INDEX ii_po_idx on acq.invoice_item (purchase_order);
905 CREATE INDEX ii_poi_idx on acq.invoice_item (po_item);
906
907 -- Patron requests
908 CREATE TABLE acq.user_request_type (
909     id      SERIAL  PRIMARY KEY,
910     label   TEXT    NOT NULL UNIQUE -- i18n-ize
911 );
912
913 INSERT INTO acq.user_request_type (id,label) VALUES (1, oils_i18n_gettext('1', 'Books', 'aurt', 'label'));
914 INSERT INTO acq.user_request_type (id,label) VALUES (2, oils_i18n_gettext('2', 'Journal/Magazine & Newspaper Articles', 'aurt', 'label'));
915 INSERT INTO acq.user_request_type (id,label) VALUES (3, oils_i18n_gettext('3', 'Audiobooks', 'aurt', 'label'));
916 INSERT INTO acq.user_request_type (id,label) VALUES (4, oils_i18n_gettext('4', 'Music', 'aurt', 'label'));
917 INSERT INTO acq.user_request_type (id,label) VALUES (5, oils_i18n_gettext('5', 'DVDs', 'aurt', 'label'));
918
919 SELECT SETVAL('acq.user_request_type_id_seq'::TEXT, 6);
920
921 CREATE TABLE acq.user_request (
922     id                  SERIAL  PRIMARY KEY,
923     usr                 INT     NOT NULL REFERENCES actor.usr (id), -- requesting user
924     hold                BOOL    NOT NULL DEFAULT TRUE,
925
926     pickup_lib          INT     NOT NULL REFERENCES actor.org_unit (id), -- pickup lib
927     holdable_formats    TEXT,           -- nullable, for use in hold creation
928     phone_notify        TEXT,
929     email_notify        BOOL    NOT NULL DEFAULT TRUE,
930     lineitem            INT     REFERENCES acq.lineitem (id) ON DELETE CASCADE,
931     eg_bib              BIGINT  REFERENCES biblio.record_entry (id) ON DELETE CASCADE,
932     request_date        TIMESTAMPTZ NOT NULL DEFAULT NOW(), -- when they requested it
933     need_before         TIMESTAMPTZ,    -- don't create holds after this
934     max_fee             TEXT,
935   
936     request_type        INT     NOT NULL REFERENCES acq.user_request_type (id),
937     isxn                TEXT,
938     title               TEXT,
939     volume              TEXT,
940     author              TEXT,
941     article_title       TEXT,
942     article_pages       TEXT,
943     publisher           TEXT,
944     location            TEXT,
945     pubdate             TEXT,
946     mentioned           TEXT,
947     other_info          TEXT,
948         cancel_reason       INT    REFERENCES acq.cancel_reason( id )
949                                    DEFERRABLE INITIALLY DEFERRED
950 );
951
952
953 -- Functions
954
955 CREATE TYPE acq.flat_lineitem_holding_subfield AS (lineitem int, holding int, subfield text, data text);
956 CREATE OR REPLACE FUNCTION acq.extract_holding_attr_table (lineitem int, tag text) RETURNS SETOF acq.flat_lineitem_holding_subfield AS $$
957 DECLARE
958     counter INT;
959     lida    acq.flat_lineitem_holding_subfield%ROWTYPE;
960 BEGIN
961
962     SELECT  COUNT(*) INTO counter
963       FROM  oils_xpath_table(
964                 'id',
965                 'marc',
966                 'acq.lineitem',
967                 '//*[@tag="' || tag || '"]',
968                 'id=' || lineitem
969             ) as t(i int,c text);
970
971     FOR i IN 1 .. counter LOOP
972         FOR lida IN
973             SELECT  * 
974               FROM  (   SELECT  id,i,t,v
975                           FROM  oils_xpath_table(
976                                     'id',
977                                     'marc',
978                                     'acq.lineitem',
979                                     '//*[@tag="' || tag || '"][position()=' || i || ']/*/@code|' ||
980                                         '//*[@tag="' || tag || '"][position()=' || i || ']/*[@code]',
981                                     'id=' || lineitem
982                                 ) as t(id int,t text,v text)
983                     )x
984         LOOP
985             RETURN NEXT lida;
986         END LOOP;
987     END LOOP;
988
989     RETURN;
990 END;
991 $$ LANGUAGE PLPGSQL;
992
993 CREATE TYPE acq.flat_lineitem_detail AS (lineitem int, holding int, attr text, data text);
994 CREATE OR REPLACE FUNCTION acq.extract_provider_holding_data ( lineitem_i int ) RETURNS SETOF acq.flat_lineitem_detail AS $$
995 DECLARE
996     prov_i  INT;
997     tag_t   TEXT;
998     lida    acq.flat_lineitem_detail%ROWTYPE;
999 BEGIN
1000     SELECT provider INTO prov_i FROM acq.lineitem WHERE id = lineitem_i;
1001     IF NOT FOUND THEN RETURN; END IF;
1002
1003     SELECT holding_tag INTO tag_t FROM acq.provider WHERE id = prov_i;
1004     IF NOT FOUND OR tag_t IS NULL THEN RETURN; END IF;
1005
1006     FOR lida IN
1007         SELECT  lineitem_i,
1008                 h.holding,
1009                 a.name,
1010                 h.data
1011           FROM  acq.extract_holding_attr_table( lineitem_i, tag_t ) h
1012                 JOIN acq.provider_holding_subfield_map a USING (subfield)
1013           WHERE a.provider = prov_i
1014     LOOP
1015         RETURN NEXT lida;
1016     END LOOP;
1017
1018     RETURN;
1019 END;
1020 $$ LANGUAGE PLPGSQL;
1021
1022 -- select * from acq.extract_provider_holding_data(699);
1023
1024 CREATE OR REPLACE FUNCTION public.extract_acq_marc_field ( BIGINT, TEXT, TEXT) RETURNS TEXT AS $$
1025         SELECT extract_marc_field('acq.lineitem', $1, $2, $3);
1026 $$ LANGUAGE SQL;
1027
1028 CREATE OR REPLACE FUNCTION public.extract_acq_marc_field_set ( BIGINT, TEXT, TEXT) RETURNS SETOF TEXT AS $$
1029         SELECT extract_marc_field_set('acq.lineitem', $1, $2, $3);
1030 $$ LANGUAGE SQL;
1031
1032
1033 /*
1034 CREATE OR REPLACE FUNCTION public.extract_bib_marc_field ( BIGINT, TEXT ) RETURNS TEXT AS $$
1035         SELECT public.extract_marc_field('biblio.record_entry', $1, $2);
1036 $$ LANGUAGE SQL;
1037
1038 CREATE OR REPLACE FUNCTION public.extract_authority_marc_field ( BIGINT, TEXT ) RETURNS TEXT AS $$
1039         SELECT public.extract_marc_field('authority.record_entry', $1, $2);
1040 $$ LANGUAGE SQL;
1041 */
1042 -- For example:
1043 -- INSERT INTO acq.lineitem_provider_attr_definition ( provider, code, description, xpath ) VALUES (1,'price','Price','//*[@tag="020" or @tag="022"]/*[@code="a"][1]');
1044
1045 /*
1046 Suggested vendor fields:
1047         vendor_price
1048         vendor_currency
1049         vendor_avail
1050         vendor_po
1051         vendor_identifier
1052 */
1053
1054 CREATE OR REPLACE FUNCTION public.ingest_acq_marc ( ) RETURNS TRIGGER AS $function$
1055 DECLARE
1056         value           TEXT;
1057         atype           TEXT;
1058         prov            INT;
1059         pos             INT;
1060         adef            RECORD;
1061         xpath_string    TEXT;
1062 BEGIN
1063         FOR adef IN SELECT *,tableoid FROM acq.lineitem_attr_definition LOOP
1064
1065                 SELECT relname::TEXT INTO atype FROM pg_class WHERE oid = adef.tableoid;
1066
1067                 IF (atype NOT IN ('lineitem_usr_attr_definition','lineitem_local_attr_definition')) THEN
1068                         IF (atype = 'lineitem_provider_attr_definition') THEN
1069                                 SELECT provider INTO prov FROM acq.lineitem_provider_attr_definition WHERE id = adef.id;
1070                                 CONTINUE WHEN NEW.provider IS NULL OR prov <> NEW.provider;
1071                         END IF;
1072                         
1073                         IF (atype = 'lineitem_provider_attr_definition') THEN
1074                                 SELECT xpath INTO xpath_string FROM acq.lineitem_provider_attr_definition WHERE id = adef.id;
1075                         ELSIF (atype = 'lineitem_marc_attr_definition') THEN
1076                                 SELECT xpath INTO xpath_string FROM acq.lineitem_marc_attr_definition WHERE id = adef.id;
1077                         ELSIF (atype = 'lineitem_generated_attr_definition') THEN
1078                                 SELECT xpath INTO xpath_string FROM acq.lineitem_generated_attr_definition WHERE id = adef.id;
1079                         END IF;
1080
1081             xpath_string := REGEXP_REPLACE(xpath_string,$re$//?text\(\)$$re$,'');
1082
1083             IF (adef.code = 'title' OR adef.code = 'author') THEN
1084                 -- title and author should not be split
1085                 -- FIXME: once oils_xpath can grok XPATH 2.0 functions, we can use
1086                 -- string-join in the xpath and remove this special case
1087                         SELECT extract_acq_marc_field(id, xpath_string, adef.remove) INTO value FROM acq.lineitem WHERE id = NEW.id;
1088                         IF (value IS NOT NULL AND value <> '') THEN
1089                                     INSERT INTO acq.lineitem_attr (lineitem, definition, attr_type, attr_name, attr_value)
1090                                     VALUES (NEW.id, adef.id, atype, adef.code, value);
1091                 END IF;
1092             ELSE
1093                 pos := 1;
1094                 LOOP
1095                     -- each application of the regex may produce multiple values
1096                     FOR value IN
1097                         SELECT * FROM extract_acq_marc_field_set(
1098                             NEW.id, xpath_string || '[' || pos || ']', adef.remove)
1099                         LOOP
1100
1101                         IF (value IS NOT NULL AND value <> '') THEN
1102                             INSERT INTO acq.lineitem_attr
1103                                 (lineitem, definition, attr_type, attr_name, attr_value)
1104                                 VALUES (NEW.id, adef.id, atype, adef.code, value);
1105                         ELSE
1106                             EXIT;
1107                         END IF;
1108                     END LOOP;
1109                     IF NOT FOUND THEN
1110                         EXIT;
1111                     END IF;
1112                     pos := pos + 1;
1113                END LOOP;
1114             END IF;
1115
1116                 END IF;
1117
1118         END LOOP;
1119
1120         RETURN NULL;
1121 END;
1122 $function$ LANGUAGE PLPGSQL;
1123
1124 CREATE OR REPLACE FUNCTION public.cleanup_acq_marc ( ) RETURNS TRIGGER AS $$
1125 BEGIN
1126         IF TG_OP = 'UPDATE' THEN
1127                 DELETE FROM acq.lineitem_attr
1128                         WHERE lineitem = OLD.id AND attr_type IN ('lineitem_provider_attr_definition', 'lineitem_marc_attr_definition','lineitem_generated_attr_definition');
1129                 RETURN NEW;
1130         ELSE
1131                 DELETE FROM acq.lineitem_attr WHERE lineitem = OLD.id;
1132                 RETURN OLD;
1133         END IF;
1134 END;
1135 $$ LANGUAGE PLPGSQL;
1136
1137 CREATE TRIGGER cleanup_lineitem_trigger
1138         BEFORE UPDATE OR DELETE ON acq.lineitem
1139         FOR EACH ROW EXECUTE PROCEDURE public.cleanup_acq_marc();
1140
1141 CREATE TRIGGER ingest_lineitem_trigger
1142         AFTER INSERT OR UPDATE ON acq.lineitem
1143         FOR EACH ROW EXECUTE PROCEDURE public.ingest_acq_marc();
1144
1145 CREATE OR REPLACE FUNCTION acq.exchange_ratio ( from_ex TEXT, to_ex TEXT ) RETURNS NUMERIC AS $$
1146 DECLARE
1147     rat NUMERIC;
1148 BEGIN
1149     IF from_ex = to_ex THEN
1150         RETURN 1.0;
1151     END IF;
1152
1153     SELECT ratio INTO rat FROM acq.exchange_rate WHERE from_currency = from_ex AND to_currency = to_ex;
1154
1155     IF FOUND THEN
1156         RETURN rat;
1157     ELSE
1158         SELECT ratio INTO rat FROM acq.exchange_rate WHERE from_currency = to_ex AND to_currency = from_ex;
1159         IF FOUND THEN
1160             RETURN 1.0/rat;
1161         END IF;
1162     END IF;
1163
1164     RETURN NULL;
1165
1166 END;
1167 $$ LANGUAGE PLPGSQL;
1168
1169 CREATE OR REPLACE FUNCTION acq.exchange_ratio ( TEXT, TEXT, NUMERIC ) RETURNS NUMERIC AS $$
1170     SELECT $3 * acq.exchange_ratio($1, $2);
1171 $$ LANGUAGE SQL;
1172
1173 CREATE OR REPLACE FUNCTION acq.find_bad_fy()
1174 /*
1175         Examine the acq.fiscal_year table, comparing successive years.
1176         Report any inconsistencies, i.e. years that overlap, have gaps
1177     between them, or are out of sequence.
1178 */
1179 RETURNS SETOF RECORD AS $$
1180 DECLARE
1181         first_row  BOOLEAN;
1182         curr_year  RECORD;
1183         prev_year  RECORD;
1184         return_rec RECORD;
1185 BEGIN
1186         first_row := true;
1187         FOR curr_year in
1188                 SELECT
1189                         id,
1190                         calendar,
1191                         year,
1192                         year_begin,
1193                         year_end
1194                 FROM
1195                         acq.fiscal_year
1196                 ORDER BY
1197                         calendar,
1198                         year_begin
1199         LOOP
1200                 --
1201                 IF first_row THEN
1202                         first_row := FALSE;
1203                 ELSIF curr_year.calendar    = prev_year.calendar THEN
1204                         IF curr_year.year_begin > prev_year.year_end THEN
1205                                 -- This ugly kludge works around the fact that older
1206                                 -- versions of PostgreSQL don't support RETURN QUERY SELECT
1207                                 FOR return_rec IN SELECT
1208                                         prev_year.id,
1209                                         prev_year.year,
1210                                         'Gap between fiscal years'::TEXT
1211                                 LOOP
1212                                         RETURN NEXT return_rec;
1213                                 END LOOP;
1214                         ELSIF curr_year.year_begin < prev_year.year_end THEN
1215                                 FOR return_rec IN SELECT
1216                                         prev_year.id,
1217                                         prev_year.year,
1218                                         'Overlapping fiscal years'::TEXT
1219                                 LOOP
1220                                         RETURN NEXT return_rec;
1221                                 END LOOP;
1222                         ELSIF curr_year.year < prev_year.year THEN
1223                                 FOR return_rec IN SELECT
1224                                         prev_year.id,
1225                                         prev_year.year,
1226                                         'Fiscal years out of order'::TEXT
1227                                 LOOP
1228                                         RETURN NEXT return_rec;
1229                                 END LOOP;
1230                         END IF;
1231                 END IF;
1232                 --
1233                 prev_year := curr_year;
1234         END LOOP;
1235         --
1236         RETURN;
1237 END;
1238 $$ LANGUAGE plpgsql;
1239
1240 CREATE OR REPLACE FUNCTION acq.transfer_fund(
1241         old_fund   IN INT,
1242         old_amount IN NUMERIC,     -- in currency of old fund
1243         new_fund   IN INT,
1244         new_amount IN NUMERIC,     -- in currency of new fund
1245         user_id    IN INT,
1246         xfer_note  IN TEXT         -- to be recorded in acq.fund_transfer
1247         -- ,funding_source_in IN INT  -- if user wants to specify a funding source (see notes)
1248 ) RETURNS VOID AS $$
1249 /* -------------------------------------------------------------------------------
1250
1251 Function to transfer money from one fund to another.
1252
1253 A transfer is represented as a pair of entries in acq.fund_allocation, with a
1254 negative amount for the old (losing) fund and a positive amount for the new
1255 (gaining) fund.  In some cases there may be more than one such pair of entries
1256 in order to pull the money from different funding sources, or more specifically
1257 from different funding source credits.  For each such pair there is also an
1258 entry in acq.fund_transfer.
1259
1260 Since funding_source is a non-nullable column in acq.fund_allocation, we must
1261 choose a funding source for the transferred money to come from.  This choice
1262 must meet two constraints, so far as possible:
1263
1264 1. The amount transferred from a given funding source must not exceed the
1265 amount allocated to the old fund by the funding source.  To that end we
1266 compare the amount being transferred to the amount allocated.
1267
1268 2. We shouldn't transfer money that has already been spent or encumbered, as
1269 defined by the funding attribution process.  We attribute expenses to the
1270 oldest funding source credits first.  In order to avoid transferring that
1271 attributed money, we reverse the priority, transferring from the newest funding
1272 source credits first.  There can be no guarantee that this approach will
1273 avoid overcommitting a fund, but no other approach can do any better.
1274
1275 In this context the age of a funding source credit is defined by the
1276 deadline_date for credits with deadline_dates, and by the effective_date for
1277 credits without deadline_dates, with the proviso that credits with deadline_dates
1278 are all considered "older" than those without.
1279
1280 ----------
1281
1282 In the signature for this function, there is one last parameter commented out,
1283 named "funding_source_in".  Correspondingly, the WHERE clause for the query
1284 driving the main loop has an OR clause commented out, which references the
1285 funding_source_in parameter.
1286
1287 If these lines are uncommented, this function will allow the user optionally to
1288 restrict a fund transfer to a specified funding source.  If the source
1289 parameter is left NULL, then there will be no such restriction.
1290
1291 ------------------------------------------------------------------------------- */ 
1292 DECLARE
1293         same_currency      BOOLEAN;
1294         currency_ratio     NUMERIC;
1295         old_fund_currency  TEXT;
1296         old_remaining      NUMERIC;  -- in currency of old fund
1297         new_fund_currency  TEXT;
1298         new_fund_active    BOOLEAN;
1299         new_remaining      NUMERIC;  -- in currency of new fund
1300         curr_old_amt       NUMERIC;  -- in currency of old fund
1301         curr_new_amt       NUMERIC;  -- in currency of new fund
1302         source_addition    NUMERIC;  -- in currency of funding source
1303         source_deduction   NUMERIC;  -- in currency of funding source
1304         orig_allocated_amt NUMERIC;  -- in currency of funding source
1305         allocated_amt      NUMERIC;  -- in currency of fund
1306         source             RECORD;
1307 BEGIN
1308         --
1309         -- Sanity checks
1310         --
1311         IF old_fund IS NULL THEN
1312                 RAISE EXCEPTION 'acq.transfer_fund: old fund id is NULL';
1313         END IF;
1314         --
1315         IF old_amount IS NULL THEN
1316                 RAISE EXCEPTION 'acq.transfer_fund: amount to transfer is NULL';
1317         END IF;
1318         --
1319         -- The new fund and its amount must be both NULL or both not NULL.
1320         --
1321         IF new_fund IS NOT NULL AND new_amount IS NULL THEN
1322                 RAISE EXCEPTION 'acq.transfer_fund: amount to transfer to receiving fund is NULL';
1323         END IF;
1324         --
1325         IF new_fund IS NULL AND new_amount IS NOT NULL THEN
1326                 RAISE EXCEPTION 'acq.transfer_fund: receiving fund is NULL, its amount is not NULL';
1327         END IF;
1328         --
1329         IF user_id IS NULL THEN
1330                 RAISE EXCEPTION 'acq.transfer_fund: user id is NULL';
1331         END IF;
1332         --
1333         -- Initialize the amounts to be transferred, each denominated
1334         -- in the currency of its respective fund.  They will be
1335         -- reduced on each iteration of the loop.
1336         --
1337         old_remaining := old_amount;
1338         new_remaining := new_amount;
1339         --
1340         -- RAISE NOTICE 'Transferring % in fund % to % in fund %',
1341         --      old_amount, old_fund, new_amount, new_fund;
1342         --
1343         -- Get the currency types of the old and new funds.
1344         --
1345         SELECT
1346                 currency_type
1347         INTO
1348                 old_fund_currency
1349         FROM
1350                 acq.fund
1351         WHERE
1352                 id = old_fund;
1353         --
1354         IF old_fund_currency IS NULL THEN
1355                 RAISE EXCEPTION 'acq.transfer_fund: old fund id % is not defined', old_fund;
1356         END IF;
1357         --
1358         IF new_fund IS NOT NULL THEN
1359                 SELECT
1360                         currency_type,
1361                         active
1362                 INTO
1363                         new_fund_currency,
1364                         new_fund_active
1365                 FROM
1366                         acq.fund
1367                 WHERE
1368                         id = new_fund;
1369                 --
1370                 IF new_fund_currency IS NULL THEN
1371                         RAISE EXCEPTION 'acq.transfer_fund: new fund id % is not defined', new_fund;
1372                 ELSIF NOT new_fund_active THEN
1373                         --
1374                         -- No point in putting money into a fund from whence you can't spend it
1375                         --
1376                         RAISE EXCEPTION 'acq.transfer_fund: new fund id % is inactive', new_fund;
1377                 END IF;
1378                 --
1379                 IF new_amount = old_amount THEN
1380                         same_currency := true;
1381                         currency_ratio := 1;
1382                 ELSE
1383                         --
1384                         -- We'll have to translate currency between funds.  We presume that
1385                         -- the calling code has already applied an appropriate exchange rate,
1386                         -- so we'll apply the same conversion to each sub-transfer.
1387                         --
1388                         same_currency := false;
1389                         currency_ratio := new_amount / old_amount;
1390                 END IF;
1391         END IF;
1392         --
1393         -- Identify the funding source(s) from which we want to transfer the money.
1394         -- The principle is that we want to transfer the newest money first, because
1395         -- we spend the oldest money first.  The priority for spending is defined
1396         -- by a sort of the view acq.ordered_funding_source_credit.
1397         --
1398         FOR source in
1399                 SELECT
1400                         ofsc.id,
1401                         ofsc.funding_source,
1402                         ofsc.amount,
1403                         ofsc.amount * acq.exchange_ratio( fs.currency_type, old_fund_currency )
1404                                 AS converted_amt,
1405                         fs.currency_type
1406                 FROM
1407                         acq.ordered_funding_source_credit AS ofsc,
1408                         acq.funding_source fs
1409                 WHERE
1410                         ofsc.funding_source = fs.id
1411                         and ofsc.funding_source IN
1412                         (
1413                                 SELECT funding_source
1414                                 FROM acq.fund_allocation
1415                                 WHERE fund = old_fund
1416                         )
1417                         -- and
1418                         -- (
1419                         --      ofsc.funding_source = funding_source_in
1420                         --      OR funding_source_in IS NULL
1421                         -- )
1422                 ORDER BY
1423                         ofsc.sort_priority desc,
1424                         ofsc.sort_date desc,
1425                         ofsc.id desc
1426         LOOP
1427                 --
1428                 -- Determine how much money the old fund got from this funding source,
1429                 -- denominated in the currency types of the source and of the fund.
1430                 -- This result may reflect transfers from previous iterations.
1431                 --
1432                 SELECT
1433                         COALESCE( sum( amount ), 0 ),
1434                         COALESCE( sum( amount )
1435                                 * acq.exchange_ratio( source.currency_type, old_fund_currency ), 0 )
1436                 INTO
1437                         orig_allocated_amt,     -- in currency of the source
1438                         allocated_amt           -- in currency of the old fund
1439                 FROM
1440                         acq.fund_allocation
1441                 WHERE
1442                         fund = old_fund
1443                         and funding_source = source.funding_source;
1444                 --      
1445                 -- Determine how much to transfer from this credit, in the currency
1446                 -- of the fund.   Begin with the amount remaining to be attributed:
1447                 --
1448                 curr_old_amt := old_remaining;
1449                 --
1450                 -- Can't attribute more than was allocated from the fund:
1451                 --
1452                 IF curr_old_amt > allocated_amt THEN
1453                         curr_old_amt := allocated_amt;
1454                 END IF;
1455                 --
1456                 -- Can't attribute more than the amount of the current credit:
1457                 --
1458                 IF curr_old_amt > source.converted_amt THEN
1459                         curr_old_amt := source.converted_amt;
1460                 END IF;
1461                 --
1462                 curr_old_amt := trunc( curr_old_amt, 2 );
1463                 --
1464                 old_remaining := old_remaining - curr_old_amt;
1465                 --
1466                 -- Determine the amount to be deducted, if any,
1467                 -- from the old allocation.
1468                 --
1469                 IF old_remaining > 0 THEN
1470                         --
1471                         -- In this case we're using the whole allocation, so use that
1472                         -- amount directly instead of applying a currency translation
1473                         -- and thereby inviting round-off errors.
1474                         --
1475                         source_deduction := - orig_allocated_amt;
1476                 ELSE 
1477                         source_deduction := trunc(
1478                                 ( - curr_old_amt ) *
1479                                         acq.exchange_ratio( old_fund_currency, source.currency_type ),
1480                                 2 );
1481                 END IF;
1482                 --
1483                 IF source_deduction <> 0 THEN
1484                         --
1485                         -- Insert negative allocation for old fund in fund_allocation,
1486                         -- converted into the currency of the funding source
1487                         --
1488                         INSERT INTO acq.fund_allocation (
1489                                 funding_source,
1490                                 fund,
1491                                 amount,
1492                                 allocator,
1493                                 note
1494                         ) VALUES (
1495                                 source.funding_source,
1496                                 old_fund,
1497                                 source_deduction,
1498                                 user_id,
1499                                 'Transfer to fund ' || new_fund
1500                         );
1501                 END IF;
1502                 --
1503                 IF new_fund IS NOT NULL THEN
1504                         --
1505                         -- Determine how much to add to the new fund, in
1506                         -- its currency, and how much remains to be added:
1507                         --
1508                         IF same_currency THEN
1509                                 curr_new_amt := curr_old_amt;
1510                         ELSE
1511                                 IF old_remaining = 0 THEN
1512                                         --
1513                                         -- This is the last iteration, so nothing should be left
1514                                         --
1515                                         curr_new_amt := new_remaining;
1516                                         new_remaining := 0;
1517                                 ELSE
1518                                         curr_new_amt := trunc( curr_old_amt * currency_ratio, 2 );
1519                                         new_remaining := new_remaining - curr_new_amt;
1520                                 END IF;
1521                         END IF;
1522                         --
1523                         -- Determine how much to add, if any,
1524                         -- to the new fund's allocation.
1525                         --
1526                         IF old_remaining > 0 THEN
1527                                 --
1528                                 -- In this case we're using the whole allocation, so use that amount
1529                                 -- amount directly instead of applying a currency translation and
1530                                 -- thereby inviting round-off errors.
1531                                 --
1532                                 source_addition := orig_allocated_amt;
1533                         ELSIF source.currency_type = old_fund_currency THEN
1534                                 --
1535                                 -- In this case we don't need a round trip currency translation,
1536                                 -- thereby inviting round-off errors:
1537                                 --
1538                                 source_addition := curr_old_amt;
1539                         ELSE 
1540                                 source_addition := trunc(
1541                                         curr_new_amt *
1542                                                 acq.exchange_ratio( new_fund_currency, source.currency_type ),
1543                                         2 );
1544                         END IF;
1545                         --
1546                         IF source_addition <> 0 THEN
1547                                 --
1548                                 -- Insert positive allocation for new fund in fund_allocation,
1549                                 -- converted to the currency of the founding source
1550                                 --
1551                                 INSERT INTO acq.fund_allocation (
1552                                         funding_source,
1553                                         fund,
1554                                         amount,
1555                                         allocator,
1556                                         note
1557                                 ) VALUES (
1558                                         source.funding_source,
1559                                         new_fund,
1560                                         source_addition,
1561                                         user_id,
1562                                         'Transfer from fund ' || old_fund
1563                                 );
1564                         END IF;
1565                 END IF;
1566                 --
1567                 IF trunc( curr_old_amt, 2 ) <> 0
1568                 OR trunc( curr_new_amt, 2 ) <> 0 THEN
1569                         --
1570                         -- Insert row in fund_transfer, using amounts in the currency of the funds
1571                         --
1572                         INSERT INTO acq.fund_transfer (
1573                                 src_fund,
1574                                 src_amount,
1575                                 dest_fund,
1576                                 dest_amount,
1577                                 transfer_user,
1578                                 note,
1579                                 funding_source_credit
1580                         ) VALUES (
1581                                 old_fund,
1582                                 trunc( curr_old_amt, 2 ),
1583                                 new_fund,
1584                                 trunc( curr_new_amt, 2 ),
1585                                 user_id,
1586                                 xfer_note,
1587                                 source.id
1588                         );
1589                 END IF;
1590                 --
1591                 if old_remaining <= 0 THEN
1592                         EXIT;                   -- Nothing more to be transferred
1593                 END IF;
1594         END LOOP;
1595 END;
1596 $$ LANGUAGE plpgsql;
1597
1598 CREATE OR REPLACE FUNCTION acq.attribute_debits() RETURNS VOID AS $$
1599 /*
1600 Function to attribute expenditures and encumbrances to funding source credits,
1601 and thereby to funding sources.
1602
1603 Read the debits in chonological order, attributing each one to one or
1604 more funding source credits.  Constraints:
1605
1606 1. Don't attribute more to a credit than the amount of the credit.
1607
1608 2. For a given fund, don't attribute more to a funding source than the
1609 source has allocated to that fund.
1610
1611 3. Attribute debits to credits with deadlines before attributing them to
1612 credits without deadlines.  Otherwise attribute to the earliest credits
1613 first, based on the deadline date when present, or on the effective date
1614 when there is no deadline.  Use funding_source_credit.id as a tie-breaker.
1615 This ordering is defined by an ORDER BY clause on the view
1616 acq.ordered_funding_source_credit.
1617
1618 Start by truncating the table acq.debit_attribution.  Then insert a row
1619 into that table for each attribution.  If a debit cannot be fully
1620 attributed, insert a row for the unattributable balance, with the 
1621 funding_source_credit and credit_amount columns NULL.
1622 */
1623 DECLARE
1624         curr_fund_source_bal RECORD;
1625         seqno                INT;     -- sequence num for credits applicable to a fund
1626         fund_credit          RECORD;  -- current row in temp t_fund_credit table
1627         fc                   RECORD;  -- used for loading t_fund_credit table
1628         sc                   RECORD;  -- used for loading t_fund_credit table
1629         --
1630         -- Used exclusively in the main loop:
1631         --
1632         deb                 RECORD;   -- current row from acq.fund_debit table
1633         curr_credit_bal     RECORD;   -- current row from temp t_credit table
1634         debit_balance       NUMERIC;  -- amount left to attribute for current debit
1635         conv_debit_balance  NUMERIC;  -- debit balance in currency of the fund
1636         attr_amount         NUMERIC;  -- amount being attributed, in currency of debit
1637         conv_attr_amount    NUMERIC;  -- amount being attributed, in currency of source
1638         conv_cred_balance   NUMERIC;  -- credit_balance in the currency of the fund
1639         conv_alloc_balance  NUMERIC;  -- allocated balance in the currency of the fund
1640         attrib_count        INT;      -- populates id of acq.debit_attribution
1641 BEGIN
1642         --
1643         -- Load a temporary table.  For each combination of fund and funding source,
1644         -- load an entry with the total amount allocated to that fund by that source.
1645         -- This sum may reflect transfers as well as original allocations.  We will
1646         -- reduce this balance whenever we attribute debits to it.
1647         --
1648         CREATE TEMP TABLE t_fund_source_bal
1649         ON COMMIT DROP AS
1650                 SELECT
1651                         fund AS fund,
1652                         funding_source AS source,
1653                         sum( amount ) AS balance
1654                 FROM
1655                         acq.fund_allocation
1656                 GROUP BY
1657                         fund,
1658                         funding_source
1659                 HAVING
1660                         sum( amount ) > 0;
1661         --
1662         CREATE INDEX t_fund_source_bal_idx
1663                 ON t_fund_source_bal( fund, source );
1664         -------------------------------------------------------------------------------
1665         --
1666         -- Load another temporary table.  For each fund, load zero or more
1667         -- funding source credits from which that fund can get money.
1668         --
1669         CREATE TEMP TABLE t_fund_credit (
1670                 fund        INT,
1671                 seq         INT,
1672                 credit      INT
1673         ) ON COMMIT DROP;
1674         --
1675         FOR fc IN
1676                 SELECT DISTINCT fund
1677                 FROM acq.fund_allocation
1678                 ORDER BY fund
1679         LOOP                  -- Loop over the funds
1680                 seqno := 1;
1681                 FOR sc IN
1682                         SELECT
1683                                 ofsc.id
1684                         FROM
1685                                 acq.ordered_funding_source_credit AS ofsc
1686                         WHERE
1687                                 ofsc.funding_source IN
1688                                 (
1689                                         SELECT funding_source
1690                                         FROM acq.fund_allocation
1691                                         WHERE fund = fc.fund
1692                                 )
1693                 ORDER BY
1694                     ofsc.sort_priority,
1695                     ofsc.sort_date,
1696                     ofsc.id
1697                 LOOP                        -- Add each credit to the list
1698                         INSERT INTO t_fund_credit (
1699                                 fund,
1700                                 seq,
1701                                 credit
1702                         ) VALUES (
1703                                 fc.fund,
1704                                 seqno,
1705                                 sc.id
1706                         );
1707                         --RAISE NOTICE 'Fund % credit %', fc.fund, sc.id;
1708                         seqno := seqno + 1;
1709                 END LOOP;     -- Loop over credits for a given fund
1710         END LOOP;         -- Loop over funds
1711         --
1712         CREATE INDEX t_fund_credit_idx
1713                 ON t_fund_credit( fund, seq );
1714         -------------------------------------------------------------------------------
1715         --
1716         -- Load yet another temporary table.  This one is a list of funding source
1717         -- credits, with their balances.  We shall reduce those balances as we
1718         -- attribute debits to them.
1719         --
1720         CREATE TEMP TABLE t_credit
1721         ON COMMIT DROP AS
1722         SELECT
1723             fsc.id AS credit,
1724             fsc.funding_source AS source,
1725             fsc.amount AS balance,
1726             fs.currency_type AS currency_type
1727         FROM
1728             acq.funding_source_credit AS fsc,
1729             acq.funding_source fs
1730         WHERE
1731             fsc.funding_source = fs.id
1732                         AND fsc.amount > 0;
1733         --
1734         CREATE INDEX t_credit_idx
1735                 ON t_credit( credit );
1736         --
1737         -------------------------------------------------------------------------------
1738         --
1739         -- Now that we have loaded the lookup tables: loop through the debits,
1740         -- attributing each one to one or more funding source credits.
1741         -- 
1742         truncate table acq.debit_attribution;
1743         --
1744         attrib_count := 0;
1745         FOR deb in
1746                 SELECT
1747                         fd.id,
1748                         fd.fund,
1749                         fd.amount,
1750                         f.currency_type,
1751                         fd.encumbrance
1752                 FROM
1753                         acq.fund_debit fd,
1754                         acq.fund f
1755                 WHERE
1756                         fd.fund = f.id
1757                 ORDER BY
1758                         fd.id
1759         LOOP
1760                 --RAISE NOTICE 'Debit %, fund %', deb.id, deb.fund;
1761                 --
1762                 debit_balance := deb.amount;
1763                 --
1764                 -- Loop over the funding source credits that are eligible
1765                 -- to pay for this debit
1766                 --
1767                 FOR fund_credit IN
1768                         SELECT
1769                                 credit
1770                         FROM
1771                                 t_fund_credit
1772                         WHERE
1773                                 fund = deb.fund
1774                         ORDER BY
1775                                 seq
1776                 LOOP
1777                         --RAISE NOTICE '   Examining credit %', fund_credit.credit;
1778                         --
1779                         -- Look up the balance for this credit.  If it's zero, then
1780                         -- it's not useful, so treat it as if you didn't find it.
1781                         -- (Actually there shouldn't be any zero balances in the table,
1782                         -- but we check just to make sure.)
1783                         --
1784                         SELECT *
1785                         INTO curr_credit_bal
1786                         FROM t_credit
1787                         WHERE
1788                                 credit = fund_credit.credit
1789                                 AND balance > 0;
1790                         --
1791                         IF curr_credit_bal IS NULL THEN
1792                                 --
1793                                 -- This credit is exhausted; try the next one.
1794                                 --
1795                                 CONTINUE;
1796                         END IF;
1797                         --
1798                         --
1799                         -- At this point we have an applicable credit with some money left.
1800                         -- Now see if the relevant funding_source has any money left.
1801                         --
1802                         -- Look up the balance of the allocation for this combination of
1803                         -- fund and source.  If you find such an entry, but it has a zero
1804                         -- balance, then it's not useful, so treat it as unfound.
1805                         -- (Actually there shouldn't be any zero balances in the table,
1806                         -- but we check just to make sure.)
1807                         --
1808                         SELECT *
1809                         INTO curr_fund_source_bal
1810                         FROM t_fund_source_bal
1811                         WHERE
1812                                 fund = deb.fund
1813                                 AND source = curr_credit_bal.source
1814                                 AND balance > 0;
1815                         --
1816                         IF curr_fund_source_bal IS NULL THEN
1817                                 --
1818                                 -- This fund/source doesn't exist or is already exhausted,
1819                                 -- so we can't use this credit.  Go on to the next one.
1820                                 --
1821                                 CONTINUE;
1822                         END IF;
1823                         --
1824                         -- Convert the available balances to the currency of the fund
1825                         --
1826                         conv_alloc_balance := curr_fund_source_bal.balance * acq.exchange_ratio(
1827                                 curr_credit_bal.currency_type, deb.currency_type );
1828                         conv_cred_balance := curr_credit_bal.balance * acq.exchange_ratio(
1829                                 curr_credit_bal.currency_type, deb.currency_type );
1830                         --
1831                         -- Determine how much we can attribute to this credit: the minimum
1832                         -- of the debit amount, the fund/source balance, and the
1833                         -- credit balance
1834                         --
1835                         --RAISE NOTICE '   deb bal %', debit_balance;
1836                         --RAISE NOTICE '      source % balance %', curr_credit_bal.source, conv_alloc_balance;
1837                         --RAISE NOTICE '      credit % balance %', curr_credit_bal.credit, conv_cred_balance;
1838                         --
1839                         conv_attr_amount := NULL;
1840                         attr_amount := debit_balance;
1841                         --
1842                         IF attr_amount > conv_alloc_balance THEN
1843                                 attr_amount := conv_alloc_balance;
1844                                 conv_attr_amount := curr_fund_source_bal.balance;
1845                         END IF;
1846                         IF attr_amount > conv_cred_balance THEN
1847                                 attr_amount := conv_cred_balance;
1848                                 conv_attr_amount := curr_credit_bal.balance;
1849                         END IF;
1850                         --
1851                         -- If we're attributing all of one of the balances, then that's how
1852                         -- much we will deduct from the balances, and we already captured
1853                         -- that amount above.  Otherwise we must convert the amount of the
1854                         -- attribution from the currency of the fund back to the currency of
1855                         -- the funding source.
1856                         --
1857                         IF conv_attr_amount IS NULL THEN
1858                                 conv_attr_amount := attr_amount * acq.exchange_ratio(
1859                                         deb.currency_type, curr_credit_bal.currency_type );
1860                         END IF;
1861                         --
1862                         -- Insert a row to record the attribution
1863                         --
1864                         attrib_count := attrib_count + 1;
1865                         INSERT INTO acq.debit_attribution (
1866                                 id,
1867                                 fund_debit,
1868                                 debit_amount,
1869                                 funding_source_credit,
1870                                 credit_amount
1871                         ) VALUES (
1872                                 attrib_count,
1873                                 deb.id,
1874                                 attr_amount,
1875                                 curr_credit_bal.credit,
1876                                 conv_attr_amount
1877                         );
1878                         --
1879                         -- Subtract the attributed amount from the various balances
1880                         --
1881                         debit_balance := debit_balance - attr_amount;
1882                         curr_fund_source_bal.balance := curr_fund_source_bal.balance - conv_attr_amount;
1883                         --
1884                         IF curr_fund_source_bal.balance <= 0 THEN
1885                                 --
1886                                 -- This allocation is exhausted.  Delete it so
1887                                 -- that we don't waste time looking at it again.
1888                                 --
1889                                 DELETE FROM t_fund_source_bal
1890                                 WHERE
1891                                         fund = curr_fund_source_bal.fund
1892                                         AND source = curr_fund_source_bal.source;
1893                         ELSE
1894                                 UPDATE t_fund_source_bal
1895                                 SET balance = balance - conv_attr_amount
1896                                 WHERE
1897                                         fund = curr_fund_source_bal.fund
1898                                         AND source = curr_fund_source_bal.source;
1899                         END IF;
1900                         --
1901                         IF curr_credit_bal.balance <= 0 THEN
1902                                 --
1903                                 -- This funding source credit is exhausted.  Delete it
1904                                 -- so that we don't waste time looking at it again.
1905                                 --
1906                                 --DELETE FROM t_credit
1907                                 --WHERE
1908                                 --      credit = curr_credit_bal.credit;
1909                                 --
1910                                 DELETE FROM t_fund_credit
1911                                 WHERE
1912                                         credit = curr_credit_bal.credit;
1913                         ELSE
1914                                 UPDATE t_credit
1915                                 SET balance = curr_credit_bal.balance
1916                                 WHERE
1917                                         credit = curr_credit_bal.credit;
1918                         END IF;
1919                         --
1920                         -- Are we done with this debit yet?
1921                         --
1922                         IF debit_balance <= 0 THEN
1923                                 EXIT;       -- We've fully attributed this debit; stop looking at credits.
1924                         END IF;
1925                 END LOOP;       -- End loop over credits
1926                 --
1927                 IF debit_balance <> 0 THEN
1928                         --
1929                         -- We weren't able to attribute this debit, or at least not
1930                         -- all of it.  Insert a row for the unattributed balance.
1931                         --
1932                         attrib_count := attrib_count + 1;
1933                         INSERT INTO acq.debit_attribution (
1934                                 id,
1935                                 fund_debit,
1936                                 debit_amount,
1937                                 funding_source_credit,
1938                                 credit_amount
1939                         ) VALUES (
1940                                 attrib_count,
1941                                 deb.id,
1942                                 debit_balance,
1943                                 NULL,
1944                                 NULL
1945                         );
1946                 END IF;
1947         END LOOP;   -- End of loop over debits
1948 END;
1949 $$ LANGUAGE 'plpgsql';
1950
1951 CREATE OR REPLACE FUNCTION acq.propagate_funds_by_org_tree(
1952         old_year INTEGER,
1953         user_id INTEGER,
1954         org_unit_id INTEGER,
1955     include_desc BOOL DEFAULT TRUE
1956 ) RETURNS VOID AS $$
1957 DECLARE
1958 --
1959 new_id      INT;
1960 old_fund    RECORD;
1961 org_found   BOOLEAN;
1962 --
1963 BEGIN
1964         --
1965         -- Sanity checks
1966         --
1967         IF old_year IS NULL THEN
1968                 RAISE EXCEPTION 'Input year argument is NULL';
1969         ELSIF old_year NOT BETWEEN 2008 and 2200 THEN
1970                 RAISE EXCEPTION 'Input year is out of range';
1971         END IF;
1972         --
1973         IF user_id IS NULL THEN
1974                 RAISE EXCEPTION 'Input user id argument is NULL';
1975         END IF;
1976         --
1977         IF org_unit_id IS NULL THEN
1978                 RAISE EXCEPTION 'Org unit id argument is NULL';
1979         ELSE
1980                 SELECT TRUE INTO org_found
1981                 FROM actor.org_unit
1982                 WHERE id = org_unit_id;
1983                 --
1984                 IF org_found IS NULL THEN
1985                         RAISE EXCEPTION 'Org unit id is invalid';
1986                 END IF;
1987         END IF;
1988         --
1989         -- Loop over the applicable funds
1990         --
1991         FOR old_fund in SELECT * FROM acq.fund
1992         WHERE
1993                 year = old_year
1994                 AND propagate
1995                 AND ( ( include_desc AND org IN ( SELECT id FROM actor.org_unit_descendants( org_unit_id ) ) )
1996                 OR (NOT include_desc AND org = org_unit_id ) )
1997     
1998         LOOP
1999                 BEGIN
2000                         INSERT INTO acq.fund (
2001                                 org,
2002                                 name,
2003                                 year,
2004                                 currency_type,
2005                                 code,
2006                                 rollover,
2007                                 propagate,
2008                                 balance_warning_percent,
2009                                 balance_stop_percent
2010                         ) VALUES (
2011                                 old_fund.org,
2012                                 old_fund.name,
2013                                 old_year + 1,
2014                                 old_fund.currency_type,
2015                                 old_fund.code,
2016                                 old_fund.rollover,
2017                                 true,
2018                                 old_fund.balance_warning_percent,
2019                                 old_fund.balance_stop_percent
2020                         )
2021                         RETURNING id INTO new_id;
2022                 EXCEPTION
2023                         WHEN unique_violation THEN
2024                                 --RAISE NOTICE 'Fund % already propagated', old_fund.id;
2025                                 CONTINUE;
2026                 END;
2027                 --RAISE NOTICE 'Propagating fund % to fund %',
2028                 --      old_fund.code, new_id;
2029         END LOOP;
2030 END;
2031 $$ LANGUAGE plpgsql;
2032
2033 CREATE OR REPLACE FUNCTION acq.propagate_funds_by_org_unit( old_year INTEGER, user_id INTEGER, org_unit_id INTEGER ) RETURNS VOID AS $$
2034     SELECT acq.propagate_funds_by_org_tree( $1, $2, $3, FALSE );
2035 $$ LANGUAGE SQL;
2036
2037 CREATE OR REPLACE FUNCTION acq.rollover_funds_by_org_tree(
2038         old_year INTEGER,
2039         user_id INTEGER,
2040         org_unit_id INTEGER,
2041     encumb_only BOOL DEFAULT FALSE,
2042     include_desc BOOL DEFAULT TRUE
2043 ) RETURNS VOID AS $$
2044 DECLARE
2045 --
2046 new_fund    INT;
2047 new_year    INT := old_year + 1;
2048 org_found   BOOL;
2049 perm_ous    BOOL;
2050 xfer_amount NUMERIC := 0;
2051 roll_fund   RECORD;
2052 deb         RECORD;
2053 detail      RECORD;
2054 roll_distrib_forms BOOL;
2055 --
2056 BEGIN
2057         --
2058         -- Sanity checks
2059         --
2060         IF old_year IS NULL THEN
2061                 RAISE EXCEPTION 'Input year argument is NULL';
2062     ELSIF old_year NOT BETWEEN 2008 and 2200 THEN
2063         RAISE EXCEPTION 'Input year is out of range';
2064         END IF;
2065         --
2066         IF user_id IS NULL THEN
2067                 RAISE EXCEPTION 'Input user id argument is NULL';
2068         END IF;
2069         --
2070         IF org_unit_id IS NULL THEN
2071                 RAISE EXCEPTION 'Org unit id argument is NULL';
2072         ELSE
2073                 --
2074                 -- Validate the org unit
2075                 --
2076                 SELECT TRUE
2077                 INTO org_found
2078                 FROM actor.org_unit
2079                 WHERE id = org_unit_id;
2080                 --
2081                 IF org_found IS NULL THEN
2082                         RAISE EXCEPTION 'Org unit id % is invalid', org_unit_id;
2083                 ELSIF encumb_only THEN
2084                         SELECT INTO perm_ous value::BOOL FROM
2085                         actor.org_unit_ancestor_setting(
2086                                 'acq.fund.allow_rollover_without_money', org_unit_id
2087                         );
2088                         IF NOT FOUND OR NOT perm_ous THEN
2089                                 RAISE EXCEPTION 'Encumbrance-only rollover not permitted at org %', org_unit_id;
2090                         END IF;
2091                 END IF;
2092         END IF;
2093         --
2094         -- Loop over the propagable funds to identify the details
2095         -- from the old fund plus the id of the new one, if it exists.
2096         --
2097         FOR roll_fund in
2098         SELECT
2099             oldf.id AS old_fund,
2100             oldf.org,
2101             oldf.name,
2102             oldf.currency_type,
2103             oldf.code,
2104                 oldf.rollover,
2105             newf.id AS new_fund_id
2106         FROM
2107         acq.fund AS oldf
2108         LEFT JOIN acq.fund AS newf
2109                 ON ( oldf.code = newf.code )
2110         WHERE
2111                     oldf.year = old_year
2112                 AND oldf.propagate
2113         AND newf.year = new_year
2114                 AND ( ( include_desc AND oldf.org IN ( SELECT id FROM actor.org_unit_descendants( org_unit_id ) ) )
2115                 OR (NOT include_desc AND oldf.org = org_unit_id ) )
2116         LOOP
2117                 --RAISE NOTICE 'Processing fund %', roll_fund.old_fund;
2118                 --
2119                 IF roll_fund.new_fund_id IS NULL THEN
2120                         --
2121                         -- The old fund hasn't been propagated yet.  Propagate it now.
2122                         --
2123                         INSERT INTO acq.fund (
2124                                 org,
2125                                 name,
2126                                 year,
2127                                 currency_type,
2128                                 code,
2129                                 rollover,
2130                                 propagate,
2131                                 balance_warning_percent,
2132                                 balance_stop_percent
2133                         ) VALUES (
2134                                 roll_fund.org,
2135                                 roll_fund.name,
2136                                 new_year,
2137                                 roll_fund.currency_type,
2138                                 roll_fund.code,
2139                                 true,
2140                                 true,
2141                                 roll_fund.balance_warning_percent,
2142                                 roll_fund.balance_stop_percent
2143                         )
2144                         RETURNING id INTO new_fund;
2145                 ELSE
2146                         new_fund = roll_fund.new_fund_id;
2147                 END IF;
2148                 --
2149                 -- Determine the amount to transfer
2150                 --
2151                 SELECT amount
2152                 INTO xfer_amount
2153                 FROM acq.fund_spent_balance
2154                 WHERE fund = roll_fund.old_fund;
2155                 --
2156                 IF xfer_amount <> 0 THEN
2157                         IF NOT encumb_only AND roll_fund.rollover THEN
2158                                 --
2159                                 -- Transfer balance from old fund to new
2160                                 --
2161                                 --RAISE NOTICE 'Transferring % from fund % to %', xfer_amount, roll_fund.old_fund, new_fund;
2162                                 --
2163                                 PERFORM acq.transfer_fund(
2164                                         roll_fund.old_fund,
2165                                         xfer_amount,
2166                                         new_fund,
2167                                         xfer_amount,
2168                                         user_id,
2169                                         'Rollover'
2170                                 );
2171                         ELSE
2172                                 --
2173                                 -- Transfer balance from old fund to the void
2174                                 --
2175                                 -- RAISE NOTICE 'Transferring % from fund % to the void', xfer_amount, roll_fund.old_fund;
2176                                 --
2177                                 PERFORM acq.transfer_fund(
2178                                         roll_fund.old_fund,
2179                                         xfer_amount,
2180                                         NULL,
2181                                         NULL,
2182                                         user_id,
2183                                         'Rollover into the void'
2184                                 );
2185                         END IF;
2186                 END IF;
2187                 --
2188                 IF roll_fund.rollover THEN
2189                         --
2190                         -- Move any lineitems from the old fund to the new one
2191                         -- where the associated debit is an encumbrance.
2192                         --
2193                         -- Any other tables tying expenditure details to funds should
2194                         -- receive similar treatment.  At this writing there are none.
2195                         --
2196                         UPDATE acq.lineitem_detail
2197                         SET fund = new_fund
2198                         WHERE
2199                         fund = roll_fund.old_fund -- this condition may be redundant
2200                         AND fund_debit in
2201                         (
2202                                 SELECT id
2203                                 FROM acq.fund_debit
2204                                 WHERE
2205                                 fund = roll_fund.old_fund
2206                                 AND encumbrance
2207                         );
2208                         --
2209                         -- Move encumbrance debits from the old fund to the new fund
2210                         --
2211                         UPDATE acq.fund_debit
2212                         SET fund = new_fund
2213                         wHERE
2214                                 fund = roll_fund.old_fund
2215                                 AND encumbrance;
2216                 END IF;
2217
2218                 -- Rollover distribution formulae funds
2219                 SELECT INTO roll_distrib_forms value::BOOL FROM
2220                         actor.org_unit_ancestor_setting(
2221                                 'acq.fund.rollover_distrib_forms', org_unit_id
2222                         );
2223
2224                 IF roll_distrib_forms THEN
2225                         UPDATE acq.distribution_formula_entry 
2226                                 SET fund = roll_fund.new_fund_id
2227                                 WHERE fund = roll_fund.old_fund;
2228                 END IF;
2229
2230                 --
2231                 -- Mark old fund as inactive, now that we've closed it
2232                 --
2233                 UPDATE acq.fund
2234                 SET active = FALSE
2235                 WHERE id = roll_fund.old_fund;
2236         END LOOP;
2237 END;
2238 $$ LANGUAGE plpgsql;
2239
2240
2241
2242 CREATE OR REPLACE FUNCTION acq.rollover_funds_by_org_unit( old_year INTEGER, user_id INTEGER, org_unit_id INTEGER, encumb_only BOOL DEFAULT FALSE ) RETURNS VOID AS $$
2243     SELECT acq.rollover_funds_by_org_tree( $1, $2, $3, $4, FALSE );
2244 $$ LANGUAGE SQL;
2245
2246 CREATE OR REPLACE VIEW acq.funding_source_credit_total AS
2247     SELECT  funding_source,
2248             SUM(amount) AS amount
2249       FROM  acq.funding_source_credit
2250       GROUP BY 1;
2251
2252 CREATE OR REPLACE VIEW acq.funding_source_allocation_total AS
2253     SELECT  funding_source,
2254             SUM(a.amount)::NUMERIC(100,2) AS amount
2255     FROM  acq.fund_allocation a
2256     GROUP BY 1;
2257
2258 CREATE OR REPLACE VIEW acq.funding_source_balance AS
2259     SELECT  COALESCE(c.funding_source, a.funding_source) AS funding_source,
2260             SUM(COALESCE(c.amount,0.0) - COALESCE(a.amount,0.0))::NUMERIC(100,2) AS amount
2261       FROM  acq.funding_source_credit_total c
2262             FULL JOIN acq.funding_source_allocation_total a USING (funding_source)
2263       GROUP BY 1;
2264
2265 CREATE OR REPLACE VIEW acq.fund_allocation_total AS
2266     SELECT  fund,
2267             SUM(a.amount * acq.exchange_ratio(s.currency_type, f.currency_type))::NUMERIC(100,2) AS amount
2268     FROM acq.fund_allocation a
2269          JOIN acq.fund f ON (a.fund = f.id)
2270          JOIN acq.funding_source s ON (a.funding_source = s.id)
2271     GROUP BY 1;
2272
2273 CREATE OR REPLACE VIEW acq.fund_debit_total AS
2274     SELECT  fund.id AS fund, 
2275             sum(COALESCE(fund_debit.amount, 0::numeric)) AS amount
2276     FROM acq.fund fund
2277         LEFT JOIN acq.fund_debit fund_debit ON fund.id = fund_debit.fund
2278     GROUP BY fund.id;
2279
2280 CREATE OR REPLACE VIEW acq.fund_encumbrance_total AS
2281     SELECT 
2282         fund.id AS fund, 
2283         sum(COALESCE(fund_debit.amount, 0::numeric)) AS amount 
2284     FROM acq.fund fund
2285         LEFT JOIN acq.fund_debit fund_debit ON fund.id = fund_debit.fund 
2286     WHERE fund_debit.encumbrance GROUP BY fund.id;
2287
2288 CREATE OR REPLACE VIEW acq.fund_spent_total AS
2289     SELECT  fund.id AS fund, 
2290             sum(COALESCE(fund_debit.amount, 0::numeric)) AS amount 
2291     FROM acq.fund fund
2292         LEFT JOIN acq.fund_debit fund_debit ON fund.id = fund_debit.fund 
2293     WHERE NOT fund_debit.encumbrance 
2294     GROUP BY fund.id;
2295
2296 CREATE OR REPLACE VIEW acq.fund_combined_balance AS
2297     SELECT  c.fund, 
2298             c.amount - COALESCE(d.amount, 0.0) AS amount
2299     FROM acq.fund_allocation_total c
2300     LEFT JOIN acq.fund_debit_total d USING (fund);
2301
2302 CREATE OR REPLACE VIEW acq.fund_spent_balance AS
2303     SELECT  c.fund,
2304             c.amount - COALESCE(d.amount,0.0) AS amount
2305       FROM  acq.fund_allocation_total c
2306             LEFT JOIN acq.fund_spent_total d USING (fund);
2307
2308 -- For each fund: the total allocation from all sources, in the
2309 -- currency of the fund (or 0 if there are no allocations)
2310
2311 CREATE VIEW acq.all_fund_allocation_total AS
2312 SELECT
2313     f.id AS fund,
2314     COALESCE( SUM( a.amount * acq.exchange_ratio(
2315         s.currency_type, f.currency_type))::numeric(100,2), 0 )
2316     AS amount
2317 FROM
2318     acq.fund f
2319         LEFT JOIN acq.fund_allocation a
2320             ON a.fund = f.id
2321         LEFT JOIN acq.funding_source s
2322             ON a.funding_source = s.id
2323 GROUP BY
2324     f.id;
2325
2326 -- For every fund: the total encumbrances (or 0 if none),
2327 -- in the currency of the fund.
2328
2329 CREATE VIEW acq.all_fund_encumbrance_total AS
2330 SELECT
2331         f.id AS fund,
2332         COALESCE( encumb.amount, 0 ) AS amount
2333 FROM
2334         acq.fund AS f
2335                 LEFT JOIN (
2336                         SELECT
2337                                 fund,
2338                                 sum( amount ) AS amount
2339                         FROM
2340                                 acq.fund_debit
2341                         WHERE
2342                                 encumbrance
2343                         GROUP BY fund
2344                 ) AS encumb
2345                         ON f.id = encumb.fund;
2346
2347 -- For every fund: the total spent (or 0 if none),
2348 -- in the currency of the fund.
2349
2350 CREATE VIEW acq.all_fund_spent_total AS
2351 SELECT
2352     f.id AS fund,
2353     COALESCE( spent.amount, 0 ) AS amount
2354 FROM
2355     acq.fund AS f
2356         LEFT JOIN (
2357             SELECT
2358                 fund,
2359                 sum( amount ) AS amount
2360             FROM
2361                 acq.fund_debit
2362             WHERE
2363                 NOT encumbrance
2364             GROUP BY fund
2365         ) AS spent
2366             ON f.id = spent.fund;
2367
2368 -- For each fund: the amount not yet spent, in the currency
2369 -- of the fund.  May include encumbrances.
2370
2371 CREATE VIEW acq.all_fund_spent_balance AS
2372 SELECT
2373         c.fund,
2374         c.amount - d.amount AS amount
2375 FROM acq.all_fund_allocation_total c
2376     LEFT JOIN acq.all_fund_spent_total d USING (fund);
2377
2378 -- For each fund: the amount neither spent nor encumbered,
2379 -- in the currency of the fund
2380
2381 CREATE VIEW acq.all_fund_combined_balance AS
2382 SELECT
2383      a.fund,
2384      a.amount - COALESCE( c.amount, 0 ) AS amount
2385 FROM
2386      acq.all_fund_allocation_total a
2387         LEFT OUTER JOIN (
2388             SELECT
2389                 fund,
2390                 SUM( amount ) AS amount
2391             FROM
2392                 acq.fund_debit
2393             GROUP BY
2394                 fund
2395         ) AS c USING ( fund );
2396
2397 CREATE TABLE acq.claim_type (
2398         id             SERIAL           PRIMARY KEY,
2399         org_unit       INT              NOT NULL REFERENCES actor.org_unit(id)
2400                                                  DEFERRABLE INITIALLY DEFERRED,
2401         code           TEXT             NOT NULL,
2402         description    TEXT             NOT NULL,
2403         CONSTRAINT claim_type_once_per_org UNIQUE ( org_unit, code )
2404 );
2405
2406 CREATE TABLE acq.claim (
2407         id             SERIAL           PRIMARY KEY,
2408         type           INT              NOT NULL REFERENCES acq.claim_type
2409                                                  DEFERRABLE INITIALLY DEFERRED,
2410         lineitem_detail BIGINT          NOT NULL REFERENCES acq.lineitem_detail
2411                                                  DEFERRABLE INITIALLY DEFERRED
2412 );
2413
2414 CREATE INDEX claim_lid_idx ON acq.claim( lineitem_detail );
2415
2416 CREATE TABLE acq.claim_event (
2417         id             BIGSERIAL        PRIMARY KEY,
2418         type           INT              NOT NULL REFERENCES acq.claim_event_type
2419                                                  DEFERRABLE INITIALLY DEFERRED,
2420         claim          SERIAL           NOT NULL REFERENCES acq.claim
2421                                                  DEFERRABLE INITIALLY DEFERRED,
2422         event_date     TIMESTAMPTZ      NOT NULL DEFAULT now(),
2423         creator        INT              NOT NULL REFERENCES actor.usr
2424                                                  DEFERRABLE INITIALLY DEFERRED,
2425         note           TEXT
2426 );
2427
2428 CREATE INDEX claim_event_claim_date_idx ON acq.claim_event( claim, event_date );
2429
2430 -- And the serials version of claiming
2431 CREATE TABLE acq.serial_claim (
2432     id     SERIAL           PRIMARY KEY,
2433     type   INT              NOT NULL REFERENCES acq.claim_type
2434                                      DEFERRABLE INITIALLY DEFERRED,
2435     item    BIGINT          NOT NULL REFERENCES serial.item
2436                                      DEFERRABLE INITIALLY DEFERRED
2437 );
2438
2439 CREATE INDEX serial_claim_lid_idx ON acq.serial_claim( item );
2440
2441 CREATE TABLE acq.serial_claim_event (
2442     id             BIGSERIAL        PRIMARY KEY,
2443     type           INT              NOT NULL REFERENCES acq.claim_event_type
2444                                              DEFERRABLE INITIALLY DEFERRED,
2445     claim          SERIAL           NOT NULL REFERENCES acq.serial_claim
2446                                              DEFERRABLE INITIALLY DEFERRED,
2447     event_date     TIMESTAMPTZ      NOT NULL DEFAULT now(),
2448     creator        INT              NOT NULL REFERENCES actor.usr
2449                                              DEFERRABLE INITIALLY DEFERRED,
2450     note           TEXT
2451 );
2452
2453 CREATE INDEX serial_claim_event_claim_date_idx ON acq.serial_claim_event( claim, event_date );
2454
2455 CREATE OR REPLACE VIEW acq.lineitem_summary AS
2456     SELECT 
2457         li.id AS lineitem, 
2458         (
2459             SELECT COUNT(lid.id) 
2460             FROM acq.lineitem_detail lid
2461             WHERE lineitem = li.id
2462         ) AS item_count,
2463         (
2464             SELECT COUNT(lid.id) 
2465             FROM acq.lineitem_detail lid
2466             WHERE recv_time IS NOT NULL AND lineitem = li.id
2467         ) AS recv_count,
2468         (
2469             SELECT COUNT(lid.id) 
2470             FROM acq.lineitem_detail lid
2471             WHERE cancel_reason IS NOT NULL AND lineitem = li.id
2472         ) AS cancel_count,
2473         (
2474             SELECT COUNT(lid.id) 
2475             FROM acq.lineitem_detail lid
2476                 JOIN acq.fund_debit debit ON (lid.fund_debit = debit.id)
2477             WHERE NOT debit.encumbrance AND lineitem = li.id
2478         ) AS invoice_count,
2479         (
2480             SELECT COUNT(DISTINCT(lid.id)) 
2481             FROM acq.lineitem_detail lid
2482                 JOIN acq.claim claim ON (claim.lineitem_detail = lid.id)
2483             WHERE lineitem = li.id
2484         ) AS claim_count,
2485         (
2486             SELECT (COUNT(lid.id) * li.estimated_unit_price)::NUMERIC(8,2)
2487             FROM acq.lineitem_detail lid
2488             WHERE lid.cancel_reason IS NULL AND lineitem = li.id
2489         ) AS estimated_amount,
2490         (
2491             SELECT SUM(debit.amount)::NUMERIC(8,2)
2492             FROM acq.lineitem_detail lid
2493                 JOIN acq.fund_debit debit ON (lid.fund_debit = debit.id)
2494             WHERE debit.encumbrance AND lineitem = li.id
2495         ) AS encumbrance_amount,
2496         (
2497             SELECT SUM(debit.amount)::NUMERIC(8,2)
2498             FROM acq.lineitem_detail lid
2499                 JOIN acq.fund_debit debit ON (lid.fund_debit = debit.id)
2500             WHERE NOT debit.encumbrance AND lineitem = li.id
2501         ) AS paid_amount
2502
2503         FROM acq.lineitem AS li;
2504
2505 COMMIT;