Open-ILS/src/sql/Pg/400.schema.action_trigger.sql

   1 /*
   2  * Copyright (C) 2009  Equinox Software, Inc.
   3  * Mike Rylander <miker@esilibrary.com>
   4  *
   5  * This program is free software; you can redistribute it and/or
   6  * modify it under the terms of the GNU General Public License
   7  * as published by the Free Software Foundation; either version 2
   8  * of the License, or (at your option) any later version.
   9  *
  10  * This program is distributed in the hope that it will be useful,
  11  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  13  * GNU General Public License for more details.
  14  *
  15  */
  16
  17 DROP SCHEMA IF EXISTS action_trigger CASCADE;
  18
  19 BEGIN;
  20
  21 CREATE SCHEMA action_trigger;
  22
  23 CREATE TABLE action_trigger.hook (
  24     key         TEXT    PRIMARY KEY,
  25     core_type   TEXT    NOT NULL,
  26     description TEXT,
  27     passive     BOOL    NOT NULL DEFAULT FALSE
  28 );
  29 INSERT INTO action_trigger.hook (key,core_type,description) VALUES ('checkout','circ','Item checked out to user');
  30 INSERT INTO action_trigger.hook (key,core_type,description) VALUES ('checkin','circ','Item checked in');
  31 INSERT INTO action_trigger.hook (key,core_type,description) VALUES ('lost','circ','Circulating Item marked Lost');
  32 INSERT INTO action_trigger.hook (key,core_type,description) VALUES ('lost.found','circ','Lost Circulating Item checked in');
  33 INSERT INTO action_trigger.hook (key,core_type,description) VALUES ('lost.auto','circ','Circulating Item automatically marked lost');
  34 INSERT INTO action_trigger.hook (key,core_type,description) VALUES ('claims_returned','circ','Circulating Item marked Claims Returned');
  35 INSERT INTO action_trigger.hook (key,core_type,description) VALUES ('claims_returned.found','circ','Claims Returned Circulating Item is checked in');
  36 INSERT INTO action_trigger.hook (key,core_type,description) VALUES ('missing','acp','Item marked Missing');
  37 INSERT INTO action_trigger.hook (key,core_type,description) VALUES ('missing.found','acp','Missing Item checked in');
  38 INSERT INTO action_trigger.hook (key,core_type,description) VALUES ('transit.start','acp','An Item is placed into transit');
  39 INSERT INTO action_trigger.hook (key,core_type,description) VALUES ('transit.finish','acp','An Item is received from a transit');
  40 INSERT INTO action_trigger.hook (key,core_type,description) VALUES ('hold_request.success','ahr','A hold is successfully placed');
  41 INSERT INTO action_trigger.hook (key,core_type,description) VALUES ('hold_request.failure','ahr','A hold is attempted but not successfully placed');
  42 INSERT INTO action_trigger.hook (key,core_type,description) VALUES ('hold.capture','ahr','A targeted Item is captured for a hold');
  43 INSERT INTO action_trigger.hook (key,core_type,description) VALUES ('hold.available','ahr','A held item is ready for pickup');
  44 INSERT INTO action_trigger.hook (key,core_type,description) VALUES ('hold_transit.start','ahtc','A hold-captured Item is placed into transit');
  45 INSERT INTO action_trigger.hook (key,core_type,description) VALUES ('hold_transit.finish','ahtc','A hold-captured Item is received from a transit');
  46 INSERT INTO action_trigger.hook (key,core_type,description,passive) VALUES ('checkout.due','circ','Checked out Item is Due',TRUE);
  47 INSERT INTO action_trigger.hook (key,core_type,description,passive) VALUES ('penalty.PATRON_EXCEEDS_FINES','ausp','Patron has exceeded allowed fines',TRUE);
  48 INSERT INTO action_trigger.hook (key,core_type,description,passive) VALUES ('penalty.PATRON_EXCEEDS_OVERDUE_COUNT','ausp','Patron has exceeded allowed overdue count',TRUE);
  49 INSERT INTO action_trigger.hook (key,core_type,description,passive) VALUES ('penalty.PATRON_EXCEEDS_CHECKOUT_COUNT','ausp','Patron has exceeded allowed checkout count',TRUE);
  50 INSERT INTO action_trigger.hook (key,core_type,description,passive) VALUES ('penalty.PATRON_EXCEEDS_COLLECTIONS_WARNING','ausp','Patron has exceeded maximum fine amount for collections department warning',TRUE);
  51 INSERT INTO action_trigger.hook (key,core_type,description,passive) VALUES ('acqpo.activated','acqpo','Purchase order was activated',FALSE);
  52 INSERT INTO action_trigger.hook (key,core_type,description) VALUES ('format.po.html','acqpo','Formats a Purchase Order as an HTML document');
  53 INSERT INTO action_trigger.hook (key,core_type,description) VALUES ('format.po.pdf','acqpo','Formats a Purchase Order as a PDF document');
  54 INSERT INTO action_trigger.hook (key,core_type,description) VALUES ('damaged','acp','Item marked damaged');
  55 INSERT INTO action_trigger.hook (key,core_type,description) VALUES ('checkout.damaged','circ','A circulating item is marked damaged and the patron is fined');
  56 INSERT INTO action_trigger.hook (key,core_type,description) VALUES ('renewal','circ','Item renewed to user');
  57 INSERT INTO action_trigger.hook (key,core_type,description) VALUES ('checkout.due.emergency_closing','aecc','Circulation due date was adjusted by the Emergency Closing handler');
  58 INSERT INTO action_trigger.hook (key,core_type,description) VALUES ('hold.shelf_expire.emergency_closing','aech','Hold shelf expire time was adjusted by the Emergency Closing handler');
  59 INSERT INTO action_trigger.hook (key,core_type,description) VALUES ('booking.due.emergency_closing','aecr','Booking reservation return date was adjusted by the Emergency Closing handler');
  60 INSERT INTO action_trigger.hook (key,core_type,description) VALUES ('bre.edit','bre','A bib record was edited');
  61 INSERT INTO action_trigger.hook (key, core_type, description) VALUES ('au.email.test', 'au', 'A test email has been requested for this user');
  62 INSERT INTO action_trigger.hook (key, core_type, description) VALUES ('au.sms_text.test', 'au', 'A test SMS has been requested for this user');
  63
  64 -- and much more, I'm sure
  65
  66 -- Specialized collection modules.  Given an FM object, gather some info and return a scalar or ref.
  67 CREATE TABLE action_trigger.collector (
  68     module      TEXT    PRIMARY KEY, -- All live under the OpenILS::Trigger::Collector:: namespace
  69     description TEXT
  70 );
  71 INSERT INTO action_trigger.collector (module,description) VALUES ('fourty_two','Returns the answer to life, the universe and everything');
  72 --INSERT INTO action_trigger.collector (module,description) VALUES ('CircCountsByCircMod','Count of Circulations for a User, broken down by circulation modifier');
  73
  74 -- Simple tests on an FM object from hook.core_type to test for "should we still do this."
  75 CREATE TABLE action_trigger.validator (
  76     module      TEXT    PRIMARY KEY, -- All live under the OpenILS::Trigger::Validator:: namespace
  77     description TEXT
  78 );
  79 INSERT INTO action_trigger.validator (module,description) VALUES ('fourty_two','Returns the answer to life, the universe and everything');
  80 INSERT INTO action_trigger.validator (module,description) VALUES ('NOOP_True','Always returns true -- validation always passes');
  81 INSERT INTO action_trigger.validator (module,description) VALUES ('NOOP_False','Always returns false -- validation always fails');
  82 INSERT INTO action_trigger.validator (module,description) VALUES ('CircIsOpen','Check that the circulation is still open');
  83 INSERT INTO action_trigger.validator (module,description) VALUES ('HoldIsAvailable','Check that an item is on the hold shelf');
  84 INSERT INTO action_trigger.validator (module,description) VALUES ('CircIsOverdue','Check that the circulation is overdue');
  85 INSERT INTO action_trigger.validator (module,description) VALUES ('MaxPassiveDelayAge','Check that the event is not too far past the delay_field time -- requires a max_delay_age interval parameter');
  86 INSERT INTO action_trigger.validator (module,description) VALUES ('MinPassiveTargetAge','Check that the target is old enough to be used by this event -- requires a min_target_age interval parameter, and accepts an optional target_age_field to specify what time to use for offsetting');
  87
  88 -- After an event passes validation (action_trigger.validator), the reactor processes it.
  89 CREATE TABLE action_trigger.reactor (
  90     module      TEXT    PRIMARY KEY, -- All live under the OpenILS::Trigger::Reactor:: namespace
  91     description TEXT
  92 );
  93
  94 INSERT INTO action_trigger.reactor (module,description) VALUES
  95 (   'fourty_two',
  96     oils_i18n_gettext(
  97         'fourty_two',
  98         'Returns the answer to life, the universe and everything',
  99         'atreact',
 100         'description'
 101     )
 102 );
 103 INSERT INTO action_trigger.reactor (module,description) VALUES
 104 (   'NOOP_True',
 105     oils_i18n_gettext(
 106         'NOOP_True',
 107         'Always returns true -- reaction always passes',
 108         'atreact',
 109         'description'
 110     )
 111 );
 112 INSERT INTO action_trigger.reactor (module,description) VALUES
 113 (   'NOOP_False',
 114     oils_i18n_gettext(
 115         'NOOP_False',
 116         'Always returns false -- reaction always fails',
 117         'atreact',
 118         'description'
 119     )
 120 );
 121 INSERT INTO action_trigger.reactor (module,description) VALUES
 122 (   'SendEmail',
 123     oils_i18n_gettext(
 124         'SendEmail',
 125         'Send an email based on a user-defined template',
 126         'atreact',
 127         'description'
 128     )
 129 );
 130
 131 -- TODO: build a PDF generator
 132 --INSERT INTO action_trigger.reactor (module,description) VALUES
 133 --(   'GenerateBatchOverduePDF',
 134 --    oils_i18n_gettext(
 135 --        'GenerateBatchOverduePDF',
 136 --        'Output a batch PDF of overdue notices for printing',
 137 --        'atreact',
 138 --        'description'
 139 --    )
 140 --);
 141
 142 INSERT INTO action_trigger.reactor (module,description) VALUES
 143 (   'MarkItemLost',
 144     oils_i18n_gettext(
 145         'MarkItemLost',
 146         'Marks a circulation and associated item as lost',
 147         'atreact',
 148         'description'
 149     )
 150 );
 151 INSERT INTO action_trigger.reactor (module,description) VALUES
 152 (   'ApplyCircFee',
 153     oils_i18n_gettext(
 154         'ApplyCircFee',
 155         'Applies a billing with a pre-defined amount to a circulation',
 156         'atreact',
 157         'description'
 158     )
 159 );
 160 INSERT INTO action_trigger.reactor (module,description) VALUES
 161 (   'ProcessTemplate',
 162     oils_i18n_gettext(
 163         'ProcessTemplate',
 164         'Processes the configured template',
 165         'atreact',
 166         'description'
 167     )
 168 );
 169
 170 -- After an event is reacted to (either success or failure) a cleanup module is run against the resulting environment
 171 CREATE TABLE action_trigger.cleanup (
 172     module      TEXT    PRIMARY KEY, -- All live under the OpenILS::Trigger::Cleanup:: namespace
 173     description TEXT
 174 );
 175 INSERT INTO action_trigger.cleanup (module,description) VALUES ('fourty_two','Returns the answer to life, the universe and everything');
 176 INSERT INTO action_trigger.cleanup (module,description) VALUES ('NOOP_True','Always returns true -- cleanup always passes');
 177 INSERT INTO action_trigger.cleanup (module,description) VALUES ('NOOP_False','Always returns false -- cleanup always fails');
 178 INSERT INTO action_trigger.cleanup (module,description) VALUES ('ClearAllPending','Remove all future, pending notifications for this target');
 179
 180 CREATE TABLE action_trigger.event_definition (
 181     id              SERIAL      PRIMARY KEY,
 182     active          BOOL        NOT NULL DEFAULT TRUE,
 183     owner           INT         NOT NULL REFERENCES actor.org_unit (id) DEFERRABLE INITIALLY DEFERRED,
 184     name            TEXT        NOT NULL,
 185     hook            TEXT        NOT NULL REFERENCES action_trigger.hook (key) DEFERRABLE INITIALLY DEFERRED,
 186     validator       TEXT        NOT NULL REFERENCES action_trigger.validator (module) DEFERRABLE INITIALLY DEFERRED,
 187     reactor         TEXT        NOT NULL REFERENCES action_trigger.reactor (module) DEFERRABLE INITIALLY DEFERRED,
 188     cleanup_success TEXT        REFERENCES action_trigger.cleanup (module) DEFERRABLE INITIALLY DEFERRED,
 189     cleanup_failure TEXT        REFERENCES action_trigger.cleanup (module) DEFERRABLE INITIALLY DEFERRED,
 190     delay           INTERVAL    NOT NULL DEFAULT '5 minutes',
 191     max_delay       INTERVAL,
 192     repeat_delay    INTERVAL,
 193     usr_field       TEXT,
 194     opt_in_setting  TEXT        REFERENCES config.usr_setting_type (name) DEFERRABLE INITIALLY DEFERRED,
 195     delay_field     TEXT,                 -- for instance, xact_start on a circ hook ... look for fields on hook.core_type where datatype=timestamp? If not set, delay from now()
 196     group_field     TEXT,                 -- field from this.hook.core_type to batch event targets together on, fed into reactor a group at a time.
 197     template        TEXT,                 -- the TT block.  will have an 'environment' hash (or array of hashes, grouped events) built up by validator and collector(s), which can be modified.
 198     granularity     TEXT,   -- could specify a batch which is the only time these events should actually run
 199
 200     context_usr_path        TEXT, -- for optimizing action_trigger.event
 201     context_library_path    TEXT, -- '''
 202     context_bib_path        TEXT, -- '''
 203
 204     message_template        TEXT,
 205     message_usr_path        TEXT,
 206     message_library_path    TEXT,
 207     message_title           TEXT,
 208     retention_interval      INTERVAL,
 209
 210     CONSTRAINT ev_def_owner_hook_val_react_clean_delay_once UNIQUE (owner, hook, validator, reactor, delay, delay_field),
 211     CONSTRAINT ev_def_name_owner_once UNIQUE (owner, name)
 212 );
 213
 214 CREATE OR REPLACE FUNCTION action_trigger.check_valid_retention_interval()
 215     RETURNS TRIGGER AS $_$
 216 BEGIN
 217     /*
 218      * 1. Retention intervals are always allowed on active hooks.
 219      * 2. On passive hooks, retention intervals are only allowed
 220      *    when the event definition has a max_delay value and the
 221      *    retention_interval value is greater than the difference
 222      *    beteween the delay and max_delay values.
 223      */
 224     PERFORM TRUE FROM action_trigger.hook
 225         WHERE key = NEW.hook AND NOT passive;
 226
 227     IF FOUND THEN
 228         RETURN NEW;
 229     END IF;
 230
 231     IF NEW.max_delay IS NOT NULL THEN
 232         IF EXTRACT(EPOCH FROM NEW.retention_interval) >
 233             ABS(EXTRACT(EPOCH FROM (NEW.max_delay - NEW.delay))) THEN
 234             RETURN NEW; -- all good
 235         ELSE
 236             RAISE EXCEPTION 'retention_interval is too short';
 237         END IF;
 238     ELSE
 239         RAISE EXCEPTION 'retention_interval requires max_delay';
 240     END IF;
 241 END;
 242 $_$ LANGUAGE PLPGSQL;
 243
 244 CREATE TRIGGER is_valid_retention_interval
 245     BEFORE INSERT OR UPDATE ON action_trigger.event_definition
 246     FOR EACH ROW WHEN (NEW.retention_interval IS NOT NULL)
 247     EXECUTE PROCEDURE action_trigger.check_valid_retention_interval();
 248
 249 CREATE TABLE action_trigger.environment (
 250     id          SERIAL  PRIMARY KEY,
 251     event_def   INT     NOT NULL REFERENCES action_trigger.event_definition (id) DEFERRABLE INITIALLY DEFERRED,
 252     path        TEXT,       -- fields to flesh. given a hook with a core_type of circ, imagine circ_lib.parent_ou expanding to
 253                             -- {flesh: 2, flesh_fields: {circ: ['circ_lib'], aou: ['parent_ou']}} ... default is to flesh all
 254                             -- at flesh depth 1
 255     collector   TEXT    REFERENCES action_trigger.collector (module) DEFERRABLE INITIALLY DEFERRED, -- if set, given the object at 'path', return some data
 256                                                                       -- to be stashed at environment.<label>
 257     label       TEXT    CHECK (label NOT IN ('result','target','event')),
 258     CONSTRAINT env_event_label_once UNIQUE (event_def,label)
 259 );
 260
 261 CREATE TABLE action_trigger.event_output (
 262     id              BIGSERIAL   PRIMARY KEY,
 263     create_time     TIMESTAMPTZ NOT NULL DEFAULT NOW(),
 264     is_error        BOOLEAN     NOT NULL DEFAULT FALSE,
 265     data            TEXT        NOT NULL
 266 );
 267
 268 CREATE TABLE action_trigger.event (
 269     id              BIGSERIAL   PRIMARY KEY,
 270     target          BIGINT      NOT NULL, -- points at the id from class defined by event_def.hook.core_type
 271     event_def       INT         REFERENCES action_trigger.event_definition (id) DEFERRABLE INITIALLY DEFERRED,
 272     add_time        TIMESTAMPTZ NOT NULL DEFAULT NOW(),
 273     run_time        TIMESTAMPTZ NOT NULL,
 274     start_time      TIMESTAMPTZ,
 275     update_time     TIMESTAMPTZ,
 276     complete_time   TIMESTAMPTZ,
 277     update_process  INT,
 278     state           TEXT        NOT NULL DEFAULT 'pending' CHECK (state IN ('pending','invalid','found','collecting','collected','validating','valid','reacting','reacted','cleaning','complete','error')),
 279     user_data       TEXT        CHECK (user_data IS NULL OR is_json( user_data )),
 280     template_output BIGINT      REFERENCES action_trigger.event_output (id),
 281     error_output    BIGINT      REFERENCES action_trigger.event_output (id),
 282     async_output    BIGINT      REFERENCES action_trigger.event_output (id),
 283     context_user    INT         REFERENCES actor.usr (id),
 284     context_library INT         REFERENCES actor.org_unit (id),
 285     context_bib     BIGINT      REFERENCES biblio.record_entry (id)
 286 );
 287 CREATE INDEX atev_target_def_idx ON action_trigger.event (target,event_def);
 288 CREATE INDEX atev_def_state ON action_trigger.event (event_def,state);
 289 CREATE INDEX atev_template_output ON action_trigger.event (template_output);
 290 CREATE INDEX atev_async_output ON action_trigger.event (async_output);
 291 CREATE INDEX atev_error_output ON action_trigger.event (error_output);
 292 CREATE INDEX atev_context_user ON action_trigger.event (context_user);
 293 CREATE INDEX atev_context_library ON action_trigger.event (context_library);
 294
 295 CREATE TABLE action_trigger.event_params (
 296     id          BIGSERIAL   PRIMARY KEY,
 297     event_def   INT         NOT NULL REFERENCES action_trigger.event_definition (id) DEFERRABLE INITIALLY DEFERRED,
 298     param       TEXT        NOT NULL, -- the key under environment.event.params to store the output of ...
 299     value       TEXT        NOT NULL, -- ... the eval() output of this.  Has access to environment (and, well, all of perl)
 300     CONSTRAINT event_params_event_def_param_once UNIQUE (event_def,param)
 301 );
 302
 303 CREATE TABLE action_trigger.event_def_group (
 304     id      SERIAL  PRIMARY KEY,
 305     owner   INT     NOT NULL REFERENCES actor.org_unit (id)
 306                         ON DELETE RESTRICT ON UPDATE CASCADE
 307                         DEFERRABLE INITIALLY DEFERRED,
 308     hook    TEXT    NOT NULL REFERENCES action_trigger.hook (key)
 309                         ON DELETE RESTRICT ON UPDATE CASCADE
 310                         DEFERRABLE INITIALLY DEFERRED,
 311     active  BOOL    NOT NULL DEFAULT TRUE,
 312     name    TEXT    NOT NULL
 313 );
 314 SELECT SETVAL('action_trigger.event_def_group_id_seq'::TEXT, 100, TRUE);
 315
 316 CREATE TABLE action_trigger.event_def_group_member (
 317     id          SERIAL  PRIMARY KEY,
 318     grp         INT     NOT NULL REFERENCES action_trigger.event_def_group (id)
 319                             ON DELETE CASCADE ON UPDATE CASCADE
 320                             DEFERRABLE INITIALLY DEFERRED,
 321     event_def   INT     NOT NULL REFERENCES action_trigger.event_definition (id)
 322                             ON DELETE RESTRICT ON UPDATE CASCADE
 323                             DEFERRABLE INITIALLY DEFERRED,
 324     sortable    BOOL    NOT NULL DEFAULT TRUE,
 325     holdings    BOOL    NOT NULL DEFAULT FALSE,
 326     external    BOOL    NOT NULL DEFAULT FALSE,
 327     name        TEXT    NOT NULL
 328 );
 329
 330 CREATE OR REPLACE FUNCTION action_trigger.purge_events() RETURNS VOID AS $_$
 331 /**
 332   * Deleting expired events without simultaneously deleting their outputs
 333   * creates orphaned outputs.  Deleting their outputs and all of the events
 334   * linking back to them, plus any outputs those events link to is messy and
 335   * inefficient.  It's simpler to handle them in 2 sweeping steps.
 336   *
 337   * 1. Delete expired events.
 338   * 2. Delete orphaned event outputs.
 339   *
 340   * This has the added benefit of removing outputs that may have been
 341   * orphaned by some other process.  Such outputs are not usuable by
 342   * the system.
 343   *
 344   * This does not guarantee that all events within an event group are
 345   * purged at the same time.  In such cases, the remaining events will
 346   * be purged with the next instance of the purge (or soon thereafter).
 347   * This is another nod toward efficiency over completeness of old
 348   * data that's circling the bit bucket anyway.
 349   */
 350 BEGIN
 351
 352     DELETE FROM action_trigger.event WHERE id IN (
 353         SELECT evt.id
 354         FROM action_trigger.event evt
 355         JOIN action_trigger.event_definition def ON (def.id = evt.event_def)
 356         WHERE def.retention_interval IS NOT NULL
 357             AND evt.state <> 'pending'
 358             AND evt.update_time < (NOW() - def.retention_interval)
 359     );
 360
 361     WITH linked_outputs AS (
 362         SELECT templates.id AS id FROM (
 363             SELECT DISTINCT(template_output) AS id
 364                 FROM action_trigger.event WHERE template_output IS NOT NULL
 365             UNION
 366             SELECT DISTINCT(error_output) AS id
 367                 FROM action_trigger.event WHERE error_output IS NOT NULL
 368             UNION
 369             SELECT DISTINCT(async_output) AS id
 370                 FROM action_trigger.event WHERE async_output IS NOT NULL
 371         ) templates
 372     ) DELETE FROM action_trigger.event_output
 373         WHERE id NOT IN (SELECT id FROM linked_outputs);
 374
 375 END;
 376 $_$ LANGUAGE PLPGSQL;
 377
 378 COMMIT;
 379