Variant of authority.normalize_heading which ignores thesaurus for comparing slim auth records generated from bibs

functions for converting bibs to authorities based on ACS

Move the AuthorityControlSet module into openils -- it loads data from the server

Utility methods

Bug fixes; Add a method for setting fixed fields; Set the Type FF when rtype=AUT

Move the function to before its first use

Only load control sets once, set the default to the first (for now... YAOUS later)

Add some logic for fetching stored controlsets and switching amongst them

Initial move of fixed-field manipulation out to the MARC Dojo module

bring backend version up to date with the marc-editor embedded version

Stub of a new Dojo module for manipulating ACSs

Use unicode escape instead of raw bytes, for ease of maintenance

replace the perlish authority.normalize_heading with a nearly-equiv plpgsql version that understands control sets

Fix XPath in tracing links view; Replace authority overlay template building function with a PLPGSQL + SQL/XML version that is control set aware

Add See From tracings to LoC authority control set

Use control sets to drive the tracing links view

Add pcrud controller to control set classes; realign IDL to match tables

Trigger to map from thesaurus to control set

Actually use authority.rec_descriptor, populating it with RecStat, ELvl and Subj (aka Thesaurus)

figure out non-authoritive fields to search based on the main_entry field on subordinate fields

Seed data for Authority Control Sets -- LoC

Reworking tables a bit to include subfield list on controlling tags, specify hierarchy of tags (main-entry pointers for non-main fields), and remove unneeded name/description on bib fields

Fieldmapper additions for Authority Control Set tables/classes

Initial schema changes for Authority Control Sets; some whitespace cleanup

Correct CDBI field name on biblio::peer_bib_copy_map

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Jason Etheridge <jason@esilibrary.com>

Ignore part-mapped copies for mr/title/volume holds

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Jason Etheridge <jason@esilibrary.com>

Add Class::DBI linking for monograph parts (and some for conjoined items AKA peer bibs)

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Jason Etheridge <jason@esilibrary.com>

Correct a documentation comment

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Jason Etheridge <jason@esilibrary.com>

Filter out copies that have a monograph part designator when the hold is a non-P hold

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Jason Etheridge <jason@esilibrary.com>

Suggest parts selection on failed parts-capable hold

When a title has copy parts and the user does not select a specific part
for the hold, treat it as a regular title hold.  If the title hold
fails, suggest to the user that he/she should select a specific part,
since that opens the door to a new set of potentially capturable copies,
which allow the hold to be successfully placed.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Jason Etheridge <jason@esilibrary.com>

Stamped DB version for hold_pull_list_template w/ parts

Signed-off-by: Bill Erickson <berick@esilibrary.com>

Add "parts" to Print Full Pull List and Print Full Pull List (Alternate strategy)

Signed-off-by: Jason Etheridge <jason@esilibrary.com>
Signed-off-by: Bill Erickson <berick@esilibrary.com>

Stamping upgrade version number for staff_search_find_no_copies branch

Signed-off-by: Mike Rylander <mrylander@gmail.com>

Unwrapped upgrade script

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

Allow staff search to find bibs sans copies

AKA, no call number OR no call numbers with copies

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

in unified vol/copy editor disallow editing of item attributes when no copies except via templates

Signed-off-by: Jason Etheridge <jason@esilibrary.com>
Signed-off-by: Bill Erickson <berick@esilibrary.com>

Vandelay matching, quality, error reporting, and queue export additions

 * Configuration of direct MARC field comparisons of incoming record to existing records
 * Support for nested boolean MARC comparison expressions: e.g. 100a and (020a or 024a)
 * Support for field-level match scores to create an overall per-record match score
 * Support for best match merge/overlay
 * Support for field-level quality metrics to determine overall record quality
 * Support for enforcing a minimum quality ratio on import to prevent import of lower quality records
 * Support for capturing and reporting record and item import failures.
 * Support for exporting record queues and items as print, CSV, and email
 * Various small display fixes and cleanup

Signed-off-by: Bill Erickson <berick@esilibrary.com>

Stamped DB version

Signed-off-by: Bill Erickson <berick@esilibrary.com>

Seed data and schema cleanup for merge

 * Updated A/T event-def ID in seed data to match master
 * Move schema elements into the correct order in the baseline files (mike)

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Bill Erickson <berick@esilibrary.com>

Logic error fixes in Vandelay

* When counting import failures, also count records that have no import
items attached

* Fixed problem w/ not setting import time/as on newly imported records

Signed-off-by: Bill Erickson <berick@esilibrary.com>

Repaired typo on schema and upgrade SQL

ARRAY_ACUM is not a defined function.  Per Dan Scott, replaced with
ARRAY_AGG instead of the correctly spelled ARRAY_ACCUM, since we'll be
using that function in place of ARRAY_ACCUM going forward.

Thanks, Dan.

Minor syntax/cleanup repairs

Remove tmp seed data file.  T'was replaced with upgrade script

Signed-off-by: Bill Erickson <berick@esilibrary.com>

Correct regression that was held over due to massive moving of functions

upgrade script cleanup

Signed-off-by: Mike Rylander <mrylander@gmail.com>

seed data for vandlelay export templates

Initial upgrade script for vandelay improvements

TODO:
    * Set up the ALTER TABLE statements
    * Further review
    * Testing

repair selector column width (move to width attr) to free up space in queue display

disable sorting on selector column in queue grid

avoid pile-up of dojo-attached event handlers for queue upload inputs

set imported_as / import_time on import items after successful import

Yet more Vandelay fixes

* Remove the deprecated .nomatch API call.  no-match is now a runtime
option

* Re-fetch queued record after auto-import to avoid clobbering
imported_as as set by the DB during auto import

Spacing and code comments to keep future-miker from becoming confused again by the lack thereof

Signed-off-by: Mike Rylander <mrylander@gmail.com>

Show the "match score," a hopefully clearer term for match point quality,

in the expression tree UI

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Add items-imported to VL queue summary

Added total_items_imported value to queue summary API call.  Displaying
value in vandelay queue summary area.

Track import time and target copy on import items

Added import_time and imported_as columns to vandelay.import_item

For you branch trackers:

ALTER TABLE vandelay.import_item
    ADD import_time TIMESTAMP WITH TIME ZONE;

ALTER TABLE vandelay.import_item
    ADD imported_as BIGINT REFERENCES
    asset.copy (id) DEFERRABLE INITIALLY DEFERRED;

more delineation of quality vs. score in match set config

Match set point quality terminology change

Change "Quality" in the context of a match set
point to "Match Score Value" to avoid overriding the term "quality".

Return to dijit.form.Button for VL upload form

Otherwise the form is not correctly POSTed

show activity dialog on vandelay item export

More Vandelay text and style cleanup

* More consistent use of the word "match"
* Make upload input more obvious w/ a border
* Move some strings into DTD

Flexible TCN match configuration

If users do not want records with duplicate TCN values imported, users
should rely on match-sets to enforce this policy instead of a hard-coded
duplicate tcn block.  This is done by automatically calling the 'override'
version of bib XML import.  The only tcn-related failure that can now
occur is if no free, non-dupe TCN value can be extracted from the record.

Vandelay import improvements / bug fixes

 * Allow for quality ratio control during import-on-1match
 * Allow for 901c matching when no match-set is selected
 * Tidy up some display strings
 * Numerous small bug fixes

Clean up match_set data on delete

Delete via cascade match_set_point's and match_set_quality entries
for a given match_set on delete

Display org shortname in merge profile editor

...instead of org unit ID

return after Email sent alert

This function also gets used with authority queues, so don't assume import_items()

email template for import items export

tweak formatting for CSV export templates, and add headers

CSV template for import items export

robustify exportHandler, assume response of 1 is success for email methods, and make import_item export methods atomic

toward Import Item templates for export.  May want to consider providing IDL links for some of these fields so we can flesh them in the environment

Remove excised field from IDL

fix variable name for Import Items Export

change the group field for these templates, though they weren't breaking anything before (these are called with fire_object_event and instead of create_events_for_hook, if that makes a difference)

templates for exporting authority queues, but needs testing.  blockers here include importing authority records being broken, and possibly selection of an authority queue to inspect being broken

email template for queued bib records

In the event that a bib queue is not using a match_set, bail out of...

... match_set_test_marcxml() early.  Needs tested.  Also may need
special check for non-null but empty match_sets.

CSV template and file saving worked out

first template and supporting code, printing queued bib records

remove .atomic. from these method names

add .atomic to the end of the queue export API calls where it belongs

wire in the event firing, though we still need the templates.  Put streaming back in for the print/csv/email export methods, since we can respond_complete for email and it to doesn't hurt the other two.

register the methods we're expecting for the print/csv/email exports in Vandelay, and remove limit/offset options for such methods, and expectation of streaming

initial export drop-down for items UI

initial export drop-down for queue UI

more import error tracking and reporting bug fixes

run zz_match_bibs_trigger before update/insert so NEW.quality:= will work

expose new import options to queue interface importer dialog; mucho import bug fixes in the middle layer code; expose queued rec quality in matches interface

added edit support for lwm_ratio on merge_profile; default ratio to that of the merge profile if selected and if a ratio is set on the profile

added missing lwm_ratio field to vandelay.merge_profile

record import error handling improvements

the vandelay match set editor now does quality metrics too

Best Match w/ quality ratio merging

 * Mew Best Match option in merge/overlay
 * support for upload time minimum record quality ratio
 * We now /only/ create new records if no matches exist and the user
   selected a match-free import
 * Selecting a match-free import no longer trumps other merge imports.
   They both work together now.

TODO: find out why queued record quality is not getting set at queued
rec creation time.

working in quality metric editor

grab attr value from vandelay.extract_rec_attrs hstore to compare to configured value

repaired copy/paste error in match_bib_record

Allow different quality measures for different values on the same tag+sf/svf

Save incumbent record quality in bib_match.quality, incoming in queued_record.quality

initial support for selecting merge-on-best-match and setting minimum quality ratio

show match score/quality in VL record match grid

added missing bib_match.match_score field to IDL

slight mods to vandelay match set page to sync w/ updated bib/auth match table layout