Editor for authority fields

Due to time constraints (and AutoGrid limitations) a click-through UI
with separate pages for separate objects used by the new authority
control sets feature is necessary for now rather than a comprehensive
interface with multiple grids on the same page.

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Thesauri editor

moving stuff where it goes

conify type interfaces in progress.

not completely deleting old unfinished ones yet; there are probably
things to salvage

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Put thesaurus-z handling back in

Signed-off-by: Mike Rylander <mrylander@gmail.com>

Beginnings of the config interfaces

Signed-off-by: Mike Rylander <mrylander@gmail.com>

Move RULE down so that the named tables actually exist

Signed-off-by: Mike Rylander <mrylander@gmail.com>

Switch authority startwith index back to the pre-checking-deletedness version

Signed-off-by: Mike Rylander <mrylander@gmail.com>

correcting template generation; filter out subfields that we do not use in the authority record

Signed-off-by: Mike Rylander <mrylander@gmail.com>

Minor bug fixes (alignment of fm classes, etc); Do not check deletedness, just remove the afr data upon "delete" of an authority; We still need the non-tpo index on afr.value

Signed-off-by: Mike Rylander <mrylander@gmail.com>

Heading normalization bug; Use CStoreEditor, not Editor; syntax-y bugs

Signed-off-by: Mike Rylander <mrylander@gmail.com>

General bug fixes and formatting cleanup

Signed-off-by: Mike Rylander <mrylander@gmail.com>

Repaired syntax errors in SuperCat.pm

Signed-off-by: berick <berick@esilibrary.com>

Repaired syntax errors and thinkos

 * Syntax in AuthorityControlSet.js
 * Protect against empty kwargs hash
 * marcedit.js fixes: Load dojo class before use; Load in my_init(), before which dojo is not defined

Signed-off-by: berick <berick@esilibrary.com>

Protect against empty lists of linked bib searches

Instead of returning undef when passed an empty list of bibs, always
return an array from
open-ils.cat.authority.records.count_linked_bibs
Apart from consistency, this prevents JS errors in the Manage
Authorities UI.

Signed-off-by: berick <berick@esilibrary.com>

SQL typo cleanup

Signed-off-by: Mike Rylander <mrylander@gmail.com>

Use the configured set of authority browse axes in the authority browse interfaces

Use the new singular methods that accept an axis as a param for browse and startwith

Add method for returning valid authority browse axes

Browse axis based browse and startswith methods; minor documentation corrections

Use ACS utility functions instead of hard-wired mapping

Fetch ACS stuff up front; enhance inter-object mapping per IDL; utility functions

Add axis_maps virtual field to control set authority field

Adding tables for browse axis mapping

Use MARC.FixedFields.setFixedField and validate by startwith search against simple_normalized_heading

Function to find authority records matching a MARC field

adjust parameters and documentation note

use the new transformed-value starwith operator

add a special startwith op for use with transformed values (cannot do it another way currently)

Methods for searching by marcxml, constrained (or not) by control set

Add an index using authority.simple_normalize_heading for search

Variant of authority.normalize_heading which ignores thesaurus for comparing slim auth records generated from bibs

functions for converting bibs to authorities based on ACS

Move the AuthorityControlSet module into openils -- it loads data from the server

Utility methods

Bug fixes; Add a method for setting fixed fields; Set the Type FF when rtype=AUT

Move the function to before its first use

Only load control sets once, set the default to the first (for now... YAOUS later)

Add some logic for fetching stored controlsets and switching amongst them

Initial move of fixed-field manipulation out to the MARC Dojo module

bring backend version up to date with the marc-editor embedded version

Stub of a new Dojo module for manipulating ACSs

Use unicode escape instead of raw bytes, for ease of maintenance

replace the perlish authority.normalize_heading with a nearly-equiv plpgsql version that understands control sets

Fix XPath in tracing links view; Replace authority overlay template building function with a PLPGSQL + SQL/XML version that is control set aware

Add See From tracings to LoC authority control set

Use control sets to drive the tracing links view

Add pcrud controller to control set classes; realign IDL to match tables

Trigger to map from thesaurus to control set

Actually use authority.rec_descriptor, populating it with RecStat, ELvl and Subj (aka Thesaurus)

figure out non-authoritive fields to search based on the main_entry field on subordinate fields

Seed data for Authority Control Sets -- LoC

Reworking tables a bit to include subfield list on controlling tags, specify hierarchy of tags (main-entry pointers for non-main fields), and remove unneeded name/description on bib fields

Fieldmapper additions for Authority Control Set tables/classes

Initial schema changes for Authority Control Sets; some whitespace cleanup

Correct CDBI field name on biblio::peer_bib_copy_map

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Jason Etheridge <jason@esilibrary.com>

Ignore part-mapped copies for mr/title/volume holds

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Jason Etheridge <jason@esilibrary.com>

Add Class::DBI linking for monograph parts (and some for conjoined items AKA peer bibs)

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Jason Etheridge <jason@esilibrary.com>

Correct a documentation comment

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Jason Etheridge <jason@esilibrary.com>

Filter out copies that have a monograph part designator when the hold is a non-P hold

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Jason Etheridge <jason@esilibrary.com>

Suggest parts selection on failed parts-capable hold

When a title has copy parts and the user does not select a specific part
for the hold, treat it as a regular title hold.  If the title hold
fails, suggest to the user that he/she should select a specific part,
since that opens the door to a new set of potentially capturable copies,
which allow the hold to be successfully placed.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Jason Etheridge <jason@esilibrary.com>

Stamped DB version for hold_pull_list_template w/ parts

Signed-off-by: Bill Erickson <berick@esilibrary.com>

Add "parts" to Print Full Pull List and Print Full Pull List (Alternate strategy)

Signed-off-by: Jason Etheridge <jason@esilibrary.com>
Signed-off-by: Bill Erickson <berick@esilibrary.com>

Stamping upgrade version number for staff_search_find_no_copies branch

Signed-off-by: Mike Rylander <mrylander@gmail.com>

Unwrapped upgrade script

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

Allow staff search to find bibs sans copies

AKA, no call number OR no call numbers with copies

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

in unified vol/copy editor disallow editing of item attributes when no copies except via templates

Signed-off-by: Jason Etheridge <jason@esilibrary.com>
Signed-off-by: Bill Erickson <berick@esilibrary.com>

Vandelay matching, quality, error reporting, and queue export additions

 * Configuration of direct MARC field comparisons of incoming record to existing records
 * Support for nested boolean MARC comparison expressions: e.g. 100a and (020a or 024a)
 * Support for field-level match scores to create an overall per-record match score
 * Support for best match merge/overlay
 * Support for field-level quality metrics to determine overall record quality
 * Support for enforcing a minimum quality ratio on import to prevent import of lower quality records
 * Support for capturing and reporting record and item import failures.
 * Support for exporting record queues and items as print, CSV, and email
 * Various small display fixes and cleanup

Signed-off-by: Bill Erickson <berick@esilibrary.com>

Stamped DB version

Signed-off-by: Bill Erickson <berick@esilibrary.com>

Seed data and schema cleanup for merge

 * Updated A/T event-def ID in seed data to match master
 * Move schema elements into the correct order in the baseline files (mike)

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Bill Erickson <berick@esilibrary.com>

Logic error fixes in Vandelay

* When counting import failures, also count records that have no import
items attached

* Fixed problem w/ not setting import time/as on newly imported records

Signed-off-by: Bill Erickson <berick@esilibrary.com>

Repaired typo on schema and upgrade SQL

ARRAY_ACUM is not a defined function.  Per Dan Scott, replaced with
ARRAY_AGG instead of the correctly spelled ARRAY_ACCUM, since we'll be
using that function in place of ARRAY_ACCUM going forward.

Thanks, Dan.

Minor syntax/cleanup repairs

Remove tmp seed data file.  T'was replaced with upgrade script

Signed-off-by: Bill Erickson <berick@esilibrary.com>

Correct regression that was held over due to massive moving of functions

upgrade script cleanup

Signed-off-by: Mike Rylander <mrylander@gmail.com>

seed data for vandlelay export templates

Initial upgrade script for vandelay improvements

TODO:
    * Set up the ALTER TABLE statements
    * Further review
    * Testing

repair selector column width (move to width attr) to free up space in queue display

disable sorting on selector column in queue grid

avoid pile-up of dojo-attached event handlers for queue upload inputs

set imported_as / import_time on import items after successful import

Yet more Vandelay fixes

* Remove the deprecated .nomatch API call.  no-match is now a runtime
option

* Re-fetch queued record after auto-import to avoid clobbering
imported_as as set by the DB during auto import

Spacing and code comments to keep future-miker from becoming confused again by the lack thereof

Signed-off-by: Mike Rylander <mrylander@gmail.com>

Show the "match score," a hopefully clearer term for match point quality,

in the expression tree UI

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Add items-imported to VL queue summary

Added total_items_imported value to queue summary API call.  Displaying
value in vandelay queue summary area.

Track import time and target copy on import items

Added import_time and imported_as columns to vandelay.import_item

For you branch trackers:

ALTER TABLE vandelay.import_item
    ADD import_time TIMESTAMP WITH TIME ZONE;

ALTER TABLE vandelay.import_item
    ADD imported_as BIGINT REFERENCES
    asset.copy (id) DEFERRABLE INITIALLY DEFERRED;

more delineation of quality vs. score in match set config

Match set point quality terminology change

Change "Quality" in the context of a match set
point to "Match Score Value" to avoid overriding the term "quality".

Return to dijit.form.Button for VL upload form

Otherwise the form is not correctly POSTed

show activity dialog on vandelay item export

More Vandelay text and style cleanup

* More consistent use of the word "match"
* Make upload input more obvious w/ a border
* Move some strings into DTD

Flexible TCN match configuration

If users do not want records with duplicate TCN values imported, users
should rely on match-sets to enforce this policy instead of a hard-coded
duplicate tcn block.  This is done by automatically calling the 'override'
version of bib XML import.  The only tcn-related failure that can now
occur is if no free, non-dupe TCN value can be extracted from the record.

Vandelay import improvements / bug fixes

 * Allow for quality ratio control during import-on-1match
 * Allow for 901c matching when no match-set is selected
 * Tidy up some display strings
 * Numerous small bug fixes

Clean up match_set data on delete

Delete via cascade match_set_point's and match_set_quality entries
for a given match_set on delete

Display org shortname in merge profile editor

...instead of org unit ID

return after Email sent alert

This function also gets used with authority queues, so don't assume import_items()

email template for import items export

tweak formatting for CSV export templates, and add headers

CSV template for import items export

robustify exportHandler, assume response of 1 is success for email methods, and make import_item export methods atomic

toward Import Item templates for export.  May want to consider providing IDL links for some of these fields so we can flesh them in the environment