Merge branch 'authority-control-sets-squashed_for_master'

Authority control sets! Largely by Mike Rylander, somewhat by me and
others.

This is the merge commit.  See individual commit messages for more
detail.

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Stamping Mike's upgrade script for authority control sets

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Unstamped upgrade script for Authority Control Sets

... with additional fixes from Lebbeous Fogle-Weekley

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Merge/rebase cleanup -- remove useless/incorrect versions of the MARC flattener for different record types

Signed-off-by: Mike Rylander <mrylander@gmail.com>

Merge/rebase cleanup -- authority template by id is needed

Signed-off-by: Mike Rylander <mrylander@gmail.com>

Make search by authority ID actually work on the first try

and also show an odd number of authority record results so that
there can actually be a "middle."

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Provide sorters for browse axes

Make the default bib result sorter 'titlesort' for every
browse axis, which is what makes sense if you think about it.

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Create facet for going right to records linked to a given authority record

Still need an upgrade script, of course, but so does this whole branch

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

attempted to add sanity to paging, but not really there yet

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Make linking to bib records work better by saying any format will do.

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

working! with paging and linking to bibs, except:

... my new facet thingy doesn't seem to work.  here's what I did
sql-wise:

    INSERT INTO config.metabib_field (
        id, field_class, name, label, xpath,
        format, search_field, facet_field
    ) VALUES (
        28, 'identifier',
        'authority_id', 'Authority Record ID',
        '//marc:datafield/marc:subfield[@code=''0'']', 'marcxml', false, true
    );

    INSERT INTO config.metabib_field_index_norm_map (field, norm)
    VALUES (28, 5);

Yet after re-ingesting my bibs I have nothing new in
metabib.facet_entry.  So the "show related bibliographic holdings" links
don't quite work (I believe they /would/, though, if I had the facet
thingy right).

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Finally starting to get somewhere: record display

Record display kind of works.  Need paging and links to bibs.

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Closer to being able to get authority control set from thesaurus code

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

towards using fielder in openils.AuthorityControlSet

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

working on an auth browser

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Add function to set Control Set by Thesaurus Code

Signed-off-by: Mike Rylander <mrylander@gmail.com>

Normalize fixed field names to OCLC values where they exist (what catalogers are used to)

Signed-off-by: Mike Rylander <mrylander@gmail.com>

config ui trivial improvements, scratching out a place for a browse UI

Fix minor glitch when trying to create new authority fields

The Autogrid can handle empty arrays as values for acsaf.bib_fields and
acsaf.axis_maps, but can't handle undefined.

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Move the authority control set config interfaces back into conify

Really, that's where they make sense.  And they're done.

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Axis-field map editor and editor for the axes themselves

The editor for the axes themselves is accessed directly from staff
client menu.  Everything else is reached indirectly from the control set
editor.

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Add bib field editor.  Also make all the editors written so far...

... for authority control sets-related objects do the right thing to
help users create/edit new child objects linked to the right parent
table without extra effort.

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Ability to return to specific authority.control_set or

to specific authority.control_set_authority_field from a child table.
Other improvements heading toward finishing authority control set config UI

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Editor for authority fields

Due to time constraints (and AutoGrid limitations) a click-through UI
with separate pages for separate objects used by the new authority
control sets feature is necessary for now rather than a comprehensive
interface with multiple grids on the same page.

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Thesauri editor

moving stuff where it goes

conify type interfaces in progress.

not completely deleting old unfinished ones yet; there are probably
things to salvage

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Put thesaurus-z handling back in

Signed-off-by: Mike Rylander <mrylander@gmail.com>

Beginnings of the config interfaces

Signed-off-by: Mike Rylander <mrylander@gmail.com>

Move RULE down so that the named tables actually exist

Signed-off-by: Mike Rylander <mrylander@gmail.com>

Switch authority startwith index back to the pre-checking-deletedness version

Signed-off-by: Mike Rylander <mrylander@gmail.com>

correcting template generation; filter out subfields that we do not use in the authority record

Signed-off-by: Mike Rylander <mrylander@gmail.com>

Minor bug fixes (alignment of fm classes, etc); Do not check deletedness, just remove the afr data upon "delete" of an authority; We still need the non-tpo index on afr.value

Signed-off-by: Mike Rylander <mrylander@gmail.com>

Heading normalization bug; Use CStoreEditor, not Editor; syntax-y bugs

Signed-off-by: Mike Rylander <mrylander@gmail.com>

General bug fixes and formatting cleanup

Signed-off-by: Mike Rylander <mrylander@gmail.com>

Repaired syntax errors in SuperCat.pm

Signed-off-by: berick <berick@esilibrary.com>

Repaired syntax errors and thinkos

 * Syntax in AuthorityControlSet.js
 * Protect against empty kwargs hash
 * marcedit.js fixes: Load dojo class before use; Load in my_init(), before which dojo is not defined

Signed-off-by: berick <berick@esilibrary.com>

Protect against empty lists of linked bib searches

Instead of returning undef when passed an empty list of bibs, always
return an array from
open-ils.cat.authority.records.count_linked_bibs
Apart from consistency, this prevents JS errors in the Manage
Authorities UI.

Signed-off-by: berick <berick@esilibrary.com>

SQL typo cleanup

Signed-off-by: Mike Rylander <mrylander@gmail.com>

Use the configured set of authority browse axes in the authority browse interfaces

Use the new singular methods that accept an axis as a param for browse and startwith

Add method for returning valid authority browse axes

Browse axis based browse and startswith methods; minor documentation corrections

Use ACS utility functions instead of hard-wired mapping

Fetch ACS stuff up front; enhance inter-object mapping per IDL; utility functions

Add axis_maps virtual field to control set authority field

Adding tables for browse axis mapping

Use MARC.FixedFields.setFixedField and validate by startwith search against simple_normalized_heading

Function to find authority records matching a MARC field

adjust parameters and documentation note

use the new transformed-value starwith operator

add a special startwith op for use with transformed values (cannot do it another way currently)

Methods for searching by marcxml, constrained (or not) by control set

Add an index using authority.simple_normalize_heading for search

Variant of authority.normalize_heading which ignores thesaurus for comparing slim auth records generated from bibs

functions for converting bibs to authorities based on ACS

Move the AuthorityControlSet module into openils -- it loads data from the server

Utility methods

Bug fixes; Add a method for setting fixed fields; Set the Type FF when rtype=AUT

Move the function to before its first use

Only load control sets once, set the default to the first (for now... YAOUS later)

Add some logic for fetching stored controlsets and switching amongst them

Initial move of fixed-field manipulation out to the MARC Dojo module

bring backend version up to date with the marc-editor embedded version

Stub of a new Dojo module for manipulating ACSs

Use unicode escape instead of raw bytes, for ease of maintenance

replace the perlish authority.normalize_heading with a nearly-equiv plpgsql version that understands control sets

Fix XPath in tracing links view; Replace authority overlay template building function with a PLPGSQL + SQL/XML version that is control set aware

Add See From tracings to LoC authority control set

Use control sets to drive the tracing links view

Add pcrud controller to control set classes; realign IDL to match tables

Trigger to map from thesaurus to control set

Actually use authority.rec_descriptor, populating it with RecStat, ELvl and Subj (aka Thesaurus)

figure out non-authoritive fields to search based on the main_entry field on subordinate fields

Seed data for Authority Control Sets -- LoC

Reworking tables a bit to include subfield list on controlling tags, specify hierarchy of tags (main-entry pointers for non-main fields), and remove unneeded name/description on bib fields

Fieldmapper additions for Authority Control Set tables/classes

Initial schema changes for Authority Control Sets; some whitespace cleanup

Correct CDBI field name on biblio::peer_bib_copy_map

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Jason Etheridge <jason@esilibrary.com>

Ignore part-mapped copies for mr/title/volume holds

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Jason Etheridge <jason@esilibrary.com>

Add Class::DBI linking for monograph parts (and some for conjoined items AKA peer bibs)

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Jason Etheridge <jason@esilibrary.com>

Correct a documentation comment

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Jason Etheridge <jason@esilibrary.com>

Filter out copies that have a monograph part designator when the hold is a non-P hold

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Jason Etheridge <jason@esilibrary.com>

Suggest parts selection on failed parts-capable hold

When a title has copy parts and the user does not select a specific part
for the hold, treat it as a regular title hold.  If the title hold
fails, suggest to the user that he/she should select a specific part,
since that opens the door to a new set of potentially capturable copies,
which allow the hold to be successfully placed.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Jason Etheridge <jason@esilibrary.com>

Stamped DB version for hold_pull_list_template w/ parts

Signed-off-by: Bill Erickson <berick@esilibrary.com>

Add "parts" to Print Full Pull List and Print Full Pull List (Alternate strategy)

Signed-off-by: Jason Etheridge <jason@esilibrary.com>
Signed-off-by: Bill Erickson <berick@esilibrary.com>

Stamping upgrade version number for staff_search_find_no_copies branch

Signed-off-by: Mike Rylander <mrylander@gmail.com>

Unwrapped upgrade script

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

Allow staff search to find bibs sans copies

AKA, no call number OR no call numbers with copies

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

in unified vol/copy editor disallow editing of item attributes when no copies except via templates

Signed-off-by: Jason Etheridge <jason@esilibrary.com>
Signed-off-by: Bill Erickson <berick@esilibrary.com>

Vandelay matching, quality, error reporting, and queue export additions

 * Configuration of direct MARC field comparisons of incoming record to existing records
 * Support for nested boolean MARC comparison expressions: e.g. 100a and (020a or 024a)
 * Support for field-level match scores to create an overall per-record match score
 * Support for best match merge/overlay
 * Support for field-level quality metrics to determine overall record quality
 * Support for enforcing a minimum quality ratio on import to prevent import of lower quality records
 * Support for capturing and reporting record and item import failures.
 * Support for exporting record queues and items as print, CSV, and email
 * Various small display fixes and cleanup

Signed-off-by: Bill Erickson <berick@esilibrary.com>

Stamped DB version

Signed-off-by: Bill Erickson <berick@esilibrary.com>

Seed data and schema cleanup for merge

 * Updated A/T event-def ID in seed data to match master
 * Move schema elements into the correct order in the baseline files (mike)

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Bill Erickson <berick@esilibrary.com>

Logic error fixes in Vandelay

* When counting import failures, also count records that have no import
items attached

* Fixed problem w/ not setting import time/as on newly imported records

Signed-off-by: Bill Erickson <berick@esilibrary.com>

Repaired typo on schema and upgrade SQL

ARRAY_ACUM is not a defined function.  Per Dan Scott, replaced with
ARRAY_AGG instead of the correctly spelled ARRAY_ACCUM, since we'll be
using that function in place of ARRAY_ACCUM going forward.

Thanks, Dan.

Minor syntax/cleanup repairs

Remove tmp seed data file.  T'was replaced with upgrade script

Signed-off-by: Bill Erickson <berick@esilibrary.com>

Correct regression that was held over due to massive moving of functions

upgrade script cleanup

Signed-off-by: Mike Rylander <mrylander@gmail.com>

seed data for vandlelay export templates

Initial upgrade script for vandelay improvements

TODO:
    * Set up the ALTER TABLE statements
    * Further review
    * Testing

repair selector column width (move to width attr) to free up space in queue display

disable sorting on selector column in queue grid