docs/admin_initial_setup/importing_via_staff_client.adoc

   1 Importing materials in the staff client
   2 =======================================
   3
   4 Evergreen exists to connect users to the materials represented by bibliographic
   5 records, call numbers, and copies -- so getting these materials into your
   6 Evergreen system is vital to a successful system. There are two primary means
   7 of getting materials into Evergreen:
   8
   9 * The Evergreen staff client offers the *MARC Batch Importer*, which is a
  10   flexible interface primarily used for small batches of records;
  11 * Alternately, import scripts can load data directly into the database, which is
  12   a highly flexible but much more complex method of loading materials suitable
  13   for large batches of records such as the initial migration from your legacy
  14   library system.
  15
  16 Staff client batch record imports
  17 ---------------------------------
  18 The staff client has a utility for importing batches of bibliographic and copy
  19 records available through *Cataloging > MARC Batch Import/Export*. In addition
  20 to importing new records, this interface can be used to match incoming records
  21 to existing records in the database, add or overlay MARC fields in the existing
  22 record, and add copies to those records.
  23
  24 The MARC Batch Import interface may also be colloquially referred to as
  25 "Vandelay" in the Evergreen community, referring to this interface's internals
  26 in the system.You will also see this name used in several places in the editor.
  27 For instance, when you click on the *Record Match Sets*, the title on the screen
  28 will be *Vandelay Match Sets*.
  29
  30 When to use the MARC Batch Importer
  31 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
  32
  33 * When importing in batches of up to 500 to 1,000 records.
  34 * When you need the system to match those incoming records to existing records
  35   and overlay or add fields to the existing record.
  36 * When you need to add copies to existing records in the system.
  37
  38 WARNING: If you are importing copies that do not have barcodes or call numbers, you
  39 must enable the _Vandelay Generate Default Barcodes_ and _Vandelay Default
  40 Barcode Prefix (vandelay.item.barcode.prefix)_ settings.
  41
  42 Record Match Sets
  43 ~~~~~~~~~~~~~~~~~
  44 Click the *Record Match Sets* button to identify how Evergreen should match
  45 incoming records to existing records in the system.
  46
  47 These record match sets can be used when importing records through the MARC
  48 Batch Importer or when importing order records through the Acquisitions Load
  49 MARC Order Records interface.
  50
  51 Common match points used when creating a match set include:
  52
  53 * MARC tag 020a (ISBN)
  54 * MARC tag 022a (ISSN)
  55 * MARC tag 024a (UPC)
  56 * MARC tag 028a (Publisher number)
  57
  58 Create Match Sets
  59 ~~~~~~~~~~~~~~~~~
  60 . On the *Record Match Sets* screen, click *New Match Set* to create a set of
  61   record match points. Give the set a *Name*. Assign the *Owning Library* from
  62   the dropdown list. The *Match Set Type* should remain as *biblio*. Click
  63   *Save*.
  64 . If you don't see your new set in the list, in the upper left corner of the
  65   staff client window, click the *Reload* button.
  66 . If you had to reload, click the *Record Match Sets* button to get back to
  67   that screen. Find your new set in the list and click its name. (The name will
  68   appear to be a hyperlink.) This will bring you to the *Vandelay Match Set
  69   Editor*.
  70 . Create an expression that will define the match points for the incoming
  71   record. You can choose from two areas to create a match: Record Attribute (MARC
  72   fixed fields) or MARC Tag and Subfield. You can use the Boolean operators AND
  73   and OR to combine these elements to create a match set.
  74 . When adding a Record Attribute or MARC tag/subfield, you also can enter a
  75   Match Score. The Match Score indicates the relative importance of that match
  76   point as Evergreen evaluates an incoming record against an existing record. You
  77   can enter any integer into this field. The number that you enter is only
  78   important as it relates to other match points.
  79 +
  80 Recommended practice is that you create a match score of one (1) for the least
  81 important match point and assign increasing match points to the power of 2 to
  82 working points in increasing importance.
  83 . After creating a match point, drag the completed match point under the folder
  84   with the appropriately-named Boolean folder under the Expression tree.
  85 +
  86 image::media/create_match_sets.png[]
  87 . Click *Save Changes to Expression*.
  88
  89 Quality Metrics
  90 ~~~~~~~~~~~~~~~
  91 * Quality metrics provide a mechanism for Evergreen to measure the quality of
  92 records and to make importing decisions based on quality.
  93 * Metrics are configured in the match set editor.
  94 * Quality metrics are not required when creating a match set.
  95 * You can use a value in a record attribute (MARC fixed fields) or a MARC tag
  96   as your quality metric.
  97 * The encoding level record attribute can be one indicator of record quality.
  98
  99 image::media/record_quality_metrics.png[]
 100
 101 Import Item Attributes
 102 ~~~~~~~~~~~~~~~~~~~~~~
 103 If you are importing copies with your records, you will need to map the data in
 104 your holdings tag to fields in the copy record. Click the *Holdings Import
 105 Profile* button to map this information.
 106
 107 . Click the *New Definition* button to create a new mapping for the holdings tag.
 108 . Add a *Name* for the definition.
 109 . Use the *Tag* field to identify the MARC tag that contains your holdings
 110   information.
 111 . Add the subfields that contain specific copy information to the appropriate
 112   copy field.
 113 . Select the *Keep* box if Evergreen should keep this holdings tag in the
 114   record after it is imported. Otherwise, Evergreen will remove this holdings
 115   tag.
 116 . At a minimum, you should add the subfields that identify the *Circulating
 117 Library*, the *Owning Library*, the *Call Number* and the *Barcode*.
 118 . For more details, see the <<_import_item_attributes,full list of import fields>>
 119
 120 NOTE: All fields (except for Name, Tag and Keep) can contain static
 121 values, a MARC subfield code (such as "a"), or an XPATH query.
 122
 123 image::media/batch_import_profile.png[Partial Screenshot of a Holdings Import Profile]
 124
 125
 126 Overlay/Merge Profiles
 127 ~~~~~~~~~~~~~~~~~~~~~~
 128 If Evergreen finds a match for an incoming record in the database, you need to
 129 identify which fields should be replaced, which should be preserved, and which
 130 should be added to the record. Click the *Merge/Overlay Profiles* button to
 131 create a profile that contains this information.
 132
 133 These overlay/merge profiles can be used when importing records through the
 134 MARC Batch Importer or when importing order records through the Acquisitions
 135 Load MARC Order Records interface.
 136
 137 Evergreen comes pre-installed with two default profiles:
 138
 139 * *Default merge* - No fields from incoming record are added to match. This
 140   profile is useful for item loads or for order record uploads.
 141 * *Default overlay* - Incoming record will replace existing record.
 142
 143 You can customize the overlay/merge behavior with a new profile by clicking the
 144 *New Merge Profile* button. Available options for handling the fields include:
 145
 146 * *Preserve specification* - fields in the existing record that should be
 147   preserved.
 148 * *Replace specification* - fields in existing record that should be replaced
 149   by those in the incoming record.
 150 * *Add specification* - fields from incoming record that should be added to
 151   existing record (in addition to any already there.)
 152 * *Remove specification* - fields that should be removed from incoming record.
 153
 154 You can add multiple tags to these specifications, separating each tag with a
 155 comma.
 156
 157 Importing the records
 158 ~~~~~~~~~~~~~~~~~~~~~
 159 After making the above configurations, you are now ready to import your
 160 records.
 161
 162 . Click the *Import Records* button
 163 . Provide a unique name for the queue where the records will be loaded
 164 . Identify the match set that should be used for matching
 165 . If you are importing copies, identify the *Import Item Attributes* definition
 166   in the Holdings Import Profile
 167 . Select a record source
 168 . Select the overlay/merge profile that defines which fields should be
 169   replaced, added or preserved
 170 . Identify which records should be imported, the options are:
 171   ** *Import Non-Matching Records* will automatically import records that have
 172      no match in the system
 173   ** *Merge on Exact Match* will automatically import records that match on the
 174      901c (record ID)
 175   ** *Merge on Single Match* will automatically import records when there is
 176      only one match in the system
 177   ** *Merge on Best Match* will automatically import records for the best match
 178      in the system; the best match will be determined by the combined total of the
 179      records match point scores
 180
 181 You do not need to select any of these import options at this step. You may also opt to review the records first in the import queue and then import them.
 182
 183 * *Best Single Match Minimum Quality Ratio* should only be changed if quality metrics were used in the match set
 184
 185   ** Set to 0.0 to import a record regardless of record quality
 186   ** Set to 1.0 if the incoming record must be of equal or higher quality than
 187      the existing record to be imported
 188   ** Set to 1.1 if the incoming record must be of higher quality than the
 189      existing record to be imported
 190   ** *Insufficient Quality Fall-Through Profile* can also be used with quality
 191      metrics. If an incoming record does not meet the standards of the minimum
 192      quality ratio, you can identify a back-up merge profile to be used for
 193      those records. For example, you may want to use the default overlay
 194      profile for high-quality records but use the default merge profile for
 195      lower quality records.