docs: updating batch_importing_MARC.adoc
[Evergreen.git] / docs / modules / cataloging / pages / batch_importing_MARC.adoc
1 = Batch Importing MARC Records =
2 :toc:
3
4 == Introduction ==
5
6 indexterm:[MARC records,importing,using the staff client]
7
8 [[batchimport]]
9 The cataloging module includes an enhanced MARC Batch Import interface for
10 loading MARC (and MARCXML) records. In general, it can handle batches up to 5,000 records
11 without a problem. This interface allows you to specify match points
12 between incoming and existing records, to specify MARC fields that should be
13 overlaid or preserved, and to only overlay records if the incoming record is
14 of higher quality than the existing record. Records are added to a queue where
15 you can apply filters that enable you to generate any errors that may have
16 occurred during import. You can print, email or export your queue as a CSV file.
17
18 == Permissions ==
19
20 To use match sets to import records, you will need the following permission:
21
22 ADMIN_IMPORT_MATCH_SET
23
24
25 == Record Display Attributes ==
26
27 This feature enables you to specify the tags and subfields that will display in
28 records that appear in the import queue. 
29
30
31 [[matchsets]]
32 == Record Match Sets ==
33
34 This feature enables you to create custom match points that you can use to
35 accurately match incoming records with existing catalog records.  
36   
37 === Creating a Match Set ===
38
39 In this example, to demonstrate matching on record attributes and MARC tags and
40 subfields, we will create a record match set that defines a match based on the
41 title of the record, in either the 240 or 245, and the fixed field, Lang.  You
42 can add multiple record attributes and MARC tags to customize a record match
43 set.
44  
45
46 . Click *Cataloging -> MARC Batch Import/Export*.
47
48 . Create a new record match set.  Click *Record Match Sets -> New Match Set*.
49
50 . Enter a name for the record match set.
51
52 . Select an *Owning Library* from the drop down menu.  Staff with permissions
53 at this location will be able to use this record match set.
54
55 . Select a *Match Set Type* from the drop down menu.  You can create a match
56 set for authority records or bibliographic records.
57
58 . Click *Save*.
59 +
60 image::batch_importing_MARC/new_record_match.jpg[New Record Match]
61
62 . The screen will refresh to list the record match set that you created. Click
63 the link to the record match set.
64
65 . Create an expression that will define the match points for the incoming
66 record.  You can choose from two areas to create a match: *Record Attribute* or
67 *MARC Tag and Subfield*.  You can use the Boolean operators AND and OR to
68 combine these elements to create a match set.
69
70 . Select a *Record Attribute* from the drop-down menu.
71
72 . Enter a *Match Score.*  The *Match Score* indicates the relative importance
73 of that match point as Evergreen evaluates an incoming record against an
74 existing record. You can enter any integer into this field.  The number that
75 you enter is only important as it relates to other match points.  Recommended
76 practice is that you create a match score of one (1) for the least important
77 match point and assign increasing match points to the power of 2 to working
78 points in increasing importance.
79
80 . Check the *Negate?* box if you want to negate the match point. Checking
81 this box would be the equivalent of applying a Boolean operator of NOT to the
82 match point.
83 +
84 image::batch_importing_MARC/record_attribute.jpg[Record Attribute]
85
86 . Select an operator from the expression tree to the right.
87
88 . Click *Add to Selected Node*.  Once this is selected, the tree will refresh and update with the new expression.
89
90 . Enter another *Boolean Operator* to further refine your match set.
91
92 . Click *Boolean Operator*.
93
94 . Select the *OR* operator from the drop down menu.
95
96 . Click *Add to Selected Node*.  The operator will appear on the tree.
97 +
98 image::batch_importing_MARC/operator.jpg[Operators]
99
100 . Click *MARC Tag and Subfield*.
101
102 . Enter a *MARC tag* on which you want the records to match.
103
104 . Enter a *subfield* on which you want the records to match.
105
106 . Enter a *Match Score.*  The *Match Score* indicates the relative importance
107 of that match point as Evergreen evaluates an incoming record against an
108 existing record. You can enter any integer into this field.  The number that
109 you enter is only important as it relates to other match points.  Recommended
110 practice is that you create a match score of one (1) for the least important
111 match point and assign increasing match points to the power of 2 to working
112 points in increasing importance.
113
114 . Check the *Negate?* box if you want to negate the match point.  Checking
115 this box would be the equivalent of applying a Boolean operator of NOT to the
116 match point.
117
118 . Click *Add to Selected Node*.  Once this is selected, the tree will refresh and update with the new expression.
119 +
120 image::batch_importing_MARC/marc_tag_and_subfield.jpg[MARC Tag and Subfield]
121
122 === Replace Mode ===
123
124 Replace Mode enables you to replace an existing part of the expression tree
125 with a new record attribute, MARC tag, or Boolean operator.  For example, if
126 the top of the tree is AND, in Replace Mode, you could change that to an OR.
127
128 . Create a working match point.
129
130 . Click on an expression in the tree to edit.
131
132 . Make any changes in the form.
133
134 . Click *Replace Selected Node*.
135 +
136 image::batch_importing_MARC/replace_node.jpg[Replacing Nodes]
137
138 . The updated change will display in the tree.
139
140
141 === Quality Metrics ===
142
143 . Set the *Quality Metrics for this Match Set*.  Quality metrics are used to
144 determine the overall quality of a record.  Each metric is given a weight and
145 the total quality value for a record is equal to the sum of all metrics that
146 apply to that record.  For example, a record that has been cataloged thoroughly
147 and contains accurate data would be more valuable than one of poor quality. You
148 may want to ensure that the incoming record is of the same or better quality
149 than the record that currently exists in your catalog; otherwise, you may want
150 the match to fail.  The quality metric is optional.
151
152 . You can create quality metrics based on the record attribute or the MARC Tag
153 and Subfield.
154
155 . Click *Record Attribute.*
156
157 . Select an attribute from the drop down menu.
158
159 . Enter a value for the attribute.
160
161 . Enter a match score.  You can enter any integer into this field. The number
162 that you enter is only important as it relates to other quality values for the
163 current configuration.  Higher scores would indicate increasing quality of
164 incoming records. You can, as in the expression match score, increase the
165 quality points by increasing subsequent records by a power of 2 (two).
166
167 . Click *Add*.
168 +
169 image::batch_importing_MARC/match_set_quality.jpg[Match Set Quality]
170
171 == Merge/Overlay Profiles ==
172
173 If Evergreen finds a match for an incoming record in the database, you need to identify which fields should be replaced, which should be preserved, and which should be added to the record.
174 Click the Merge/Overlay Profiles button to create a profile that contains this information.
175
176 You can use these profiles when importing records through the MARC Batch Importer or Acquisitions Load MARC Order Records interface.
177
178 You can create a new profile by clicking the New Merge Profile button. Available options for handling the fields include:
179
180 . _Preserve specification_ - fields in the existing record that should be preserved.
181
182 . _Replace specification_ - fields in existing record that should be replaced by those in the incoming record.
183
184 . _Add specification_ - fields from incoming record that should be added to existing record (in addition to any already there.)
185
186 . _Remove specification_ - fields that should be removed from incoming record.
187
188 . _Update bib source_ - If this value is false, just the bibliographic data will be updated when you overlay a new MARC record.  If it is true, then Evergreen will also update
189 the record's bib source to the one you select on import; the last edit date to the date the new record is imported, and the last editor to the person who imported the new
190 record.
191
192 You can add multiple tags to the specification options, separating each tag with a comma.
193
194
195 == Import Item Attributes ==
196 If you are importing items with your records, you will need to map the data in
197 your holdings tag to fields in the item record. Click the *Holdings Import
198 Profile* button to map this information.
199
200 . Click the *New Definition* button to create a new mapping for the holdings tag.
201 . Add a *Name* for the definition.
202 . Use the *Tag* field to identify the MARC tag that contains your holdings
203   information.
204 . Add the subfields that contain specific item information to the appropriate
205   item field.
206 . At a minimum, you should add the subfields that identify the *Circulating
207 Library*, the *Owning Library*, the *Call Number* and the *Barcode*.
208
209 NOTE: All fields (except for Name and Tag) can contain a MARC subfield code
210 (such as "a") or an XPATH query. You can also use the
211 related library settings to set defaults for some of these fields.
212
213 image::media/batch_import_profile.png[Partial Screenshot of a Holdings Import Profile]
214
215 .Holdings Import Profile Fields
216 [options="header"]
217 |=============================
218 |Field | Recommended | Description
219 |Alert Message||
220 |Barcode | Yes |
221 |Call Number | Yes |
222 |Circulate ||
223 |Circulate As MARC Type ||
224 |Copy Number ||
225 |Definition ID ||
226 |Deposit ||
227 |Deposit Amount ||
228 |Holdable ||
229 |Name | Yes | Name you will choose from the MARC Batch Import screen
230 |OPAC Visible ||
231 |Overlay Match ID || The copy ID of an existing item to overlay
232 |Owner ||
233 |Owning Library | Yes |
234 |Parts Data || Of the format `PART LABEL 1\|PART LABEL 2`.
235 |Price ||
236 |Private Note ||
237 |Public Note ||
238 |Reference ||
239 |Shelving Location ||
240 |Stat Cat Data || Of the format `CATEGORY 1\|VALUE 1\|\|CATEGORY 2\|VALUE 2`.
241 If you are overlaying existing items which already have stat cats
242 attached to them, the overlay process will keep those values unless the
243 incoming items contain updated values for matching categories.
244 |Status ||
245 |Tag | Yes | MARC Holdings Tag/Field (e.g. 949). Use the Tag field to
246 identify the MARC tag that contains your holdings information.
247
248 |=============================
249
250
251 == Import Records ==
252
253 The *Import Records* interface incorporates record match sets, quality metrics,
254 more merging options, and improved ways to manage your queue.  In this example,
255 we will import a batch of records.  One of the records in the queue will
256 contain a matching record in the catalog that is of lower quality than the
257 incoming record.  We will import the record according to the guidelines set by
258 our record match set, quality metrics, and merge/overlay choices that we will
259 select.
260
261 . Save or upload a template.
262
263 . Select a *Record Type* from the drop down menu.
264
265 . Create a queue to which you can upload your records, or add you records to
266 an existing queue.  Queues are linked to match sets and a holdings import
267 profile. You cannot change a holdings import or record match set for a queue.
268
269 . Select a *Record Match Set* from the drop down menu.
270
271 . Select a *Holdings Import Profile* if you want to import holdings that are
272 attached to your records.
273
274 . Select a *Merge Profile*.  Merge profiles enable you to specify which tags
275 should be removed or preserved in incoming records.
276
277 . Select an *Insufficient Quality Fall-Through Profile* if desired.  This
278 field enables you to indicate that if the inbound record does not meet the
279 configured quality standards, then you may still import the record using an
280 alternate merge profile.  This field is typically used for selecting a merge
281 profile that allows the user to import holdings attached to a lower quality
282 record without replacing the existing (target) record with the incoming record.
283 This field is optional.  
284
285 . Enter a *Best/Single Match Minimum Quality Ratio.*  Divide the incoming
286 record quality score by the record quality score of the best match that might
287 exist in the catalog.  By default, Evergreen will assign any record a quality
288 score of 1 (one).  If you want to ensure that the inbound record is only
289 imported when it has a higher quality than the best match, then you must enter
290 a ratio that is higher than 1.  For example, if you want the incoming record to
291 have twice the quality of an existing record, then you should enter a 2 (two)
292 in this field.  If you want to bypass all quality restraints, enter a 0 (zero)
293 in this field.
294
295 . Make an *Optional Session Name* if desired.
296
297 . *Remove MARC Field Groups* if applicable. 
298
299 . Select a *Record Source* from the drop down menu.
300
301 . Select from *Limit Matches to Bucket* if desired.
302
303 . Select *Import Non-Matching Records* if applicable.
304
305 . Choose one of the following import options if you want to auto-import
306 records:
307
308 ..*Merge on Exact Match (901c)* - Use if you're reloading exported records from the system to match on the record ID.
309
310 .. *Merge on Single Match* - Using the Record Match Set, Evergreen will only
311 attempt to perform the merge/overlay action if only one match was found in the
312 catalog.
313
314 .. *Merge on Best Match* - If more than one match is found in the catalog for a
315 given record, Evergreen will attempt to perform the merge/overlay action with
316 the best match as defined by the match score and quality metric.
317 +
318 NOTE: Quality ratio affects only the *Merge on Single Match* and *Merge on Best
319 Match* options.
320
321 . Choose *Auto-overlay In-process Acquisitions Items* if you want to overlay temporary copies that were created by the Acquisitions module.  The system will attempt to overlay copies that:
322
323 * have associated lineitem details (that is, they were created by the acquisitions process),
324 * that lineitem detail has the same owning_lib as the incoming copy's owning_lib, and
325 * the current copy associated with that lineitem detail is _In process_.
326
327 . *Browse* to find the appropriate file, and click *Upload*.  The file will
328 be uploaded to a queue. The file can be in either MARC or MARCXML format.
329 +
330 image::batch_importing_MARC/import_record.jpg[Importing Records]
331
332 . The screen will display records that have been uploaded to your queue. Above
333 the table there are three sections:
334   * *Queue Actions* lists common actions for this queue. _Export Non-Imported
335 Records_ will export a MARC file of records that failed to import, allowing
336 those records to be edited as needed and imported separately. (Those
337 records can be viewed by clicking the _Limit to Non-Imported Records_
338 filter.)
339   * *Queue Summary* shows a brief summary of the records included in the queue.
340   * *Queue Filters* provides options for limiting which records display in the
341 table.
342 +
343 image::media/Batch_Importing_MARC_Records15.jpg[Batch_Importing_MARC_Records15]
344
345 . If Evergreen indicates that matching records exist, then click the
346 *Matches* link to view the matching records.  Check the box adjacent to the
347 existing record that you want to merge with the incoming record. 
348 +
349 image::media/Batch_Importing_MARC_Records10.jpg[Batch_Importing_MARC_Records10]
350
351 . Click *Back to Import Queue*.
352
353 . Check the boxes of the records that you want to import, and click *Import
354 Selected Records*, or click *Import All Records*.
355
356 . A pop up window will offer you the same import choices that were present on
357 the *Import Records* screen.  You can choose one of the import options, or
358 click *Import*.
359 +
360 image::media/marc_batch_import_popup.png[Batch Importing MARC Records Popup]
361
362 . The screen will refresh.  The *Queue Summary* indicates that the record was
363 imported.  The *Import Time* column records the date that the record was
364 imported. Also, the *Imported As* column should now display the database ID (also known as the bib record number) for the imported record.
365 +
366 image::media/Batch_Importing_MARC_Records12.jpg[Batch_Importing_MARC_Records12] 
367
368 . You can confirm that the record was imported by using the value of the *Imported As* column by selecting the menu *Cataloging* -> *Retrieve title by database ID* and using the supplied *Imported As* number. Alternatively, you can search the catalog to confirm that the record was imported.
369 +
370 image::media/Batch_Importing_MARC_Records14.jpg[Batch_Importing_MARC_Records14] 
371
372
373 == Default Values for Item Import ==
374
375 Evergreen now supports additional functionality for importing items through *Cataloging* -> *MARC Batch Import/Export*.  When items are imported via a *Holdings Import Profile* in *Cataloging* -> *MARC Batch Import/Export*, Evergreen will create an item-level record for each copy.  If an item barcode, call number, shelving location, or circulation modifier is not set in the embedded holdings, Evergreen will apply a default value based on the configured Library Settings.  A default prefix can be applied to the auto-generated call numbers and item barcodes.
376
377 The following *Library Settings* can be configured to apply these default values to imported items:
378
379 * *Vandelay: Generate Default Barcodes* —Auto-generate default item barcodes when no item barcode is present
380
381 * *Vandelay: Default Barcode Prefix* —Apply this prefix to any auto-generated item barcodes
382
383 * *Vandelay: Generate Default Call Numbers* —Auto-generate default item call numbers when no item call number is present
384
385 * *Vandelay: Default Call Number Prefix* —Apply this prefix to any auto-generated item call numbers
386
387 * *Vandelay: Default Copy Location* —Default copy location value for imported items
388
389 * *Vandelay: Default Circulation Modifier* —Default circulation modifier value for imported items
390