3507a172f99f92fb585584f2623084832b84d938
[Evergreen.git] / docs / cataloging / batch_importing_MARC.txt
1 Batch Importing MARC Records
2 ----------------------------
3 [[batchimport]]
4 The cataloging module includes an enhanced MARC Batch Import interface for
5 loading MARC records. In general, it can handle batches up to 5,000 records
6 without a problem. This interface allows you to specify match points
7 between incoming and existing records, to specify MARC fields that should be
8 overlaid or preserved, and to only overlay records if the incoming record is
9 of higher quality than the existing record. Records are added to a queue where
10 you can apply filters that enable you to generate any errors that may have
11 occurred during import. You can print, email or export your queue as a CSV file.
12
13 Permissions
14 ~~~~~~~~~~~
15
16 To use match sets to import records, you will need the following permission:
17
18 ADMIN_IMPORT_MATCH_SET
19
20
21 Record Display Attributes
22 ~~~~~~~~~~~~~~~~~~~~~~~~~
23
24 This feature enables you to specify the tags and subfields that will display in
25 records that appear in the import queue. 
26
27
28 [[matchsets]]
29 Record Match Sets
30 ~~~~~~~~~~~~~~~~~
31
32 This feature enables you to create custom match points that you can use to
33 accurately match incoming records with existing catalog records.  
34   
35 Creating a Match Set
36 ^^^^^^^^^^^^^^^^^^^^
37
38 In this example, to demonstrate matching on record attributes and MARC tags and
39 subfields, we will create a record match set that defines a match based on the
40 title of the record, in either the 240 or 245, and the fixed field, Lang.  You
41 can add multiple record attributes and MARC tags to customize a record match
42 set.
43  
44
45 . Click *Cataloging -> MARC Batch Import/Export*.
46
47 . Create a new record match set.  Click *Record Match Sets -> New Match Set*.
48
49 . Enter a name for the record match set.
50
51 . Select an *Owning Library* from the drop down menu.  Staff with permissions
52 at this location will be able to use this record match set.
53
54 . Select a *Match Set Type* from the drop down menu.  You can create a match
55 set for authority records or bibliographic records.
56
57 . Click *Save*.
58 +
59 image::media/Batch_Importing_MARC_Records1.jpg[Batch_Importing_MARC_Records1]
60
61 . The screen will refresh to list the record match set that you created. Click
62 the link to the record match set.
63
64 . Create an expression that will define the match points for the incoming
65 record.  You can choose from two areas to create a match: *Record Attribute* or
66 *MARC Tag and Subfield*.  You can use the Boolean operators AND and OR to
67 combine these elements to create a match set.
68
69 . Select a *Record Attribute* from the drop-down menu.
70
71 . Enter a *Match Score.*  The *Match Score* indicates the relative importance
72 of that match point as Evergreen evaluates an incoming record against an
73 existing record. You can enter any integer into this field.  The number that
74 you enter is only important as it relates to other match points.  Recommended
75 practice is that you create a match score of one (1) for the least important
76 match point and assign increasing match points to the power of 2 to working
77 points in increasing importance.
78
79 . Check the *Negate?* box if you want to negate the match point. Checking
80 this box would be the equivalent of applying a Boolean operator of NOT to the
81 match point.
82 +
83 image::media/Batch_Importing_MARC_Records2.jpg[Batch_Importing_MARC_Records2]
84
85 . Click *Ok.*
86
87 . Drag the completed match point under the folder with the
88 appropriately-named Boolean folder under the Expression tree.
89 +
90 image::media/Batch_Importing_MARC_Records3.jpg[Batch_Importing_MARC_Records3]
91 +
92 The match point will nest underneath the folder in the Expression tree.
93 +
94 image::media/Batch_Importing_MARC_Records4.jpg[Batch_Importing_MARC_Records4]
95
96 . Enter another *Boolean Operator* to further refine your match set.
97
98 . Click *Boolean Operator*.
99
100 . Select the *OR* operator from the drop down menu.
101
102 . Click *Ok*.
103
104 . Drag the operator to the expression tree.
105 +
106 image::media/Batch_Importing_MARC_Records5.jpg[Batch_Importing_MARC_Records5]
107
108 . Click *MARC Tag and Subfield*.
109
110 . Enter a *MARC tag* on which you want the records to match.
111
112 . Enter a *subfield* on which you want the records to match.
113
114 . Enter a *Match Score.*  The *Match Score* indicates the relative importance
115 of that match point as Evergreen evaluates an incoming record against an
116 existing record. You can enter any integer into this field.  The number that
117 you enter is only important as it relates to other match points.  Recommended
118 practice is that you create a match score of one (1) for the least important
119 match point and assign increasing match points to the power of 2 to working
120 points in increasing importance.
121
122 . Check the *Negate?* box if you want to negate the match point.  Checking
123 this box would be the equivalent of applying a Boolean operator of NOT to the
124 match point.
125
126 . Click *Ok.*
127 +
128 image::media/Batch_Importing_MARC_Records6.jpg[Batch_Importing_MARC_Records6]
129
130 . Drag the completed match point under the folder with the
131 appropriately-named Boolean folder under the Expression tree. The Expression
132 will build across the top of the screen.
133
134 . Add additional MARC tags or record attributes to build the expression tree.
135
136 . Click *Save Changes to Expression*.
137 +
138 image::media/Batch_Importing_MARC_Records7.jpg[Batch_Importing_MARC_Records7]
139
140 Replace Mode
141 ^^^^^^^^^^^^
142
143 Replace Mode enables you to replace an existing part of the expression tree
144 with a new record attribute, MARC tag, or Boolean operator.  For example, if
145 the top of the tree is AND, in replace mode, you could change that to an OR.
146
147 . Create a working match point.
148
149 . Click *Enter replace mode*.
150
151 . Highlight the piece of the tree that you want to replace.
152
153 . Drag the replacement piece over the highlighted piece.
154
155 . Click *Exit Replace Mode*.
156
157
158 Quality Metrics
159 ^^^^^^^^^^^^^^^
160
161 . Set the *Quality Metrics for this Match Set*.  Quality metrics are used to
162 determine the overall quality of a record.  Each metric is given a weight and
163 the total quality value for a record is equal to the sum of all metrics that
164 apply to that record.  For example, a record that has been cataloged thoroughly
165 and contains accurate data would be more valuable than one of poor quality. You
166 may want to ensure that the incoming record is of the same or better quality
167 than the record that currently exists in your catalog; otherwise, you may want
168 the match to fail.  The quality metric is optional.
169
170 . You can create quality metrics based on the record attribute or the MARC Tag
171 and Subfield.
172
173 . Click *Record Attribute.*
174
175 . Select an attribute from the drop down menu.
176
177 . Enter a value for the attribute.
178
179 . Enter a match score.  You can enter any integer into this field. The number
180 that you enter is only important as it relates to other quality values for the
181 current configuration.  Higher scores would indicate increasing quality of
182 incoming records. You can, as in the expression match score, increase the
183 quality points by increasing subsequent records by a power of 2 (two).
184
185 . Click *Ok*.
186 +
187 image::media/Batch_Importing_MARC_Records8.jpg[Batch_Importing_MARC_Records8]
188
189 Merge/Overlay Profiles
190 ~~~~~~~~~~~~~~~~~~~~~~
191
192 If Evergreen finds a match for an incoming record in the database, you need to identify which fields should be replaced, which should be preserved, and which should be added to the record.
193 Click the Merge/Overlay Profiles button to create a profile that contains this information.
194
195 You can use these profiles when importing records through the MARC Batch Importer or Acquisitions Load MARC Order Records interface.
196
197 You can create a new profile by clicking the New Merge Profile button. Available options for handling the fields include:
198
199 . _Preserve specification_ - fields in the existing record that should be preserved.
200
201 . _Replace specification_ - fields in existing record that should be replaced by those in the incoming record.
202
203 . _Add specification_ - fields from incoming record that should be added to existing record (in addition to any already there.)
204
205 . _Remove specification_ - fields that should be removed from incoming record.
206
207 . _Update bib source_ - If this value is false, just the bibliographic data will be updated when you overlay a new MARC record.  If it is true, then Evergreen will also update
208 the record's bib source to the one you select on import; the last edit date to the date the new record is imported, and the last editor to the person who imported the new
209 record.
210
211 You can add multiple tags to the specification options, separating each tag with a comma.
212
213
214 Import Item Attributes
215 ~~~~~~~~~~~~~~~~~~~~~~
216 If you are importing copies with your records, you will need to map the data in
217 your holdings tag to fields in the copy record. Click the *Holdings Import
218 Profile* button to map this information.
219
220 . Click the *New Definition* button to create a new mapping for the holdings tag.
221 . Add a *Name* for the definition.
222 . Use the *Tag* field to identify the MARC tag that contains your holdings
223   information.
224 . Add the subfields that contain specific copy information to the appropriate
225   copy field.
226 . Select the *Keep* box if Evergreen should keep this holdings tag in the
227   record after it is imported. Otherwise, Evergreen will remove this holdings
228   tag.
229 . At a minimum, you should add the subfields that identify the *Circulating
230 Library*, the *Owning Library*, the *Call Number* and the *Barcode*.
231
232 NOTE: All fields (except for Name, Tag and Keep) can contain static
233 values, a MARC subfield code (such as "a"), or an XPATH query.
234
235 image::media/batch_import_profile.png[Partial Screenshot of a Holdings Import Profile]
236
237 .Holdings Import Profile Fields
238 [options="header"]
239 |=============================
240 |Field | Recommended | Description
241 |Name | Yes | Name you will choose from the MARC Batch Import screen
242 |Tag | Yes | MARC Holdings Tag/Field (e.g. 949). Use the Tag field to
243 identify the MARC tag that contains your holdings information.
244 |Keep | Yes | Select the Keep box if Evergreen should keep this holdings
245 tag in the record after it is imported. Otherwise, Evergreen will remove
246 this holdings tag.
247 |Barcode | Yes |
248 |Call Number | Yes |
249 |Circulating Library | Yes |
250 |Owning Library | Yes |
251 |Alert Message ||
252 |Circulate ||
253 |Circulate As MARC Type ||
254 |Circulation Modifier ||
255 |Copy Number ||
256 |Deposit ||
257 |Deposit Amount ||
258 |Holdable ||
259 |OPAC Visible ||
260 |Overlay Match ID || The copy ID of an existing copy to overlay
261 |Price ||
262 |Private Note ||
263 |Public Note ||
264 |Reference ||
265 |Shelving Location ||
266 |Stat Cat Data || Of the format `CATEGORY 1\|VALUE 1\|\|CATEGORY 2\|VALUE 2`.
267 If you are overlaying existing copies which already have stat cats
268 attached to them, the overlay process will keep those values unless the
269 incoming copies contain updated values for matching categories.
270 |Status ||
271 |==================
272
273
274 Import Records
275 ~~~~~~~~~~~~~~
276
277 The *Import Records* interface incorporates record match sets, quality metrics,
278 more merging options, and improved ways to manage your queue.  In this example,
279 we will import a batch of records.  One of the records in the queue will
280 contain a matching record in the catalog that is of lower quality than the
281 incoming record.  We will import the record according to the guidelines set by
282 our record match set, quality metrics, and merge/overlay choices that we will
283 select.
284
285 . Select a *Record Type* from the drop down menu.
286
287 . Create a queue to which you can upload your records, or add you records to
288 an existing queue.  Queues are linked to match sets and a holdings import
289 profile. You cannot change a holdings import or record match set for a queue.
290
291 . Select a *Record Match Set* from the drop down menu.
292
293 . Select a *Holdings Import Profile* if you want to import holdings that are
294 attached to your records.
295
296 . Select a *Record Source* from the drop down menu.
297
298 . Select a *Merge Profile*.  Merge profiles enable you to specify which tags
299 should be removed or preserved in incoming records.
300
301 . Choose one of the following import options if you want to auto-import
302 records:
303
304 .. *Merge on Single Match* - Using the Record Match Set, Evergreen will only
305 attempt to perform the merge/overlay action if only one match was found in the
306 catalog.
307
308 .. *Merge on Best Match* - If more than one match is found in the catalog for a
309 given record, Evergreen will attempt to perform the merge/overlay action with
310 the best match as defined by the match score and quality metric.
311 +
312 NOTE: Quality ratio affects only the *Merge on Single Match* and *Merge on Best
313 Match* options.
314
315 . Enter a *Best/Single Match Minimum Quality Ratio.*  Divide the incoming
316 record quality score by the record quality score of the best match that might
317 exist in the catalog.  By default, Evergreen will assign any record a quality
318 score of 1 (one).  If you want to ensure that the inbound record is only
319 imported when it has a higher quality than the best match, then you must enter
320 a ratio that is higher than 1.  For example, if you want the incoming record to
321 have twice the quality of an existing record, then you should enter a 2 (two)
322 in this field.  If you want to bypass all quality restraints, enter a 0 (zero)
323 in this field.
324
325 . Select an *Insufficient Quality Fall-Through Profile* if desired.  This
326 field enables you to indicate that if the inbound record does not meet the
327 configured quality standards, then you may still import the record using an
328 alternate merge profile.  This field is typically used for selecting a merge
329 profile that allows the user to import holdings attached to a lower quality
330 record without replacing the existing (target) record with the incoming record.
331 This field is optional.  
332
333 . Under *Copy Import Actions*, choose _Auto-overlay In-process Acquisitions
334 Copies_ if you want to overlay temporary copies that were created by the
335 Acquisitions module.  The system will attempt to overlay copies that:
336
337 * have associated lineitem details (that is, they were created by the acquisitions process),
338 * that lineitem detail has the same owning_lib as the incoming copy's owning_lib, and
339 * the current copy associated with that lineitem detail is _In process_.
340
341 . *Browse* to find the appropriate file, and click *Upload*.  The files will
342 be uploaded to a queue.
343 +
344 image::media/marc_batch_import_acq_overlay.png[Batch Importing MARC Records]
345
346 . The screen will display records that have been uploaded to your queue.
347 +
348 image::media/Batch_Importing_MARC_Records15.jpg[Batch_Importing_MARC_Records15]
349
350 . If Evergreen indicates that matching records exist, then click the
351 *Matches* link to view the matching records.  Check the box adjacent to the
352 existing record that you want to merge with the incoming record. 
353 +
354 image::media/Batch_Importing_MARC_Records10.jpg[Batch_Importing_MARC_Records10]
355
356 . Click *Back to Import Queue*.
357
358 . Check the boxes of the records that you want to import, and click *Import
359 Selected Records*, or click *Import All Records*.
360
361 . A pop up window will offer you the same import choices that were present on
362 the *Import Records* screen.  You can choose one of the import options, or
363 click *Import*.
364 +
365 image::media/marc_batch_import_popup.png[Batch Importing MARC Records Popup]
366
367 . The screen will refresh.  The *Queue Summary* indicates that the record was
368 imported.  The *Import Time* column records the date that the record was
369 imported. Also, the *Imported As* column should now display the database ID (also known as the bib record number) for the imported record.
370 +
371 image::media/Batch_Importing_MARC_Records12.jpg[Batch_Importing_MARC_Records12] 
372
373 . You can confirm that the record was imported by using the value of the *Imported As* column by selecting the menu *Cataloging* -> *Retrieve title by database ID* and using the supplied *Imported As* number. Alternatively, you can search the catalog to confirm that the record was imported.
374 +
375 image::media/Batch_Importing_MARC_Records14.jpg[Batch_Importing_MARC_Records14] 
376
377
378 Default Values for Item Import 
379 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
380
381 Evergreen now supports additional functionality for importing items through *Cataloging* -> *MARC Batch Import/Export*.  When items are imported via a *Holdings Import Profile* in *Cataloging* -> *MARC Batch Import/Export*, Evergreen will create an item-level record for each copy.  If an item barcode, call number, copy location, or circulation modifier is not set in the embedded holdings, Evergreen will apply a default value based on the configured Library Settings.  A default prefix can be applied to the auto-generated call numbers and item barcodes.
382
383 The following *Library Settings* can be configured to apply these default values to imported items:
384
385 * *Vandelay: Generate Default Barcodes* —Auto-generate default item barcodes when no item barcode is present
386
387 * *Vandelay: Default Barcode Prefix* —Apply this prefix to any auto-generated item barcodes
388
389 * *Vandelay: Generate Default Call Numbers* —Auto-generate default item call numbers when no item call number is present
390
391 * *Vandelay: Default Call Number Prefix* —Apply this prefix to any auto-generated item call numbers
392
393 * *Vandelay: Default Copy Location* —Default copy location value for imported items
394
395 * *Vandelay: Default Circulation Modifier* —Default circulation modifier value for imported items
396
397 Importing Authority Records from the Staff Client
398 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
399
400 For an alternate method of importing authority records, read
401 <<_importing_authority_records_from_command_line,Importing Authority
402 Records from Command Line>>.
403
404 To import a set of MARC authority records from the _MARC Batch
405 Import/Export_ interface:
406
407  . From the Evergreen staff client, select *Cataloging -> MARC Batch
408 Import/Export*. The _Evergreen MARC File Upload_ screen opens, with
409 _Import Records_ as the highlighted tab.
410
411  . From the *Record Type* drop-down menu, select *Authority Records*.
412
413  . Enter a name for the queue (batch import job) in the *Create a New
414 Upload Queue* field.
415
416  . Select the *Import Non-Matching Records* checkbox.
417
418  . Click the *Browse* button to select the file of MARC authorities to import.
419
420  . Click the *Upload* button to begin importing the records.
421 +
422 The screen displays "Uploading... Processing..." to show that the records
423 are being transferred to the server, then displays a progress bar to show
424 the actual import progress. When the staff client displays the progress
425 bar, you can disconnect your staff client safely. Very large batches of
426 records might time out at this stage.
427
428  . Once the import is finished, the staff client displays the results of
429 the import process. You can manually display the import progress by
430 selecting the _Inspect Queue_ tab of the _MARC Batch Import/Export_
431 interface and selecting the queue name. By default, the staff client does
432 not display records that were imported successfully; it only shows records
433 that conflicted with existing entries in the database. The screen shows
434 the overall status of the import process in the top right-hand corner,
435 with the Total and Imported number of records for the queue.
436