71ffb11dd9c18897b4579150836a6fed18a3e013
[working/Evergreen.git] / docs / cataloging / batch_importing_MARC.txt
1 Batch Importing MARC Records
2 ----------------------------
3 [[batchimport]]
4 The cataloging module includes an enhanced MARC Batch Import interface for
5 loading MARC records.  This interface allows you to specify match points
6 between incoming and existing records, to specify MARC fields that should be
7 overlaid or preserved, and to only overlay records if the incoming record is
8 of higher quality than the existing record. Records are added to a queue where
9 you can apply filters that enable you to generate any errors that may have
10 occurred during import.  You can print your queue, email your queue, or export
11 your queue as a CSV file. 
12
13 Permissions
14 ~~~~~~~~~~~
15
16 To use match sets to import records, you will need the following permission:
17
18 ADMIN_IMPORT_MATCH_SET
19
20
21 Record Display Attributes
22 ~~~~~~~~~~~~~~~~~~~~~~~~~
23
24 This feature enables you to specify the tags and subfields that will display in
25 records that appear in the import queue. 
26
27
28 [[matchsets]]
29 Record Match Sets
30 ~~~~~~~~~~~~~~~~~
31
32 This feature enables you to create custom match points that you can use to
33 accurately match incoming records with existing catalog records.  
34   
35 Creating a Match Set
36 ^^^^^^^^^^^^^^^^^^^^
37
38 In this example, to demonstrate matching on record attributes and MARC tags and
39 subfields, we will create a record match set that defines a match based on the
40 title of the record, in either the 240 or 245, and the fixed field, Lang.  You
41 can add multiple record attributes and MARC tags to customize a record match
42 set.
43  
44
45 1) Click *Cataloging -> MARC Batch Import/Export*.
46
47 2) Create a new record match set.  Click *Record Match Sets -> New Match Set*.
48
49 3) Enter a name for the record match set.
50
51 4) Select an *Owning Library* from the drop down menu.  Staff with permissions
52 at this location will be able to use this record match set.
53
54 5) Select a *Match Set Type* from the drop down menu.  You can create a match
55 set for authority records or bibliographic records.
56
57 6) Click *Save*.
58
59
60 image::media/Batch_Importing_MARC_Records1.jpg[Batch_Importing_MARC_Records1]
61
62
63 7) The screen will refresh to list the record match set that you created. Click
64 the link to the record match set.
65
66 8) Create an expression that will define the match points for the incoming
67 record.  You can choose from two areas to create a match: *Record Attribute* or
68 *MARC Tag and Subfield*.  You can use the Boolean operators AND and OR to
69 combine these elements to create a match set.
70
71 9) Select a *Record Attribute* from the drop-down menu.
72
73 10) Enter a *Match Score.*  The *Match Score* indicates the relative importance
74 of that match point as Evergreen evaluates an incoming record against an
75 existing record. You can enter any integer into this field.  The number that
76 you enter is only important as it relates to other match points.  Recommended
77 practice is that you create a match score of one (1) for the least important
78 match point and assign increasing match points to the power of 2 to working
79 points in increasing importance.
80
81 11) Check the *Negate?* box if you want to negate the match point. Checking
82 this box would be the equivalent of applying a Boolean operator of NOT to the
83 match point.
84
85 image::media/Batch_Importing_MARC_Records2.jpg[Batch_Importing_MARC_Records2]
86
87 12) Click *Ok.*
88
89 13) Drag the completed match point under the folder with the 
90 appropriately-named Boolean folder under the Expression tree.
91
92 image::media/Batch_Importing_MARC_Records3.jpg[Batch_Importing_MARC_Records3]
93
94 The match point will nest underneath the folder in the Expression tree.
95
96 image::media/Batch_Importing_MARC_Records4.jpg[Batch_Importing_MARC_Records4]
97
98 14) Enter another *Boolean Operator* to further refine your match set.
99
100 15) Click *Boolean Operator*.
101
102 16) Select the *OR* operator from the drop down menu.
103
104 17) Click *Ok*.
105
106 18) Drag the operator to the expression tree.
107
108 image::media/Batch_Importing_MARC_Records5.jpg[Batch_Importing_MARC_Records5]
109
110 19) Click *MARC Tag and Subfield*.
111
112 20) Enter a *MARC tag* on which you want the records to match.
113
114 21) Enter a *subfield* on which you want the records to match.
115
116 22) Enter a *Match Score.*  The *Match Score* indicates the relative importance
117 of that match point as Evergreen evaluates an incoming record against an
118 existing record. You can enter any integer into this field.  The number that
119 you enter is only important as it relates to other match points.  Recommended
120 practice is that you create a match score of one (1) for the least important
121 match point and assign increasing match points to the power of 2 to working
122 points in increasing importance.
123
124 23) Check the *Negate?* box if you want to negate the match point.  Checking
125 this box would be the equivalent of applying a Boolean operator of NOT to the
126 match point.
127
128 24) Click *Ok.*
129
130 image::media/Batch_Importing_MARC_Records6.jpg[Batch_Importing_MARC_Records6]
131
132 25) Drag the completed match point under the folder with the
133 appropriately-named Boolean folder under the Expression tree. The Expression
134 will build across the top of the screen.
135
136 26) Add additional MARC tags or record attributes to build the expression tree.
137
138 27) Click *Save Changes to Expression*.
139
140 image::media/Batch_Importing_MARC_Records7.jpg[Batch_Importing_MARC_Records7]
141
142 Replace Mode
143 ^^^^^^^^^^^^
144
145 Replace Mode enables you to replace an existing part of the expression tree
146 with a new record attribute, MARC tag, or Boolean operator.  For example, if
147 the top of the tree is AND, in replace mode, you could change that to an OR.
148
149 1) Create a working match point.
150
151 2) Click *Enter replace mode*.
152
153 3) Highlight the piece of the tree that you want to replace.
154
155 4) Drag the replacement piece over the highlighted piece.
156
157 5) Click *Exit Replace Mode*.
158
159
160 Quality Metrics
161 ^^^^^^^^^^^^^^^
162
163 1) Set the *Quality Metrics for this Match Set*.  Quality metrics are used to
164 determine the overall quality of a record.  Each metric is given a weight and
165 the total quality value for a record is equal to the sum of all metrics that
166 apply to that record.  For example, a record that has been cataloged thoroughly
167 and contains accurate data would be more valuable than one of poor quality. You
168 may want to ensure that the incoming record is of the same or better quality
169 than the record that currently exists in your catalog; otherwise, you may want
170 the match to fail.  The quality metric is optional.
171
172 2) You can create quality metrics based on the record attribute or the MARC Tag
173 and Subfield.
174
175 3) Click *Record Attribute.*
176
177 4) Select an attribute from the drop down menu.
178
179 5) Enter a value for the attribute.
180
181 6.) Enter a match score.  You can enter any integer into this field. The number
182 that you enter is only important as it relates to other quality values for the
183 current configuration.  Higher scores would indicate increasing quality of
184 incoming records. You can, as in the expression match score, increase the
185 quality points by increasing subsequent records by a power of 2 (two).
186
187 7) Click *Ok*.  
188
189 image::media/Batch_Importing_MARC_Records8.jpg[Batch_Importing_MARC_Records8]
190
191 Import Records
192 ~~~~~~~~~~~~~~
193
194 The *Import Records* interface incorporates record match sets, quality metrics,
195 more merging options, and improved ways to manage your queue.  In this example,
196 we will import a batch of records.  One of the records in the queue will
197 contain a matching record in the catalog that is of lower quality than the
198 incoming record.  We will import the record according to the guidelines set by
199 our record match set, quality metrics, and merge/overlay choices that we will
200 select.
201
202 . Select a *Record Type* from the drop down menu.
203
204 . Create a queue to which you can upload your records, or add you records to
205 an existing queue.  Queues are linked to match sets and a holdings import
206 profile. You cannot change a holdings import or record match set for a queue.
207
208 . Select a *Record Match Set* from the drop down menu.
209
210 . Select a *Holdings Import Profile* if you want to import holdings that are
211 attached to your records.
212
213 . Select a *Record Source* from the drop down menu.
214
215 . Select a *Merge Profile*.  Merge profiles enable you to specify which tags
216 should be removed or preserved in incoming records.
217
218 . Choose one of the following import options if you want to auto-import
219 records:
220
221 .. *Merge on Single Match* - Using the Record Match Set, Evergreen will only
222 attempt to perform the merge/overlay action if only one match was found in the
223 catalog.
224
225 .. *Merge on Best Match* - If more than one match is found in the catalog for a
226 given record, Evergreen will attempt to perform the merge/overlay action with
227 the best match as defined by the match score and quality metric.
228 +
229 NOTE: Quality ratio affects only the *Merge on Single Match* and *Merge on Best
230 Match* options.
231
232 . Enter a *Best/Single Match Minimum Quality Ratio.*  Divide the incoming
233 record quality score by the record quality score of the best match that might
234 exist in the catalog.  By default, Evergreen will assign any record a quality
235 score of 1 (one).  If you want to ensure that the inbound record is only
236 imported when it has a higher quality than the best match, then you must enter
237 a ratio that is higher than 1.  For example, if you want the incoming record to
238 have twice the quality of an existing record, then you should enter a 2 (two)
239 in this field.  If you want to bypass all quality restraints, enter a 0 (zero)
240 in this field.
241
242 . Select an *Insufficient Quality Fall-Through Profile* if desired.  This
243 field enables you to indicate that if the inbound record does not meet the
244 configured quality standards, then you may still import the record using an
245 alternate merge profile.  This field is typically used for selecting a merge
246 profile that allows the user to import holdings attached to a lower quality
247 record without replacing the existing (target) record with the incoming record.
248 This field is optional.  
249
250 . Under *Copy Import Actions*, choose _Auto-overlay In-process Acquisitions
251 Copies_ if you want to overlay temporary copies that were created by the
252 Acquisitions module.  The system will attempt to overlay copies that:
253
254 * have associated lineitem details (that is, they were created by the acquisitions process),
255 * that lineitem detail has the same owning_lib as the incoming copy's owning_lib, and
256 * the current copy associated with that lineitem detail is _In process_.
257
258 . *Browse* to find the appropriate file, and click *Upload*.  The files will
259 be uploaded to a queue.
260 +
261 image::media/marc_batch_import_acq_overlay.png[Batch Importing MARC Records]
262
263 . The screen will display records that have been uploaded to your queue.
264 +
265 image::media/Batch_Importing_MARC_Records15.jpg[Batch_Importing_MARC_Records15]
266
267 . If Evergreen indicates that matching records exist, then click the
268 *Matches* link to view the matching records.  Check the box adjacent to the
269 existing record that you want to merge with the incoming record. 
270 +
271 image::media/Batch_Importing_MARC_Records10.jpg[Batch_Importing_MARC_Records10]
272
273 . Click *Back to Import Queue*.
274
275 . Check the boxes of the records that you want to import, and click *Import
276 Selected Records*, or click *Import All Records*.
277
278 . A pop up window will offer you the same import choices that were present on
279 the *Import Records* screen.  You can choose one of the import options, or
280 click *Import*.
281 +
282 image::media/marc_batch_import_popup.png[Batch Importing MARC Records Popup]
283
284 . The screen will refresh.  The *Queue Summary* indicates that the record was
285 imported.  The *Import Time* column records the date that the record was
286 imported.
287 +
288 image::media/Batch_Importing_MARC_Records12.jpg[Batch_Importing_MARC_Records12] 
289
290 . Search the catalog to confirm that the record was imported.
291 +
292 image::media/Batch_Importing_MARC_Records14.jpg[Batch_Importing_MARC_Records14] 
293
294
295 Default Values for Item Import 
296 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
297
298 Evergreen now supports additional functionality for importing items through *Cataloging* -> *MARC Batch Import/Export*.  When items are imported via a *Holdings Import Profile* in *Cataloging* -> *MARC Batch Import/Export*, Evergreen will create an item-level record for each copy.  If an item barcode, call number, copy location, or circulation modifier is not set in the embedded holdings, Evergreen will apply a default value based on the configured Library Settings.  A default prefix can be applied to the auto-generated call numbers and item barcodes.
299
300 The following *Library Settings* can be configured to apply these default values to imported items:
301
302 * *Vandelay: Generate Default Barcodes* —Auto-generate default item barcodes when no item barcode is present
303
304 * *Vandelay: Default Barcode Prefix* —Apply this prefix to any auto-generated item barcodes
305
306 * *Vandelay: Generate Default Call Numbers* —Auto-generate default item call numbers when no item call number is present
307
308 * *Vandelay: Default Call Number Prefix* —Apply this prefix to any auto-generated item call numbers
309
310 * *Vandelay: Default Copy Location* —Default copy location value for imported items
311
312 * *Vandelay: Default Circulation Modifier* —Default circulation modifier value for imported items
313
314
315