Docs: Reformat numbered lists into AsciiDoc syntax
[working/Evergreen.git] / docs / cataloging / batch_importing_MARC.txt
1 Batch Importing MARC Records
2 ----------------------------
3 [[batchimport]]
4 The cataloging module includes an enhanced MARC Batch Import interface for
5 loading MARC records.  This interface allows you to specify match points
6 between incoming and existing records, to specify MARC fields that should be
7 overlaid or preserved, and to only overlay records if the incoming record is
8 of higher quality than the existing record. Records are added to a queue where
9 you can apply filters that enable you to generate any errors that may have
10 occurred during import.  You can print your queue, email your queue, or export
11 your queue as a CSV file. 
12
13 Permissions
14 ~~~~~~~~~~~
15
16 To use match sets to import records, you will need the following permission:
17
18 ADMIN_IMPORT_MATCH_SET
19
20
21 Record Display Attributes
22 ~~~~~~~~~~~~~~~~~~~~~~~~~
23
24 This feature enables you to specify the tags and subfields that will display in
25 records that appear in the import queue. 
26
27
28 [[matchsets]]
29 Record Match Sets
30 ~~~~~~~~~~~~~~~~~
31
32 This feature enables you to create custom match points that you can use to
33 accurately match incoming records with existing catalog records.  
34   
35 Creating a Match Set
36 ^^^^^^^^^^^^^^^^^^^^
37
38 In this example, to demonstrate matching on record attributes and MARC tags and
39 subfields, we will create a record match set that defines a match based on the
40 title of the record, in either the 240 or 245, and the fixed field, Lang.  You
41 can add multiple record attributes and MARC tags to customize a record match
42 set.
43  
44
45 . Click *Cataloging -> MARC Batch Import/Export*.
46
47 . Create a new record match set.  Click *Record Match Sets -> New Match Set*.
48
49 . Enter a name for the record match set.
50
51 . Select an *Owning Library* from the drop down menu.  Staff with permissions
52 at this location will be able to use this record match set.
53
54 . Select a *Match Set Type* from the drop down menu.  You can create a match
55 set for authority records or bibliographic records.
56
57 . Click *Save*.
58 +
59 image::media/Batch_Importing_MARC_Records1.jpg[Batch_Importing_MARC_Records1]
60
61 . The screen will refresh to list the record match set that you created. Click
62 the link to the record match set.
63
64 . Create an expression that will define the match points for the incoming
65 record.  You can choose from two areas to create a match: *Record Attribute* or
66 *MARC Tag and Subfield*.  You can use the Boolean operators AND and OR to
67 combine these elements to create a match set.
68
69 . Select a *Record Attribute* from the drop-down menu.
70
71 . Enter a *Match Score.*  The *Match Score* indicates the relative importance
72 of that match point as Evergreen evaluates an incoming record against an
73 existing record. You can enter any integer into this field.  The number that
74 you enter is only important as it relates to other match points.  Recommended
75 practice is that you create a match score of one (1) for the least important
76 match point and assign increasing match points to the power of 2 to working
77 points in increasing importance.
78
79 . Check the *Negate?* box if you want to negate the match point. Checking
80 this box would be the equivalent of applying a Boolean operator of NOT to the
81 match point.
82 +
83 image::media/Batch_Importing_MARC_Records2.jpg[Batch_Importing_MARC_Records2]
84
85 . Click *Ok.*
86
87 . Drag the completed match point under the folder with the
88 appropriately-named Boolean folder under the Expression tree.
89 +
90 image::media/Batch_Importing_MARC_Records3.jpg[Batch_Importing_MARC_Records3]
91 +
92 The match point will nest underneath the folder in the Expression tree.
93 +
94 image::media/Batch_Importing_MARC_Records4.jpg[Batch_Importing_MARC_Records4]
95
96 . Enter another *Boolean Operator* to further refine your match set.
97
98 . Click *Boolean Operator*.
99
100 . Select the *OR* operator from the drop down menu.
101
102 . Click *Ok*.
103
104 . Drag the operator to the expression tree.
105 +
106 image::media/Batch_Importing_MARC_Records5.jpg[Batch_Importing_MARC_Records5]
107
108 . Click *MARC Tag and Subfield*.
109
110 . Enter a *MARC tag* on which you want the records to match.
111
112 . Enter a *subfield* on which you want the records to match.
113
114 . Enter a *Match Score.*  The *Match Score* indicates the relative importance
115 of that match point as Evergreen evaluates an incoming record against an
116 existing record. You can enter any integer into this field.  The number that
117 you enter is only important as it relates to other match points.  Recommended
118 practice is that you create a match score of one (1) for the least important
119 match point and assign increasing match points to the power of 2 to working
120 points in increasing importance.
121
122 . Check the *Negate?* box if you want to negate the match point.  Checking
123 this box would be the equivalent of applying a Boolean operator of NOT to the
124 match point.
125
126 . Click *Ok.*
127 +
128 image::media/Batch_Importing_MARC_Records6.jpg[Batch_Importing_MARC_Records6]
129
130 . Drag the completed match point under the folder with the
131 appropriately-named Boolean folder under the Expression tree. The Expression
132 will build across the top of the screen.
133
134 . Add additional MARC tags or record attributes to build the expression tree.
135
136 . Click *Save Changes to Expression*.
137 +
138 image::media/Batch_Importing_MARC_Records7.jpg[Batch_Importing_MARC_Records7]
139
140 Replace Mode
141 ^^^^^^^^^^^^
142
143 Replace Mode enables you to replace an existing part of the expression tree
144 with a new record attribute, MARC tag, or Boolean operator.  For example, if
145 the top of the tree is AND, in replace mode, you could change that to an OR.
146
147 . Create a working match point.
148
149 . Click *Enter replace mode*.
150
151 . Highlight the piece of the tree that you want to replace.
152
153 . Drag the replacement piece over the highlighted piece.
154
155 . Click *Exit Replace Mode*.
156
157
158 Quality Metrics
159 ^^^^^^^^^^^^^^^
160
161 . Set the *Quality Metrics for this Match Set*.  Quality metrics are used to
162 determine the overall quality of a record.  Each metric is given a weight and
163 the total quality value for a record is equal to the sum of all metrics that
164 apply to that record.  For example, a record that has been cataloged thoroughly
165 and contains accurate data would be more valuable than one of poor quality. You
166 may want to ensure that the incoming record is of the same or better quality
167 than the record that currently exists in your catalog; otherwise, you may want
168 the match to fail.  The quality metric is optional.
169
170 . You can create quality metrics based on the record attribute or the MARC Tag
171 and Subfield.
172
173 . Click *Record Attribute.*
174
175 . Select an attribute from the drop down menu.
176
177 . Enter a value for the attribute.
178
179 . Enter a match score.  You can enter any integer into this field. The number
180 that you enter is only important as it relates to other quality values for the
181 current configuration.  Higher scores would indicate increasing quality of
182 incoming records. You can, as in the expression match score, increase the
183 quality points by increasing subsequent records by a power of 2 (two).
184
185 . Click *Ok*.
186 +
187 image::media/Batch_Importing_MARC_Records8.jpg[Batch_Importing_MARC_Records8]
188
189 Import Records
190 ~~~~~~~~~~~~~~
191
192 The *Import Records* interface incorporates record match sets, quality metrics,
193 more merging options, and improved ways to manage your queue.  In this example,
194 we will import a batch of records.  One of the records in the queue will
195 contain a matching record in the catalog that is of lower quality than the
196 incoming record.  We will import the record according to the guidelines set by
197 our record match set, quality metrics, and merge/overlay choices that we will
198 select.
199
200 . Select a *Record Type* from the drop down menu.
201
202 . Create a queue to which you can upload your records, or add you records to
203 an existing queue.  Queues are linked to match sets and a holdings import
204 profile. You cannot change a holdings import or record match set for a queue.
205
206 . Select a *Record Match Set* from the drop down menu.
207
208 . Select a *Holdings Import Profile* if you want to import holdings that are
209 attached to your records.
210
211 . Select a *Record Source* from the drop down menu.
212
213 . Select a *Merge Profile*.  Merge profiles enable you to specify which tags
214 should be removed or preserved in incoming records.
215
216 . Choose one of the following import options if you want to auto-import
217 records:
218
219 .. *Merge on Single Match* - Using the Record Match Set, Evergreen will only
220 attempt to perform the merge/overlay action if only one match was found in the
221 catalog.
222
223 .. *Merge on Best Match* - If more than one match is found in the catalog for a
224 given record, Evergreen will attempt to perform the merge/overlay action with
225 the best match as defined by the match score and quality metric.
226 +
227 NOTE: Quality ratio affects only the *Merge on Single Match* and *Merge on Best
228 Match* options.
229
230 . Enter a *Best/Single Match Minimum Quality Ratio.*  Divide the incoming
231 record quality score by the record quality score of the best match that might
232 exist in the catalog.  By default, Evergreen will assign any record a quality
233 score of 1 (one).  If you want to ensure that the inbound record is only
234 imported when it has a higher quality than the best match, then you must enter
235 a ratio that is higher than 1.  For example, if you want the incoming record to
236 have twice the quality of an existing record, then you should enter a 2 (two)
237 in this field.  If you want to bypass all quality restraints, enter a 0 (zero)
238 in this field.
239
240 . Select an *Insufficient Quality Fall-Through Profile* if desired.  This
241 field enables you to indicate that if the inbound record does not meet the
242 configured quality standards, then you may still import the record using an
243 alternate merge profile.  This field is typically used for selecting a merge
244 profile that allows the user to import holdings attached to a lower quality
245 record without replacing the existing (target) record with the incoming record.
246 This field is optional.  
247
248 . Under *Copy Import Actions*, choose _Auto-overlay In-process Acquisitions
249 Copies_ if you want to overlay temporary copies that were created by the
250 Acquisitions module.  The system will attempt to overlay copies that:
251
252 * have associated lineitem details (that is, they were created by the acquisitions process),
253 * that lineitem detail has the same owning_lib as the incoming copy's owning_lib, and
254 * the current copy associated with that lineitem detail is _In process_.
255
256 . *Browse* to find the appropriate file, and click *Upload*.  The files will
257 be uploaded to a queue.
258 +
259 image::media/marc_batch_import_acq_overlay.png[Batch Importing MARC Records]
260
261 . The screen will display records that have been uploaded to your queue.
262 +
263 image::media/Batch_Importing_MARC_Records15.jpg[Batch_Importing_MARC_Records15]
264
265 . If Evergreen indicates that matching records exist, then click the
266 *Matches* link to view the matching records.  Check the box adjacent to the
267 existing record that you want to merge with the incoming record. 
268 +
269 image::media/Batch_Importing_MARC_Records10.jpg[Batch_Importing_MARC_Records10]
270
271 . Click *Back to Import Queue*.
272
273 . Check the boxes of the records that you want to import, and click *Import
274 Selected Records*, or click *Import All Records*.
275
276 . A pop up window will offer you the same import choices that were present on
277 the *Import Records* screen.  You can choose one of the import options, or
278 click *Import*.
279 +
280 image::media/marc_batch_import_popup.png[Batch Importing MARC Records Popup]
281
282 . The screen will refresh.  The *Queue Summary* indicates that the record was
283 imported.  The *Import Time* column records the date that the record was
284 imported.
285 +
286 image::media/Batch_Importing_MARC_Records12.jpg[Batch_Importing_MARC_Records12] 
287
288 . Search the catalog to confirm that the record was imported.
289 +
290 image::media/Batch_Importing_MARC_Records14.jpg[Batch_Importing_MARC_Records14] 
291
292
293 Default Values for Item Import 
294 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
295
296 Evergreen now supports additional functionality for importing items through *Cataloging* -> *MARC Batch Import/Export*.  When items are imported via a *Holdings Import Profile* in *Cataloging* -> *MARC Batch Import/Export*, Evergreen will create an item-level record for each copy.  If an item barcode, call number, copy location, or circulation modifier is not set in the embedded holdings, Evergreen will apply a default value based on the configured Library Settings.  A default prefix can be applied to the auto-generated call numbers and item barcodes.
297
298 The following *Library Settings* can be configured to apply these default values to imported items:
299
300 * *Vandelay: Generate Default Barcodes* —Auto-generate default item barcodes when no item barcode is present
301
302 * *Vandelay: Default Barcode Prefix* —Apply this prefix to any auto-generated item barcodes
303
304 * *Vandelay: Generate Default Call Numbers* —Auto-generate default item call numbers when no item call number is present
305
306 * *Vandelay: Default Call Number Prefix* —Apply this prefix to any auto-generated item call numbers
307
308 * *Vandelay: Default Copy Location* —Default copy location value for imported items
309
310 * *Vandelay: Default Circulation Modifier* —Default circulation modifier value for imported items
311