Open-ILS/tests/datasets/README

   1 The following table lists the data sets we have collected for testing purposes.
   2
   3 ^ File name         ^ Format    ^ Encoding ^ Source system ^ Description            ^
   4 | auth-1066.mrc     | MARC21    | UTF8     | Aleph         | Dutch authority records from IISH (missing 0 in leader 22) |
   5 | auth-subset100.mrc| MARC21    | UTF8     | Aleph         | Dutch authority records from IISH (missing 0 in leader 22) |
   6 | FSL.marc          | MARC21    | UTF8     | Aleph         | Armenian and Cyrillic scripts, collected from the Fundamental Science Library in Yerevan, Armenia |
   7 | hebrew.marc       | MARC21    | MARC8    | III           | Hebrew scripts, 25 records |
   8 | lul_fre_100.marc  | MARC21    | MARC8    | Unicorn GL3.1 | 100 records, French, pre-1923  |
   9 | lul_fre_500.marc  | MARC21    | MARC8    | Unicorn GL3.1 | 500 records, French, pre-1923  |
  10 | jazz_1k.marc      | MARC21    | MARC8    | Unicorn GL3.1 | 1000 records  |
  11 | map_data.marc     | MARC21    | UTF8     | Voyager (LoC) | 3 records with some geospatial metadata  |
  12 | music_5k.marc     | MARC21    | MARC8    | Unicorn GL3.1 | 5000 records  |
  13 | nepali.marc       | MARC21    | UTF8     |               | Nepali scripts, 98 records, dual 245 and 100 fields (one for Nepali, one for phoneticization |
  14 | oss.marc          | MARC21    | MARC8    | Unicorn GL3.1 |   |
  15 | serials_marc21.xml| MARC21XML | UTF8     |               | A small set of MARC21 bibliographic records |
  16 | serials_mfhd.xml  | MARC21XML | UTF8     |               | MFHD records that map to the serials_marc21.xml records |
  17
  18
  19 =====How to load the test MFHD records=====
  20
  21   - First load the MARC21 records:
  22     - PERL5LIB=/openils/lib/perl5/ perl ../../src/extras/import/marc2bre.pl --marctype XML --start 1 --idfield 901 --idsubfield a serials_marc21.xml | perl ../../src/extras/import/direct_ingest.pl  | perl ../../src/extras/import/pg_loader.pl -or bre -or mrd -or mfr -or mtfe -or mafe -or msfe -or mkfe -or msefe -a mrd -a mfr -a mtfe -a mafe -a msfe -a mkfe -a msefe | psql -U evergreen -h localhost
  23
  24   - Then generate the metarecord map:
  25     - pgsql -f ../../src/extras/import/quick_metarecord_map.sql
  26
  27   - Then process and load the MFHD records - ingest is not used:
  28     - PERL5LIB=/openils/lib/perl5/ perl ../../src/extras/import/marc2sre.pl --marctype XML --password open-ils serials_mfhd.xml | perl ../../src/extras/import/pg_loader.pl -or sre > mfhd21.sql
  29     - Open the file in a text editor and change the final "\N" on each line
  30       to the numeric ID of the org_unit that owns the MFHD record. Yes, this
  31       is a gross hack that effectively limits you to loading MFHD records in
  32       per-org_unit batches; enhancements to marc2sre.pl are welcomed.
  33     - psql -f mfhd21.sql
  34