docs/RELEASE_NOTES_NEXT/Cataloging/pingest.adoc

   1 Parallel Ingest with pingest.pl
   2 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
   3 A program named pingest.pl is now installed to allow faster record
   4 ingest.  It performs ingest in parallel so that multiple batches can
   5 be done simultaneously.  It operates by splitting the records to be
   6 ingested up into batches and running all of the ingest methods on each
   7 batch.  You may pass in options to control how many batches are run at
   8 the same time, how many records there are per batch, and which ingest
   9 operations to skip.
  10
  11 NOTE: The browse ingest is presently done in a single process over all
  12 of the input records as it cannot run in parallel with itself.  It
  13 does, however, run in parallel with the other ingests.
  14
  15 Command Line Options
  16 ++++++++++++++++++++
  17 pingest.pl accepts the following command line options:
  18
  19 --host::
  20     The server where PostgreSQL runs (either host name or IP address).
  21     The default is read from the PGHOST environment variable or
  22     "localhost."
  23
  24 --port::
  25     The port that PostgreSQL listens to on host.  The default is read
  26     from the PGPORT environment variable or 5432.
  27
  28 --db::
  29     The database to connect to on the host.  The default is read from
  30     the PGDATABASE environment variable or "evergreen."
  31
  32 --user::
  33     The username for database connections.  The default is read from
  34     the PGUSER environment variable or "evergreen."
  35
  36 --password::
  37     The password for database connections.  The default is read from
  38     the PGPASSWORD environment variable or "evergreen."
  39
  40 --batch-size::
  41     Number of records to process per batch.  The default is 10,000.
  42
  43 --max-child::
  44     Max number of worker processes (i.e. the number of batches to
  45     process simultaneously).  The default is 8.
  46
  47 --skip-browse::
  48 --skip-attrs::
  49 --skip-search::
  50 --skip-facets::
  51 --skip-display::
  52     Skip the selected reingest component.
  53
  54 --start-id::
  55     Start processing at this record ID.
  56
  57 --end-id::
  58     Stop processing when this record ID is reached.
  59
  60 --pipe::
  61     Read record IDs to reingest from standard input.  This option
  62     conflicts with --start-id and/or --end-id.
  63
  64 --max-duration::
  65     Stop processing after this many total seconds have passed.  The
  66     default is to run until all records have been processed.
  67
  68 --help::
  69     Show the help text.
  70