Open-ILS/src/perlmods/OpenILS/Application/Vandelay.pm

   1 package OpenILS::Application::Vandelay;
   2 use strict; use warnings;
   3 use OpenILS::Application;
   4 use base qw/OpenILS::Application/;
   5
   6 use Unicode::Normalize;
   7 use OpenSRF::EX qw/:try/;
   8
   9 use OpenSRF::AppSession;
  10 use OpenSRF::Utils::SettingsClient;
  11 use OpenSRF::Utils::Cache;
  12
  13 use OpenILS::Utils::Fieldmapper;
  14 use OpenILS::Utils::CStoreEditor qw/:funcs/;
  15
  16 use MARC::Batch;
  17 use MARC::Record;
  18 use MARC::File::XML;
  19
  20 use OpenILS::Utils::Fieldmapper;
  21
  22 use Time::HiRes qw(time);
  23
  24 use OpenSRF::Utils::Logger qw/$logger/;
  25 use MIME::Base64;
  26
  27 sub initialize {}
  28 sub child_init {}
  29
  30 sub entityize {
  31         my $stuff = shift;
  32         my $form = shift;
  33
  34         if ($form eq 'D') {
  35                 $stuff = NFD($stuff);
  36         } else {
  37                 $stuff = NFC($stuff);
  38         }
  39
  40         $stuff =~ s/([\x{0080}-\x{fffd}])/sprintf('&#x%X;',ord($1))/sgoe;
  41         return $stuff;
  42 }
  43
  44 # --------------------------------------------------------------------------------
  45 # Biblio ingest
  46
  47 sub create_bib_queue {
  48         my $self = shift;
  49         my $client = shift;
  50         my $auth = shift;
  51         my $name = shift;
  52         my $owner = shift;
  53         my $type = shift;
  54
  55         my $e = new_editor(authtoken => $auth, xact => 1);
  56
  57         return $e->die_event unless $e->checkauth;
  58         return $e->die_event unless $e->allowed('CREATE_BIB_IMPORT_QUEUE');
  59     $owner ||= $e->requestor->id;
  60
  61         my $queue = new Fieldmapper::vandelay::bib_queue();
  62         $queue->name( $name );
  63         $queue->owner( $owner );
  64         $queue->queue_type( $type ) if ($type);
  65
  66         my $new_q = $e->create_vandelay_bib_queue( $queue );
  67         return $e->die_event unless ($new_q);
  68         $e->commit;
  69
  70     return $new_q;
  71 }
  72 __PACKAGE__->register_method(
  73         api_name        => "open-ils.vandelay.bib_queue.create",
  74         method          => "create_bib_queue",
  75         api_level       => 1,
  76         argc            => 3,
  77 );
  78
  79
  80 sub create_auth_queue {
  81         my $self = shift;
  82         my $client = shift;
  83         my $auth = shift;
  84         my $name = shift;
  85         my $owner = shift;
  86         my $type = shift;
  87
  88         my $e = new_editor(authtoken => $auth, xact => 1);
  89
  90         return $e->die_event unless $e->checkauth;
  91         return $e->die_event unless $e->allowed('CREATE_AUTHORITY_IMPORT_QUEUE');
  92     $owner ||= $e->requestor->id;
  93
  94         my $queue = new Fieldmapper::vandelay::authority_queue();
  95         $queue->name( $name );
  96         $queue->owner( $owner );
  97         $queue->queue_type( $type ) if ($type);
  98
  99         my $new_q = $e->create_vandelay_authority_queue( $queue );
 100         $e->die_event unless ($new_q);
 101         $e->commit;
 102
 103     return $new_q;
 104 }
 105 __PACKAGE__->register_method(
 106         api_name        => "open-ils.vandelay.authority_queue.create",
 107         method          => "create_auth_queue",
 108         api_level       => 1,
 109         argc            => 3,
 110 );
 111
 112 sub add_record_to_bib_queue {
 113         my $self = shift;
 114         my $client = shift;
 115         my $auth = shift;
 116         my $queue = shift;
 117         my $marc = shift;
 118         my $purpose = shift;
 119
 120         my $e = new_editor(authtoken => $auth, xact => 1);
 121
 122         $queue = $e->retrieve_vandelay_bib_queue($queue);
 123
 124         return $e->die_event unless $e->checkauth;
 125         return $e->die_event unless
 126                 ($e->allowed('CREATE_BIB_IMPORT_QUEUE', undef, $queue) ||
 127                  $e->allowed('CREATE_BIB_IMPORT_QUEUE'));
 128
 129         my $new_rec = _add_bib_rec($e, $marc, $queue->id, $purpose);
 130
 131         return $e->die_event unless ($new_rec);
 132         $e->commit;
 133     return $new_rec;
 134 }
 135 __PACKAGE__->register_method(
 136         api_name        => "open-ils.vandelay.queued_bib_record.create",
 137         method          => "add_record_to_bib_queue",
 138         api_level       => 1,
 139         argc            => 3,
 140 );
 141
 142 sub _add_bib_rec {
 143         my $e = shift;
 144         my $marc = shift;
 145         my $queue = shift;
 146         my $purpose = shift;
 147
 148         my $rec = new Fieldmapper::vandelay::queued_bib_record();
 149         $rec->marc( $marc );
 150         $rec->queue( $queue );
 151         $rec->purpose( $purpose ) if ($purpose);
 152
 153         return $e->create_vandelay_queued_bib_record( $rec );
 154 }
 155
 156 sub add_record_to_authority_queue {
 157         my $self = shift;
 158         my $client = shift;
 159         my $auth = shift;
 160         my $queue = shift;
 161         my $marc = shift;
 162         my $purpose = shift;
 163
 164         my $e = new_editor(authtoken => $auth, xact => 1);
 165
 166         $queue = $e->retrieve_vandelay_authority_queue($queue);
 167
 168         return $e->die_event unless $e->checkauth;
 169         return $e->die_event unless
 170                 ($e->allowed('CREATE_AUTHORITY_IMPORT_QUEUE', undef, $queue) ||
 171                  $e->allowed('CREATE_AUTHORITY_IMPORT_QUEUE'));
 172
 173         my $new_rec = _add_auth_rec($e, $marc, $queue->id, $purpose);
 174
 175         return $e->die_event unless ($new_rec);
 176         $e->commit;
 177     return $new_rec;
 178 }
 179 __PACKAGE__->register_method(
 180         api_name        => "open-ils.vandelay.queued_authority_record.create",
 181         method          => "add_record_to_authority_queue",
 182         api_level       => 1,
 183         argc            => 3,
 184 );
 185
 186 sub _add_auth_rec {
 187         my $e = shift;
 188         my $marc = shift;
 189         my $queue = shift;
 190     my $purpose = shift;
 191
 192         my $rec = new Fieldmapper::vandelay::queued_authority_record();
 193         $rec->marc( $marc );
 194         $rec->queue( $queue );
 195         $rec->purpose( $purpose ) if ($purpose);
 196
 197         return $e->create_vandelay_queued_authority_record( $rec );
 198 }
 199
 200 sub process_spool {
 201         my $self = shift;
 202         my $client = shift;
 203         my $auth = shift;
 204         my $fingerprint = shift;
 205         my $queue_id = shift;
 206
 207         my $e = new_editor(authtoken => $auth, xact => 1);
 208     return $e->die_event unless $e->checkauth;
 209
 210     my $queue;
 211     my $type = $self->{record_type};
 212
 213     if($type eq 'bib') {
 214         $queue = $e->retrieve_vandelay_bib_queue($queue_id) or return $e->die_event;
 215     } else {
 216         $queue = $e->retrieve_vandelay_authority_queue($queue_id) or return $e->die_event;
 217     }
 218
 219     my $evt = check_queue_perms($e, $type, $queue);
 220     return $evt if $evt;
 221
 222         my $method = "open-ils.vandelay.queued_${type}_record.create";
 223         $method = $self->method_lookup( $method );
 224
 225     my $cache = new OpenSRF::Utils::Cache();
 226
 227     my $data = $cache->get_cache('vandelay_import_spool_' . $fingerprint);
 228         my $purpose = $data->{purpose};
 229     $data = decode_base64($data->{marc});
 230
 231     $logger->info("vandelay loaded $fingerprint purpose=$purpose and ".length($data)." bytes of data");
 232
 233     my $fh;
 234     open $fh, '<', \$data;
 235
 236     my $marctype = 'USMARC'; # ?
 237         my $batch = new MARC::Batch ( $marctype, $fh );
 238         $batch->strict_off;
 239
 240         my $count = 0;
 241         while (my $r = $batch->next) {
 242         $logger->info("processing record $count");
 243                 try {
 244                         (my $xml = $r->as_xml_record()) =~ s/\n//sog;
 245                         $xml =~ s/^<\?xml.+\?\s*>//go;
 246                         $xml =~ s/>\s+</></go;
 247                         $xml =~ s/\p{Cc}//go;
 248                         $xml = entityize($xml);
 249                         $xml =~ s/[\x00-\x1f]//go;
 250
 251                         if ($type eq 'bib') {
 252                                 _add_bib_rec( $e, $xml, $queue_id, $purpose ) or return $e->die_event;
 253                         } else {
 254                                 _add_auth_rec( $e, $xml, $queue_id, $purpose ) or return $e->die_event;
 255                         }
 256                         $count++;
 257
 258                         $client->respond( $count );
 259                 } catch Error with {
 260                         my $error = shift;
 261                         $logger->warn("Encountered a bad record at Vandelay ingest: ".$error);
 262                 }
 263         }
 264
 265         $e->commit;
 266         return undef;
 267 }
 268 __PACKAGE__->register_method(
 269         api_name        => "open-ils.vandelay.bib.process_spool",
 270         method          => "process_spool",
 271         api_level       => 1,
 272         argc            => 3,
 273         record_type     => 'bib'
 274 );
 275 __PACKAGE__->register_method(
 276         api_name        => "open-ils.vandelay.auth.process_spool",
 277         method          => "process_spool",
 278         api_level       => 1,
 279         argc            => 3,
 280         record_type     => 'auth'
 281 );
 282
 283
 284 __PACKAGE__->register_method(
 285         api_name        => "open-ils.vandelay.bib_queue.records.retrieve",
 286         method          => 'retrieve_queue',
 287         api_level       => 1,
 288         argc            => 2,
 289     stream      => 1,
 290         record_type     => 'bib'
 291 );
 292 __PACKAGE__->register_method(
 293         api_name        => "open-ils.vandelay.auth_queue.records.retrieve",
 294         method          => 'retrieve_queue',
 295         api_level       => 1,
 296         argc            => 2,
 297     stream      => 1,
 298         record_type     => 'auth'
 299 );
 300
 301 sub retrieve_queue {
 302     my($self, $conn, $auth, $queue_id, $options) = @_;
 303     my $e = new_editor(authtoken => $auth);
 304     return $e->event unless $e->checkauth;
 305
 306     my $type = $self->{record_type};
 307     my $queue;
 308     if($type eq 'bib') {
 309         $queue = $e->retrieve_vandelay_bib_queue($queue_id) or return $e->die_event;
 310     } else {
 311         $queue = $e->retrieve_vandelay_authority_queue($queue_id) or return $e->die_event;
 312     }
 313     my $evt = check_queue_perms($e, $type, $queue);
 314     return $evt if $evt;
 315
 316     if($type eq 'bib') {
 317         my $record_ids = $e->search_vandelay_queued_bib_record({queue => $queue_id}, {idlist => 1});
 318         for my $rec_id (@$record_ids) {
 319             my $rec = $e->retrieve_vandelay_queued_bib_record([
 320                 $rec_id,
 321                 {   flesh => 1,
 322                     flesh_fields => {vqbr => ['attributes']}
 323                 }
 324             ]);
 325             $rec->clear_marc if $$options{clear_marc};
 326             $conn->respond($rec);
 327         }
 328     } else {
 329         my $record_ids = $e->search_vandelay_queued_authority_record({queue => $queue_id}, {idlist => 1});
 330         for my $rec_id (@$record_ids) {
 331             for my $rec_id (@$record_ids) {
 332                 my $rec = $e->retrieve_vandelay_queued_bib_record([
 333                     $rec_id,
 334                     {   flesh => 1,
 335                         flesh_fields => {vqar => ['attributes']}
 336                     }
 337                 ]);
 338                 $rec->clear_marc if $$options{clear_marc};
 339                 $conn->respond($rec);
 340             }
 341         }
 342     }
 343     return undef;
 344 }
 345
 346 sub check_queue_perms {
 347     my($e, $type, $queue) = @_;
 348         if ($type eq 'bib') {
 349                 return $e->die_event unless
 350                         ($e->allowed('CREATE_BIB_IMPORT_QUEUE', undef, $queue) ||
 351                          $e->allowed('CREATE_BIB_IMPORT_QUEUE'));
 352         } else {
 353                 return $e->die_event unless
 354                         ($e->allowed('CREATE_AUTHORITY_IMPORT_QUEUE', undef, $queue) ||
 355                          $e->allowed('CREATE_AUTHORITY_IMPORT_QUEUE'));
 356         }
 357
 358     return undef;
 359 }
 360
 361
 362 1;