Open-ILS/src/perlmods/OpenILS/Application/Search/Z3950.pm

   1 #!/usr/bin/perl
   2 package OpenILS::Application::Search::Z3950;
   3 use strict; use warnings;
   4 use base qw/OpenSRF::Application/;
   5
   6
   7 use Net::Z3950;
   8 use MARC::Record;
   9 use MARC::File::XML;
  10 use OpenSRF::Utils::SettingsClient;
  11 use Unicode::Normalize;
  12 use XML::LibXML;
  13
  14 use OpenILS::Utils::FlatXML;
  15 use OpenILS::Application::Cat::Utils;
  16 use OpenILS::Application::AppUtils;
  17 use OpenILS::Event;
  18
  19 use OpenSRF::Utils::Logger qw/$logger/;
  20
  21 use OpenSRF::EX qw(:try);
  22
  23 my $utils = "OpenILS::Application::Cat::Utils";
  24 my $apputils = "OpenILS::Application::AppUtils";
  25 my $U = $apputils;
  26
  27 use OpenILS::Utils::ModsParser;
  28 use Data::Dumper;
  29
  30 my $output = "USMARC"; # only support output for now
  31 my $host;
  32 my $port;
  33 my $database;
  34 my $tcnattr;
  35 my $isbnattr;
  36 my $defserv;
  37
  38 my $settings_client;
  39
  40 sub entityize {
  41         my $stuff = shift;
  42         my $form = shift;
  43
  44         if ($form eq 'D') {
  45                 $stuff = NFD($stuff);
  46         } else {
  47                 $stuff = NFC($stuff);
  48         }
  49
  50         $stuff =~ s/([\x{0080}-\x{fffd}])/sprintf('&#x%X;',ord($1))/sgoe;
  51         return $stuff;
  52 }
  53
  54 sub initialize {
  55         $settings_client = OpenSRF::Utils::SettingsClient->new();
  56
  57         $defserv                = $settings_client->config_value("z3950", "default" );
  58
  59         ( $host, $port, $database ) = _load_settings($defserv);
  60         $tcnattr                = $settings_client->config_value("z3950", $defserv, "tcnattr");
  61         $isbnattr       = $settings_client->config_value("z3950", $defserv, "isbnattr");
  62
  63         $logger->info("z3950: Loading Defaults: service=$defserv, host=$host, port=$port, ".
  64                 "db=$database, tcnattr=$tcnattr, isbnattr=$isbnattr" );
  65 }
  66
  67 sub _load_settings {
  68         my $service = shift;
  69
  70         if( $service eq $defserv and $host ) {
  71                 return ( $host, $port, $database );
  72         }
  73
  74         return (
  75                 $settings_client->config_value("z3950", $service, "host"),
  76                 $settings_client->config_value("z3950", $service, "port"),
  77                 $settings_client->config_value("z3950", $service, "db"),
  78                 #$settings_client->config_value("z3950", $service, "username"),
  79                 #$settings_client->config_value("z3950", $service, "password"),
  80         );
  81 }
  82
  83
  84 =head deprecated
  85 __PACKAGE__->register_method(
  86         method  => "marcxml_to_brn",
  87         api_name        => "open-ils.search.z3950.marcxml_to_brn",
  88 );
  89
  90 sub marcxml_to_brn {
  91         my( $self, $client, $marcxml ) = @_;
  92
  93         my $tree;
  94         my $err;
  95
  96         # Strip the namespace info from the <collection> node and shove it into
  97         # the <record> node, if the collection node exists
  98         my ($ns) = ( $marcxml =~ /<collection(.*)?>/og );
  99         $logger->info("marcxml_to_brn extracted namespace info: $ns") if $ns;
 100         $marcxml =~ s/<collection(.*)?>//og;
 101         $marcxml =~ s/<\/collection>//og;
 102         $marcxml =~ s/<record>/<record $ns>/og if $ns;
 103
 104         my $flat = OpenILS::Utils::FlatXML->new( xml => $marcxml );
 105         my $doc = $flat->xml_to_doc();
 106
 107         $logger->debug("z3950: Turning doc into a nodeset...");
 108
 109         try {
 110                 my $nodes = OpenILS::Utils::FlatXML->new->xmldoc_to_nodeset($doc);
 111                 $logger->debug("z3950: turning nodeset into tree");
 112                 $tree = $utils->nodeset2tree( $nodes->nodeset );
 113         } catch Error with {
 114                 $err = shift;
 115         };
 116
 117         if($err) {
 118                 $logger->error("z3950: Error turning doc into nodeset/node tree: $err");
 119                 return undef;
 120         } else {
 121                 return $tree;
 122         }
 123 }
 124 =cut
 125
 126
 127
 128 __PACKAGE__->register_method(
 129         method  => "z39_search_by_string",
 130         api_name        => "open-ils.search.z3950.raw_string",
 131 );
 132
 133 sub z39_search_by_string {
 134
 135         my( $self, $connection, $authtoken, $params ) = @_;
 136         my( $hst, $prt, $db );
 137
 138         my $usr = $$params{username};
 139         my $pw  = $$params{password};
 140
 141         my( $requestor, $evt ) = $U->checksesperm($authtoken, 'REMOTE_Z3950_QUERY');
 142         return $evt if $evt;
 143         my $service = $$params{service};
 144         my $search      = $$params{search};
 145
 146         if( $service ) {
 147                 ($hst, $prt, $db) = _load_settings($$params{service});
 148
 149         } else {
 150                 $hst    = $$params{host};
 151                 $prt    = $$params{prt};
 152                 $db     = $$params{db};
 153                 $service = "(custom)";
 154         }
 155
 156         $logger->info("z3950:  Search App connecting:  service=$service, ".
 157                 "host=$hst, port=$prt, db=$db, username=$usr, password=$pw, search=$search" );
 158
 159         return OpenILS::Event->new('BAD_PARAMS') unless ($hst and $prt and $db);
 160
 161         $usr ||= ""; $pw        ||= "";
 162
 163         my $conn = new Net::Z3950::Connection(
 164                 $hst, $prt,
 165                 databaseName                            => $db,
 166                 user                                                    => $usr,
 167                 password                                                => $pw,
 168                 preferredRecordSyntax   => $output,
 169         );
 170
 171         if(!$conn) {
 172                 $logger->error("Unable to create Z3950 connection: $hst, $prt, $db, $usr, $pw, $output");
 173                 return OpenILS::Event->new('Z3950_LOGIN_FAILED');
 174         }
 175
 176         my $rs = $conn->search( $search );
 177         return OpenILS::Event->new('Z3950_SEARCH_FAILED') unless $rs;
 178
 179         # We want nice full records
 180         $rs->option(elementSetName => "f");
 181
 182         my $records = [];
 183         my $hash = {};
 184
 185         $hash->{count} =  $rs->size();
 186         $logger->info("z3950: Search recovered " . $hash->{count} . " records");
 187
 188         # until there is a more graceful way to handle this
 189         if($hash->{count} > 20) { return $hash; }
 190
 191         for( my $x = 0; $x != $hash->{count}; $x++ ) {
 192                 $logger->debug("z3950: Churning on z39 record count $x");
 193
 194                 my $rec = $rs->record($x+1);
 195                 my $marc = MARC::Record->new_from_usmarc($rec->rawdata());
 196
 197                 # parse the XML
 198                 my $doc = XML::LibXML->new->parse_string($marc->as_xml_record());
 199
 200                 # strip the <xml> declaration and run through entityize
 201                 my $marcxml = entityize( $doc->documentElement->toString );
 202                 my $mods;
 203
 204                 my $u = OpenILS::Utils::ModsParser->new();
 205
 206                 $logger->debug("z3950: creating mvr");
 207                 $u->start_mods_batch( $marcxml );
 208                 $mods = $u->finish_mods_batch();
 209
 210                 push @$records, { 'mvr' => $mods, 'marcxml' => $marcxml };
 211         }
 212
 213         $logger->debug("z3950: got here near the end with " . scalar(@$records) . " records." );
 214
 215         $hash->{records} = $records;
 216         return $hash;
 217
 218 }
 219
 220
 221 __PACKAGE__->register_method(
 222         method  => "tcn_search",
 223         api_name        => "open-ils.search.z3950.tcn",
 224 );
 225
 226 sub tcn_search {
 227         my($self, $connection, $authtoken, $tcn, $service, $username, $password) = @_;
 228
 229         my( $requestor, $evt ) = $U->checksesperm($authtoken, 'REMOTE_Z3950_QUERY');
 230         return $evt if $evt;
 231         $service ||= $defserv;
 232
 233         my $attr = $settings_client->config_value("z3950", $service, "tcnattr");
 234
 235         $logger->info("z3950: Searching for TCN $tcn");
 236
 237         return $self->z39_search_by_string(
 238                 $connection, $authtoken, {
 239                         search  => "\@attr 1=$attr \"$tcn\"",
 240                         service => $service,
 241                         username        => $username,
 242                         password        => $password,
 243                 }
 244         );
 245 }
 246
 247
 248 __PACKAGE__->register_method(
 249         method  => "isbn_search",
 250         api_name        => "open-ils.search.z3950.isbn",
 251 );
 252
 253 sub isbn_search {
 254         my( $self, $connection, $authtoken, $isbn, $service, $username, $password ) = @_;
 255
 256         my( $requestor, $evt ) = $U->checksesperm($authtoken, 'REMOTE_Z3950_QUERY');
 257         return $evt if $evt;
 258         $service ||= $defserv;
 259
 260         my $attr = $settings_client->config_value("z3950", $service, "isbnattr");
 261
 262         $logger->info("z3950: Performing ISBN search : $isbn");
 263
 264         return $self->z39_search_by_string(
 265                 $connection, $authtoken, {
 266                         search  => "\@attr 1=$attr \"$isbn\"",
 267                         service => $service ,
 268                         username        => $username,
 269                         password        => $password,
 270                 }
 271         );
 272 }
 273
 274
 275 __PACKAGE__->register_method(
 276         method  => "query_interfaces",
 277         api_name        => "open-ils.search.z3950.services.retrieve",
 278 );
 279
 280 sub query_interfaces {
 281         my( $self, $client, $authtoken ) = @_;
 282         my( $requestor, $evt ) = $U->checksesperm($authtoken, 'REMOTE_Z3950_QUERY');
 283
 284         my $services = $settings_client->config_value("z3950");
 285         $services = { $services } unless ref($services);
 286
 287         return [ grep { $_ ne 'default' } keys %$services ];
 288 }
 289
 290
 291
 292
 293
 294 1;