moved to file-based marc storage, since memcache has a hard-coded 1MB limit on data...
[Evergreen.git] / Open-ILS / src / perlmods / OpenILS / WWW / Vandelay.pm
1 package OpenILS::WWW::Vandelay;
2 use strict;
3 use warnings;
4 use bytes;
5
6 use Apache2::Log;
7 use Apache2::Const -compile => qw(OK REDIRECT DECLINED NOT_FOUND FORBIDDEN :log);
8 use APR::Const    -compile => qw(:error SUCCESS);
9 use APR::Table;
10
11 use Apache2::RequestRec ();
12 use Apache2::RequestIO ();
13 use Apache2::RequestUtil;
14 use CGI;
15 use Data::Dumper;
16 use Text::CSV;
17
18 use OpenSRF::EX qw(:try);
19 use OpenSRF::Utils::Cache;
20 use OpenSRF::System;
21 use OpenSRF::AppSession;
22 use XML::LibXML;
23
24 use OpenILS::Utils::Fieldmapper;
25 use OpenSRF::Utils::Logger qw/$logger/;
26
27 use MARC::Record;
28 use MARC::File::XML;
29
30 use MIME::Base64;
31 use Digest::MD5 qw/md5_hex/;
32 use OpenSRF::Utils::SettingsClient;
33
34 use UNIVERSAL::require;
35
36 our @formats = qw/USMARC UNIMARC XML BRE/;
37 my $MAX_FILE_SIZE = 10737418240; #10G
38 my $FILE_READ_SIZE = 4096;
39
40 # set the bootstrap config and template include directory when
41 # this module is loaded
42 my $bootstrap;
43
44 sub import {
45         my $self = shift;
46         $bootstrap = shift;
47 }
48
49
50 sub child_init {
51         OpenSRF::System->bootstrap_client( config_file => $bootstrap );
52 }
53
54 sub spool_marc {
55         my $r = shift;
56         my $cgi = new CGI;
57
58         my $auth = $cgi->param('ses') || $cgi->cookie('ses');
59
60         return Apache2::Const::FORBIDDEN unless verify_login($auth);
61
62     my $data_fingerprint = '';
63         my $purpose = $cgi->param('purpose');
64         my $infile = $cgi->param('marc_upload');
65
66         my $conf = OpenSRF::Utils::SettingsClient->new;
67         my $dir = $conf->config_value(
68         apps => 'open-ils.vandelay' => app_settings => databases => 'importer');
69
70     unless(-w $dir) {
71         $logger->error("We need some place to store our MARC files");
72             return Apache2::Const::FORBIDDEN;
73     }
74
75     if($infile and -e $infile) {
76         my ($total_bytes, $buf, $bytes) = (0);
77             $data_fingerprint = md5_hex(time."$$".rand());
78         my $outfile = "$dir/$data_fingerprint.mrc";
79
80         unless(open(OUTFILE, ">$outfile")) {
81             $logger->error("unable to open MARC file for writing: $@");
82                 return Apache2::Const::FORBIDDEN;
83         }
84
85         while($bytes = sysread($infile, $buf, $FILE_READ_SIZE)) {
86             $total_bytes += $bytes;
87             if($total_bytes >= $MAX_FILE_SIZE) {
88                 close(OUTFILE);
89                 unlink $outfile;
90                     return Apache2::Const::FORBIDDEN;
91             }
92             print OUTFILE $buf;
93         }
94
95         close(OUTFILE);
96
97             OpenSRF::Utils::Cache->new->put_cache(
98                     'vandelay_import_spool_' . $data_fingerprint,
99                     { purpose => $purpose, path => $outfile }
100             );
101     }
102
103     $r->content_type('text/plain; charset=utf-8');
104         print "$data_fingerprint";
105         return Apache2::Const::OK;
106 }
107
108 sub verify_login {
109         my $auth_token = shift;
110         return undef unless $auth_token;
111
112         my $user = OpenSRF::AppSession
113                 ->create("open-ils.auth")
114                 ->request( "open-ils.auth.session.retrieve", $auth_token )
115                 ->gather(1);
116
117         if (ref($user) eq 'HASH' && $user->{ilsevent} == 1001) {
118                 return undef;
119         }
120
121         return $user if ref($user);
122         return undef;
123 }
124
125 1;