src/perl/lib/OpenSRF/Utils/Cache.pm

   1 package OpenSRF::Utils::Cache;
   2 use strict; use warnings;
   3 use base qw/OpenSRF/;
   4 use Cache::Memcached;
   5 use OpenSRF::Utils::Logger qw/:level/;
   6 use OpenSRF::Utils::Config;
   7 use OpenSRF::Utils::SettingsClient;
   8 use OpenSRF::EX qw(:try);
   9 use OpenSRF::Utils::JSON;
  10
  11 my $log = 'OpenSRF::Utils::Logger';
  12
  13 =head1 NAME
  14
  15 OpenSRF::Utils::Cache
  16
  17 =head1 SYNOPSIS
  18
  19 This class just subclasses Cache::Memcached.
  20 see Cache::Memcached for more options.
  21
  22 The value passed to the call to current is the cache type
  23 you wish to access.  The below example sets/gets data
  24 from the 'user' cache.
  25
  26 my $cache = OpenSRF::Utils::Cache->current("user");
  27 $cache->set( "key1", "value1" [, $expire_secs ] );
  28 my $val = $cache->get( "key1" );
  29
  30
  31 =cut
  32
  33 sub DESTROY {}
  34
  35 my %caches;
  36
  37 # ------------------------------------------------------
  38 # Persist methods and method names
  39 # ------------------------------------------------------
  40 my $persist_add_slot;
  41 my $persist_push_stack;
  42 my $persist_peek_stack;
  43 my $persist_destroy_slot;
  44 my $persist_slot_get_expire;
  45 my $persist_slot_find;
  46
  47 my $max_persist_time;
  48 my $persist_add_slot_name        = "opensrf.persist.slot.create_expirable";
  49 my $persist_push_stack_name      = "opensrf.persist.stack.push";
  50 my $persist_peek_stack_name      = "opensrf.persist.stack.peek";
  51 my $persist_destroy_slot_name    = "opensrf.persist.slot.destroy";
  52 my $persist_slot_get_expire_name = "opensrf.persist.slot.get_expire";
  53 my $persist_slot_find_name       = "opensrf.persist.slot.find";;
  54
  55 # ------------------------------------------------------
  56
  57 =head1 METHODS
  58
  59 =head2 current
  60
  61 Return a named cache if it exists
  62
  63 =cut
  64
  65 sub current {
  66         my ( $class, $c_type )  = @_;
  67         return undef unless $c_type;
  68         return $caches{$c_type} if exists $caches{$c_type};
  69         return $caches{$c_type} = $class->new( $c_type );
  70 }
  71
  72
  73 =head2 new
  74
  75 Create a new named memcache object.
  76
  77 =cut
  78
  79 sub new {
  80
  81         my( $class, $cache_type, $persist ) = @_;
  82         $cache_type ||= 'global';
  83         $class = ref( $class ) || $class;
  84
  85         return $caches{$cache_type} if (defined $caches{$cache_type});
  86
  87         my $conf = OpenSRF::Utils::SettingsClient->new;
  88         my $servers = $conf->config_value( cache => $cache_type => servers => 'server' );
  89         $max_persist_time = $conf->config_value( cache => $cache_type => 'max_cache_time' );
  90
  91         $servers = [ $servers ] if(!ref($servers));
  92
  93         my $self = {};
  94         $self->{persist} = $persist || 0;
  95         $self->{memcache} = Cache::Memcached->new( { servers => $servers } );
  96         if(!$self->{memcache}) {
  97                 throw OpenSRF::EX::PANIC ("Unable to create a new memcache object for $cache_type");
  98         }
  99
 100         bless($self, $class);
 101         $caches{$cache_type} = $self;
 102         return $self;
 103 }
 104
 105
 106 =head2 put_cache
 107
 108 =cut
 109
 110 sub put_cache {
 111         my($self, $key, $value, $expiretime ) = @_;
 112
 113         $key = _clean_cache_key($key);
 114
 115         return undef unless( defined $key and defined $value );
 116
 117         $value = OpenSRF::Utils::JSON->perl2JSON($value);
 118
 119         if($self->{persist}){ _load_methods(); }
 120
 121         $expiretime ||= $max_persist_time;
 122
 123         unless( $self->{memcache}->set( $key, $value, $expiretime ) ) {
 124                 $log->error("Unable to store $key => [".length($value)." bytes]  in memcached server" );
 125                 return undef;
 126         }
 127
 128         $log->debug("Stored $key => $value in memcached server", INTERNAL);
 129
 130         if($self->{"persist"}) {
 131
 132                 my ($slot) = $persist_add_slot->run("_CACHEVAL_$key", $expiretime . "s");
 133
 134                 if(!$slot) {
 135                         # slot may already exist
 136                         ($slot) = $persist_slot_find->run("_CACHEVAL_$key");
 137                         if(!defined($slot)) {
 138                                 throw OpenSRF::EX::ERROR ("Unable to create cache slot $key in persist server" );
 139                         } else {
 140                                 #XXX destroy the slot and rebuild it to prevent DOS
 141                         }
 142                 }
 143
 144                 ($slot) = $persist_push_stack->run("_CACHEVAL_$key", $value);
 145
 146                 if(!$slot) {
 147                         throw OpenSRF::EX::ERROR ("Unable to push data onto stack in persist slot _CACHEVAL_$key" );
 148                 }
 149         }
 150
 151         return $key;
 152 }
 153
 154
 155 =head2 delete_cache
 156
 157 =cut
 158
 159 sub delete_cache {
 160         my( $self, $key ) = @_;
 161         $key = _clean_cache_key($key);
 162         if(!$key) { return undef; }
 163         if($self->{persist}){ _load_methods(); }
 164         $self->{memcache}->delete($key);
 165         if( $self->{persist} ) {
 166                 $persist_destroy_slot->run("_CACHEVAL_$key");
 167         }
 168         return $key;
 169 }
 170
 171
 172 =head2 get_cache
 173
 174 =cut
 175
 176 sub get_cache {
 177         my($self, $key ) = @_;
 178
 179         $key = _clean_cache_key($key);
 180
 181         my $val = $self->{memcache}->get( $key );
 182         return OpenSRF::Utils::JSON->JSON2perl($val) if defined($val);
 183
 184         if($self->{persist}){ _load_methods(); }
 185
 186         # if not in memcache but we are persisting, the put it into memcache
 187         if( $self->{"persist"} ) {
 188                 $val = $persist_peek_stack->( "_CACHEVAL_$key" );
 189                 if(defined($val)) {
 190                         my ($expire) = $persist_slot_get_expire->run("_CACHEVAL_$key");
 191                         if($expire)     {
 192                                 $self->{memcache}->set( $key, $val, $expire);
 193                         } else {
 194                                 $self->{memcache}->set( $key, $val, $max_persist_time);
 195                         }
 196                         return OpenSRF::Utils::JSON->JSON2perl($val);
 197                 }
 198         }
 199         return undef;
 200 }
 201
 202
 203 =head2 _load_methods
 204
 205 =cut
 206
 207 sub _load_methods {
 208
 209         if(!$persist_add_slot) {
 210                 $persist_add_slot =
 211                         OpenSRF::Application->method_lookup($persist_add_slot_name);
 212                 if(!ref($persist_add_slot)) {
 213                         throw OpenSRF::EX::PANIC ("Unable to retrieve method $persist_add_slot_name");
 214                 }
 215         }
 216
 217         if(!$persist_push_stack) {
 218                 $persist_push_stack =
 219                         OpenSRF::Application->method_lookup($persist_push_stack_name);
 220                 if(!ref($persist_push_stack)) {
 221                         throw OpenSRF::EX::PANIC ("Unable to retrieve method $persist_push_stack_name");
 222                 }
 223         }
 224
 225         if(!$persist_peek_stack) {
 226                 $persist_peek_stack =
 227                         OpenSRF::Application->method_lookup($persist_peek_stack_name);
 228                 if(!ref($persist_peek_stack)) {
 229                         throw OpenSRF::EX::PANIC ("Unable to retrieve method $persist_peek_stack_name");
 230                 }
 231         }
 232
 233         if(!$persist_destroy_slot) {
 234                 $persist_destroy_slot =
 235                         OpenSRF::Application->method_lookup($persist_destroy_slot_name);
 236                 if(!ref($persist_destroy_slot)) {
 237                         throw OpenSRF::EX::PANIC ("Unable to retrieve method $persist_destroy_slot_name");
 238                 }
 239         }
 240         if(!$persist_slot_get_expire) {
 241                 $persist_slot_get_expire =
 242                         OpenSRF::Application->method_lookup($persist_slot_get_expire_name);
 243                 if(!ref($persist_slot_get_expire)) {
 244                         throw OpenSRF::EX::PANIC ("Unable to retrieve method $persist_slot_get_expire_name");
 245                 }
 246         }
 247         if(!$persist_slot_find) {
 248                 $persist_slot_find =
 249                         OpenSRF::Application->method_lookup($persist_slot_find_name);
 250                 if(!ref($persist_slot_find)) {
 251                         throw OpenSRF::EX::PANIC ("Unable to retrieve method $persist_slot_find_name");
 252                 }
 253         }
 254 }
 255
 256
 257 =head2 _clean_cache_key
 258
 259 Try to make the requested cache key conform to memcached's requirements. Per
 260 https://github.com/memcached/memcached/blob/master/doc/protocol.txt:
 261
 262 """
 263 Data stored by memcached is identified with the help of a key. A key
 264 is a text string which should uniquely identify the data for clients
 265 that are interested in storing and retrieving it.  Currently the
 266 length limit of a key is set at 250 characters (of course, normally
 267 clients wouldn't need to use such long keys); the key must not include
 268 control characters or whitespace.
 269 """
 270
 271 =cut
 272
 273 sub _clean_cache_key {
 274     my $key = shift;
 275
 276     $key =~ s{(\p{Cntrl}|\s)}{}g;
 277
 278     return $key;
 279 }
 280
 281 1;
 282