initial support for capturing bytes read from gateway response
[OpenSRF.git] / src / python / osrf / gateway.py
1 from xml.dom import minidom
2 from xml.sax import handler, make_parser, saxutils
3 from osrf.json import to_object
4 from osrf.net_obj import NetworkObject, new_object_from_hint
5 import osrf.log
6 import urllib, urllib2, sys, re
7
8 defaultHost = None
9
10 class GatewayRequest:
11     def __init__(self, service, method, params=[]):
12         self.service = service
13         self.method = method
14         self.params = params
15         self.path = 'gateway'
16         self.bytes_read = 0 # for now this, this is really characters read
17
18     def setPath(self, path):
19         self.path = path
20
21     def send(self):
22         params = self.buildPOSTParams()
23         request = urllib2.Request(self.buildURL(), data=params)
24         response = None
25         try:
26             response =urllib2.urlopen(request)
27         except urllib2.HTTPError, e:
28             # log this?
29             sys.stderr.write('%s => %s?%s\n' % (unicode(e), self.buildURL(), params))
30             raise e
31             
32         return self.handleResponse(response)
33
34     def buildPOSTParams(self):
35
36         params = urllib.urlencode({   
37             'service': self.service,
38             'method': self.method,
39             'format': self.getFormat(),
40             'input_format': self.getInputFormat()
41         })
42
43         for p in self.params:
44             params += '&param=%s' % urllib.quote(self.encodeParam(p), "'/")
45         return params
46
47     def setDefaultHost(host):
48         global defaultHost
49         defaultHost = host
50     setDefaultHost = staticmethod(setDefaultHost)
51
52     def buildURL(self):
53         return 'http://%s/%s' % (defaultHost, self.path)
54
55 class JSONGatewayRequest(GatewayRequest):
56     def __init__(self, service, method, *params):
57         GatewayRequest.__init__(self, service, method, list(params))
58
59     def getFormat(self):
60         return 'json'
61
62     def getInputFormat(self):
63         return self.getFormat()
64
65     def handleResponse(self, response):
66
67         data = response.read()
68         self.bytes_read = len(str(response.headers)) + len(data)
69         obj = to_object(data)
70
71         if obj['status'] != 200:
72             sys.stderr.write('JSON gateway returned status %d:\n%s\n' % (obj['status'], s))
73             return None
74
75         # the gateway wraps responses in an array to handle streaming data
76         # if there is only one item in the array, it (probably) wasn't a streaming request
77         p = obj['payload']
78         if len(p) > 1: return p
79         return p[0]
80
81     def encodeParam(self, param):
82         return osrf.json.to_json(param)
83
84 class XMLGatewayRequest(GatewayRequest):
85
86     def __init__(self, service, method, *params):
87         GatewayRequest.__init__(self, service, method, list(params))
88
89     def getFormat(self):
90         return 'xml'
91
92     def getInputFormat(self):
93         return self.getFormat()
94
95     def handleResponse(self, response):
96         handler = XMLGatewayParser()
97         parser = make_parser()
98         parser.setContentHandler(handler)
99         try:
100             parser.parse(response)
101         except Exception, e:
102             osrf.log.log_error('Error parsing gateway XML: %s' % unicode(e))
103             return None
104
105         return handler.getResult()
106
107     def encodeParam(self, param):
108         return osrf.net_obj.to_xml(param);
109
110 class XMLGatewayParser(handler.ContentHandler):
111
112     def __init__(self):
113         self.result = None
114         self.objStack = []
115         self.keyStack = []
116         self.posStack = [] # for tracking array-based hinted object indices
117
118         # true if we are parsing an element that may have character data
119         self.charsPending = 0 
120
121     def getResult(self):
122         return self.result
123
124     def __getAttr(self, attrs, name):
125         for (k, v) in attrs.items():
126             if k == name:
127                 return v
128         return None
129
130     def startElement(self, name, attrs):
131         
132         if self.charsPending:
133             # we just read a 'string' or 'number' element that resulted
134             # in no text data.  Appaned a None object
135             self.appendChild(None)
136
137         if name == 'null':
138             self.appendChild(None)
139             return
140
141         if name == 'string' or name == 'number':
142             self.charsPending = True
143             return
144
145         if name == 'element': # this is an object item wrapper
146             self.keyStack.append(self.__getAttr(attrs, 'key'))
147             return
148
149         hint = self.__getAttr(attrs, 'class_hint')
150         if hint:
151             obj = new_object_from_hint(hint)
152             self.appendChild(obj)
153             self.objStack.append(obj)
154             if name == 'array':
155                 self.posStack.append(0)
156             return
157
158         if name == 'array':
159             obj = []
160             self.appendChild(obj)
161             self.objStack.append(obj)
162             return
163
164         if name == 'object':
165             obj = {}
166             self.appendChild(obj)
167             self.objStack.append(obj)
168             return
169
170         if name == 'boolean':
171             self.appendChild((self.__getAttr(attrs, 'value') == 'true'))
172             return
173
174
175     def appendChild(self, child):
176
177         if self.result == None:
178             self.result = child
179
180         if not self.objStack: return;
181
182         parent = self.objStack[len(self.objStack)-1]
183
184         if isinstance(parent, list):
185             parent.append(child)
186         else:
187             if isinstance(parent, dict):
188                 parent[self.keyStack.pop()] = child
189             else:
190                 if isinstance(parent, NetworkObject):
191                     key = None
192                     if parent.get_registry().protocol == 'array':
193                         keys = parent.get_registry().keys
194                         i = self.posStack.pop()
195                         key = keys[i]
196                         if i+1 < len(keys):
197                             self.posStack.append(i+1)
198                     else:
199                         key = self.keyStack.pop()
200
201                     parent.set_field(key, child)
202
203     def endElement(self, name):
204         if name == 'array' or name == 'object':
205             self.objStack.pop()
206
207     def characters(self, chars):
208         self.charsPending = False
209         self.appendChild(urllib.unquote_plus(chars))
210
211
212
213     
214