Make i18n scripts stricter about UTF-8 input/output handling.
[working/Evergreen.git] / build / i18n / scripts / dojo_resource.py
1 #!/usr/bin/env python
2 # dojo_resource.py
3 """
4 This class enables translation of Dojo resource bundles using gettext format.
5
6 Requires polib from http://polib.googlecode.com
7
8 Source event definitions are structured as follows:
9 {
10     "MSG_ID1": "This is a message with 1 variable - ${0}.",
11     "MSG_ID2": "This is a message with two variables: ${0} and ${1}."
12 }
13
14 Note that this is a deliberately limited subset of the variable substitution
15 allowed by http://api.dojotoolkit.org/jsdoc/dojo/1.2/dojo.string.substitute
16
17 """
18 # Copyright 2007 Dan Scott <dscott@laurentian.ca>
19 #
20 # This program is free software; you can redistribute it and/or
21 # modify it under the terms of the GNU General Public License
22 # as published by the Free Software Foundation; either version 2
23 # of the License, or (at your option) any later version.
24 #
25 # This program is distributed in the hope that it will be useful,
26 # but WITHOUT ANY WARRANTY; without even the implied warranty of
27 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
28 # GNU General Public License for more details.
29
30 import basel10n
31 import codecs
32 import optparse
33 import polib
34 import re
35 import sys
36 import simplejson
37 import os.path
38
39 class DojoResource (basel10n.BaseL10N):
40     """
41     This class provides methods for extracting translatable strings from
42     Evergreen's Dojo resource bundle files, generating translatable POT files,
43     reading translated PO files, and generating an updated Dojo resource bundle
44     files with additional or changed strings.
45     """
46
47     def __init__(self):
48         self.pot = None
49         basel10n.BaseL10N.__init__(self)
50         self.msgs = {}
51
52     def get_strings(self, source):
53         """
54         Extracts translatable strings from Evergreen's Dojo resource bundles.
55         """
56         self.pothead()
57
58         # Avoid generating duplicate entries by keeping track of msgids
59         msgids = dict()
60
61         bundle = simplejson.load(codecs.open(source, encoding='utf-8', mode='r'))
62
63         for key, value in bundle.iteritems():
64             if value in msgids:
65                 msgids[str(value)].occurrences.append((os.path.basename(source), str(key)))
66             else:
67                 poe = polib.POEntry()
68                 poe.occurrences = [(os.path.basename(source), str(key))]
69                 poe.msgid = str(value)
70                 msgids[str(value)] = poe
71
72         # Now add the POEntries to our POFile
73         for poe in msgids.values():
74             self.pot.append(poe)
75
76     def create_bundle(self):
77         """
78         Creates a Dojo resource bundle file based on a translated PO file.
79         """
80
81         for entry in self.pot:
82             for filename, msgkey in entry.occurrences:
83                 if entry.msgstr == '':
84                     # No translation available; use the en-US definition
85                     self.msgs[msgkey] = entry.msgid
86                 else:
87                     self.msgs[msgkey] = entry.msgstr
88
89 def main():
90     """
91     Determine what action to take
92     """
93     opts = optparse.OptionParser()
94     opts.add_option('-p', '--pot', action='store', \
95         help='Create a POT file from the specified Dojo resource bundle file', \
96         metavar='FILE')
97     opts.add_option('-c', '--create', action='store', \
98         help='Create a Dojo resource bundle file from a translated PO FILE', \
99         metavar='FILE')
100     opts.add_option('-o', '--output', dest='outfile', \
101         help='Write output to FILE (defaults to STDOUT)', metavar='FILE')
102     (options, args) = opts.parse_args()
103
104     pot = DojoResource()
105
106     # Generate a new POT file from the Dojo resource bundle file
107     if options.pot:
108         pot.get_strings(options.pot)
109         if options.outfile:
110             pot.savepot(options.outfile)
111         else:
112             sys.stdout.write(pot.pot.__str__())
113
114     # Generate an Dojo resource bundle file from a PO file
115     elif options.create:
116         pot.loadpo(options.create)
117         pot.create_bundle()
118         if options.outfile:
119             outfile = codecs.open(options.outfile, encoding='utf-8', mode='w')
120             simplejson.dump(pot.msgs, outfile, indent=4)
121         else:
122             print(simplejson.dumps(pot.msgs, indent=4))
123
124     # No options were recognized - print help and bail
125     else:
126         opts.print_help()
127
128 if __name__ == '__main__':
129     main()