build/i18n/scripts/db-seed-i18n.py

   1 #!/usr/bin/env python
   2 # vim:et:ts=4:sw=4:
   3 """
   4 This class enables translation of Evergreen's seed database strings.
   5
   6 Requires polib from http://polib.googlecode.com
   7 """
   8 # Copyright 2007-2008 Dan Scott <dscott@laurentian.ca>
   9 #
  10 # This program is free software; you can redistribute it and/or
  11 # modify it under the terms of the GNU General Public License
  12 # as published by the Free Software Foundation; either version 2
  13 # of the License, or (at your option) any later version.
  14 #
  15 # This program is distributed in the hope that it will be useful,
  16 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  17 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  18 # GNU General Public License for more details.
  19
  20 import basel10n
  21 import optparse
  22 import polib
  23 import re
  24 import sys
  25
  26 class SQL(basel10n.BaseL10N):
  27     """
  28     This class provides methods for extracting translatable strings from
  29     Evergreen's database seed values, generating a translatable POT file,
  30     reading translated PO files, and generating SQL for inserting the
  31     translated values into the Evergreen database.
  32     """
  33
  34     def __init__(self):
  35         self.pot = None
  36         basel10n.BaseL10N.__init__(self)
  37         self.sql = []
  38
  39     def getstrings(self, source):
  40         """
  41         Each INSERT statement contains 0 or more oils_i18n_gettext()
  42         markers for the en-US string that identify the string (which
  43         we push into the POEntry.occurrences attribute), class hint,
  44         and property. We concatenate the class hint and property and
  45         use that for our msgid attribute.
  46
  47         A sample INSERT string that we'll scan is as follows:
  48
  49             INSERT INTO foo.bar (key, value) VALUES
  50                 (99, oils_i18n_gettext(99, 'string', 'class hint', 'property'));
  51         """
  52         self.pothead()
  53
  54         num = 0
  55         findi18n = re.compile(r'.*?oils_i18n_gettext\((.*?)\'\)')
  56         intkey = re.compile(r'\s*(?P<id>\d+),\s*\'(?P<string>.+?)\',\s*\'(?P<class>.+?)\',\s*\'(?P<property>.+?)$')
  57         textkey = re.compile(r'\s*\'(?P<id>.*?)\',\s*\'(?P<string>.+?)\',\s*\'(?P<class>.+?)\',\s*\'(?P<property>.+?)$')
  58         serts = dict()
  59
  60         # Iterate through the source SQL grabbing table names and l10n strings
  61         sourcefile = open(source)
  62         for line in sourcefile:
  63             try:
  64                 num = num + 1
  65                 entry = findi18n.search(line)
  66                 if entry is None:
  67                     continue
  68                 for parms in entry.groups():
  69                     # Try for an integer-based primary key parameter first
  70                     fi18n = intkey.search(parms)
  71                     if fi18n is None:
  72                         # Otherwise, it must be a text-based primary key parameter
  73                         fi18n = textkey.search(parms)
  74                     fq_field = "%s.%s" % (fi18n.group('class'), fi18n.group('property'))
  75                     # Unescape escaped SQL single-quotes for translators' sanity
  76                     msgid = re.compile(r'\'\'').sub("'", fi18n.group('string'))
  77                     if (msgid in serts):
  78                         serts[msgid].occurrences.append((fq_field, fi18n.group('id')))
  79                     else:
  80                         poe = polib.POEntry()
  81                         poe.occurrences = [(fq_field, fi18n.group('id'))]
  82                         poe.msgid = msgid
  83                         serts[msgid] = poe
  84             except:
  85                 print "Error in line %d of SQL source file" % (num)
  86
  87         for poe in serts.values():
  88             self.pot.append(poe)
  89
  90     def create_sql(self, locale):
  91         """
  92         Creates a set of INSERT statements that place translated strings
  93         into the config.i18n_core table.
  94         """
  95
  96         insert = "INSERT INTO config.i18n_core (fq_field, identity_value," \
  97             " translation, string) VALUES ('%s', '%s', '%s', '%s');"
  98         for entry in self.pot:
  99             for fq_field in entry.occurrences:
 100                 # Escape SQL single-quotes to avoid b0rkage
 101                 msgstr = re.compile(r'\'').sub("''", entry.msgstr)
 102                 if msgstr == '':
 103                     # Don't generate a stmt for an untranslated string
 104                     break
 105                 self.sql.append(insert % (fq_field[0], fq_field[1], locale, msgstr))
 106
 107 def main():
 108     """
 109     Determine what action to take
 110     """
 111     opts = optparse.OptionParser()
 112     opts.add_option('-p', '--pot', action='store', \
 113         help='Generate POT from the specified source SQL file', metavar='FILE')
 114     opts.add_option('-s', '--sql', action='store', \
 115         help='Generate SQL from the specified source POT file', metavar='FILE')
 116     opts.add_option('-l', '--locale', \
 117         help='Locale of the SQL file that will be generated')
 118     opts.add_option('-o', '--output', dest='outfile', \
 119         help='Write output to FILE (defaults to STDOUT)', metavar='FILE')
 120     (options, args) = opts.parse_args()
 121
 122     if options.pot:
 123         pot = SQL()
 124         pot.getstrings(options.pot)
 125         if options.outfile:
 126             pot.savepot(options.outfile)
 127         else:
 128             sys.stdout.write(pot.pot.__str__())
 129     elif options.sql:
 130         if not options.locale:
 131             opts.error('Must specify an output locale')
 132         pot = SQL()
 133         pot.loadpo(options.sql)
 134         pot.create_sql(options.locale)
 135         if not options.outfile:
 136             outfile = sys.stdout
 137         else:
 138             outfile = open(options.outfile, 'w')
 139         for insert in pot.sql:
 140             outfile.write(insert + "\n")
 141     else:
 142         opts.print_help()
 143
 144 if __name__ == '__main__':
 145     main()