icalparse.py

   1 #!/usr/bin/python
   2 #
   3 # Copyright (c) 2013 James French <[email protected]>
   4 #
   5 # Permission is hereby granted, free of charge, to any person obtaining a copy
   6 # of this software and associated documentation files (the "Software"), to deal
   7 # in the Software without restriction, including without limitation the rights
   8 # to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
   9 # copies of the Software, and to permit persons to whom the Software is
  10 # furnished to do so, subject to the following conditions:
  11 #
  12 # The above copyright notice and this permission notice shall be included in
  13 # all copies or substantial portions of the Software.
  14 #
  15 # THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  16 # IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  17 # FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
  18 # AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
  19 # LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
  20 # OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN
  21 # THE SOFTWARE.
  22
  23 import sys, os
  24 import urlparse
  25 import vobject
  26 from cgi import parse_header
  27
  28 def getContent(url='',stdin=False):
  29         '''Generic content retriever, DO NOT use this function in a CGI script as
  30         it can read from the local disk (which you probably don't want it to).
  31         '''
  32
  33         encoding = '' # If we don't populate this, the script will assume UTF-8
  34
  35         # Special case, if this is a HTTP url, return the data from it using
  36         # the HTTP functions which attempt to play a bit nicer.
  37         parsedURL = urlparse.urlparse(url)
  38         if 'http' in parsedURL[0]: return getHTTPContent(url)
  39
  40         if stdin:
  41                 content = sys.stdin.read()
  42                 return (content, encoding)
  43
  44         if not parsedURL[0]: url = 'file://' + os.path.abspath(url)
  45
  46         # If we've survived, use python's generic URL opening library to handle it
  47         import urllib2
  48         try:
  49                 res = urllib2.urlopen(url)
  50                 content = res.read()
  51                 ct = res.info().getplist()
  52                 res.close()
  53         except (urllib2.URLError, OSError), e:
  54                 sys.stderr.write('%s\n'%e)
  55                 sys.exit(1)
  56
  57         for param in ct:
  58                 if 'charset' in param:
  59                         encoding = param.split('=')[1]
  60                         break
  61
  62         return (content, encoding)
  63
  64
  65 def getHTTPContent(url='',cache='.httplib2-cache'):
  66         '''This function attempts to play nice when retrieving content from HTTP
  67         services. It's what you should use in a CGI script.'''
  68
  69         try:
  70                 import httplib2
  71         except ImportError:
  72                 import urllib2
  73
  74         if not url: return ('','')
  75
  76         if not 'http' in urlparse.urlparse(url)[0]: return ('','')
  77
  78         if 'httplib2' in sys.modules:
  79                 try: h = httplib2.Http('.httplib2-cache')
  80                 except OSError: h = httplib2.Http()
  81         else: h = False
  82
  83         if h:
  84                 try:
  85                         req = h.request(url)
  86                 except ValueError, e:
  87                         sys.stderr.write('%s\n'%e)
  88                         sys.exit(1)
  89
  90                 resp, content = req
  91                 if 'content-type' in resp:
  92                         ct = 'Content-Type: %s'%req[0]['content-type']
  93                         ct = parse_header(ct)
  94                         if 'charset' in ct[1]: encoding = ct[1]['charset']
  95                         else: encoding = ''
  96                 else:
  97                         ct = ''
  98                         encoding = ''
  99
 100         else:
 101                 try:
 102                         req = urllib2.urlopen(url)
 103                 except urllib2.URLError, e:
 104                         sys.stderr.write('%s\n'%e)
 105                         sys.exit(1)
 106
 107                 content = req.read()
 108                 ct = req.info().getplist()
 109                 for param in ct:
 110                         if 'charset' in param:
 111                                 encoding = param.split('=')[1]
 112                                 break
 113
 114         return (content, encoding)
 115
 116
 117 def generateRules(ruleConfig):
 118         '''Attempts to load a series of rules into a list'''
 119         try:
 120                 import parserrules
 121         except ImportError:
 122                 return []
 123
 124         for conf in ruleConfig:
 125                 parserrules.ruleConfig[conf] = ruleConfig[conf]
 126
 127         rules = [getattr(parserrules, rule) for rule in dir(parserrules) if callable(getattr(parserrules, rule))]
 128         return rules
 129
 130
 131 def applyRules(cal, rules=[], verbose=False):
 132         'Runs a series of rules on the lines in ical and mangles its output'
 133
 134         for rule in rules:
 135                 cal = rule(cal)
 136
 137         return cal
 138
 139
 140 def writeOutput(cal, outfile=''):
 141         '''Takes a list of lines and outputs to the specified file'''
 142
 143         if not cal:
 144                 sys.stderr.write('Refusing to write out an empty file')
 145                 sys.exit(0)
 146
 147         if not outfile:
 148                 out = sys.stdout
 149         else:
 150                 try:
 151                         out = open(outfile, 'w')
 152                 except (IOError, OSError), e:
 153                         sys.stderr.write('%s\n'%e)
 154                         sys.exit(1)
 155
 156         cal.serialize(out)
 157
 158         if not out == sys.stdout:
 159                 out.close()
 160
 161
 162 def runLocal():
 163         '''Main run function if this script is called locally'''
 164
 165         from optparse import OptionParser
 166
 167         parser = OptionParser('usage: %prog [options] url')
 168         parser.add_option('-s', '--stdin', action='store_true', dest='stdin',
 169                 default=False, help='Take a calendar from standard input')
 170         parser.add_option('-v', '--verbose', action='store_true', dest='verbose',
 171                 default=False, help='Be verbose when rules are being applied')
 172         parser.add_option('-o', '--output', dest='outfile', default='',
 173                 help='Specify output file (defaults to standard output)')
 174         parser.add_option('-m','--encoding', dest='encoding', default='',
 175                 help='Specify a different character encoding'
 176                 '(ignored if the remote server also specifies one)')
 177         parser.add_option('-t','--timezone', dest='timezone', default='',
 178                 help='Specify a timezone to use if the remote calendar doesn\'t set it properly')
 179
 180         (options, args) = parser.parse_args()
 181         ruleConfig["defaultTZ"] = options.timezone or ruleConfig["defaultTZ"]
 182
 183         # If the user passed us a 'stdin' argument, we'll go with that,
 184         # otherwise we'll try for a url opener
 185         if not args and not options.stdin:
 186                 parser.print_usage()
 187                 sys.exit(0)
 188         elif not options.stdin:
 189                 url = args[0]
 190         else:
 191                 url = ''
 192
 193         (content, encoding) = getContent(url, options.stdin)
 194         encoding = encoding or options.encoding or 'utf-8'
 195
 196         cal = vobject.readOne(unicode(content, encoding))
 197         cal = applyRules(cal, generateRules(ruleConfig), options.verbose)
 198
 199         writeOutput(cal, options.outfile)
 200
 201
 202 def exitQuiet(exitstate=0):
 203         '''When called as a CGI script, exit quietly if theres any errors'''
 204         print('Content-Type: text/calendar\n')
 205         sys.exit(exitstate)
 206
 207
 208 def runCGI():
 209         '''Main run function if this script is called as a CGI script
 210         to process facebook ical files'''
 211         import cgi
 212         import re
 213         #import cgitb; cgitb.enable()
 214
 215         ruleConfig["facebook"] = True
 216
 217         form = cgi.FieldStorage()
 218         if "uid" not in form or "key" not in form:
 219                 exitQuiet()
 220         try:
 221                 # UID should be numeric, if it's not we have someone playing games
 222                 uid = int(form['uid'].value)
 223         except:
 224                 exitQuiet()
 225
 226         # The user's key will be a 16 character string
 227         key = form['key'].value
 228         re.search('[&?]+', key) and exitQuiet()
 229         len(key) == 16 or exitQuiet()
 230
 231         # Historically facebook has been notoriously bad at setting timzeones
 232         # in their stuff so this should be a user setting. If it is set in
 233         # their calendar it'll  be used otherwise if the user feeds crap or
 234         # nothing just assume they want Australia/Perth
 235         tz = ""
 236         if "tz" in form:
 237                 from pytz import timezone
 238                 try:
 239                         timezone(form['tz'].value)
 240                         tz = form['tz'].value
 241                 except: pass
 242
 243         ruleConfig["defaultTZ"] = tz or ruleConfig["defaultTZ"]
 244
 245         # Okay, we're happy that the input is sane, lets serve up some data
 246         url = 'http://www.facebook.com/ical/u.php?uid=%d&key=%s'%(uid,key)
 247         (content, encoding) = getHTTPContent(url)
 248
 249         cal = vobject.readOne(unicode(content, encoding))
 250         cal = applyRules(cal, generateRules(ruleConfig), False)
 251
 252         print('Content-Type: text/calendar; charset=%s\n'%encoding)
 253         writeOutput(cal)
 254
 255
 256 if __name__ == '__main__':
 257         # Ensure the rules process using the desired timezone
 258         ruleConfig = {}
 259         ruleConfig["defaultTZ"] = 'Australia/Perth'
 260
 261         # Detect if this script has been called by CGI and proceed accordingly
 262         if 'REQUEST_METHOD' in os.environ:
 263                 runCGI()
 264         else:
 265                 runLocal()