fnpdjango/deploy/__init__.py

   1 """
   2 Generic fabric deployment script.
   3 Create a fabfile.py in the project and start it with:
   4
   5     from fnpdjango.deploy import *
   6
   7 Then set up some env properties:
   8     project_name: slug-like project name
   9     hosts: list of target host names
  10     user: remote user name
  11     app_path: where does the app go
  12     services: list of tasks to run after deployment
  13     django_root_path (optional): path to the directory
  14         containing django project, relative to the
  15         root of the repository (defaults to '.')
  16     localsettings_dst_path (optional): path indicating
  17         where to copy the localsettings file, relative
  18         to django_root_path (defaults to project_name/localsettings.py)
  19 """
  20 from os.path import abspath, dirname, exists, join
  21 from django.utils.crypto import get_random_string
  22 from fabric.api import *
  23 from fabric.contrib import files
  24 from fabric.tasks import Task, execute
  25
  26 env.virtualenv = '/usr/bin/virtualenv'
  27 env.services = None
  28
  29
  30 @task
  31 def setup():
  32     """
  33     Setup all needed directories.
  34     """
  35     require('hosts', 'app_path')
  36
  37     if not files.exists(env.app_path):
  38         run('mkdir -p %(app_path)s' % env, pty=True)
  39     with cd(env.app_path):
  40         for subdir in 'releases', 'packages', 'log':
  41             if not files.exists(subdir):
  42                 run('mkdir -p %s' % subdir, pty=True)
  43     with cd('%(app_path)s/releases' % env):
  44         if not files.exists('current'):
  45             run('ln -sfT . current', pty=True)
  46         if not files.exists('previous'):
  47             run('ln -sfT . previous', pty=True)
  48
  49     upload_samples()
  50
  51
  52 def check_localsettings():
  53     if not files.exists('%(app_path)s/localsettings.py' % env):
  54         abort('localsettings.py file missing.')
  55
  56
  57 @task(default=True)
  58 def deploy():
  59     """
  60     Deploy the latest version of the site to the servers,
  61     install any required third party modules,
  62     install the virtual host and then restart the webserver
  63     """
  64     require('hosts', 'app_path')
  65
  66     import time
  67     env.release = time.strftime('%Y-%m-%dT%H%M')
  68
  69     setup()
  70     check_localsettings()
  71     upload_tar_from_git()
  72     copy_localsettings()
  73     install_requirements()
  74     symlink_current_release()
  75     migrate()
  76     pre_collectstatic()
  77     collectstatic()
  78     restart()
  79
  80 @task
  81 def rollback():
  82     """
  83     Limited rollback capability. Simple loads the previously current
  84     version of the code. Rolling back again will swap between the two.
  85     Warning: this will almost certainly go wrong, it there were any migrations
  86     in the meantime!
  87     """
  88     require('hosts', 'app_path')
  89     with cd(env.path):
  90         run('mv releases/current releases/_previous;', pty=True)
  91         run('mv releases/previous releases/current;', pty=True)
  92         run('mv releases/_previous releases/previous;', pty=True)
  93     collectstatic()
  94     restart()
  95
  96 @task
  97 def deploy_version(version):
  98     """
  99     Loads the specified version.
 100     Warning: this will almost certainly go wrong, it there were any migrations
 101     in the meantime!
 102     """
 103     "Specify a specific version to be made live"
 104     require('hosts', 'app_path')
 105     env.version = version
 106     with cd(env.path):
 107         run('rm releases/previous; mv releases/current releases/previous;', pty=True)
 108         run('ln -s %(version)s releases/current' % env, pty=True)
 109     collectstatic()
 110     restart()
 111
 112 @task
 113 def restart():
 114     require('services')
 115     for service in env.services:
 116         execute(service)
 117
 118
 119 # =====================================================================
 120 # = Helpers. These are called by other functions rather than directly =
 121 # =====================================================================
 122
 123 class Service(Task):
 124     def upload_sample(self):
 125         pass
 126
 127 class DebianGunicorn(Service):
 128     def __init__(self, name):
 129         super(Task, self).__init__()
 130         self.name = name
 131
 132     def run(self):
 133         print '>>> restart webserver using gunicorn-debian'
 134         sudo('gunicorn-debian restart %s' % self.name, shell=False)
 135
 136     def upload_sample(self):
 137         upload_sample('gunicorn')
 138
 139 class Apache(Service):
 140     def run(self):
 141         print '>>> restart webserver by touching WSGI'
 142         with path('/sbin'):
 143             run('touch %(app_path)s/%(project_name)s/wsgi.py' % env)
 144
 145 class Supervisord(Service):
 146     def __init__(self, name):
 147         super(Task, self).__init__()
 148         self.name = name
 149
 150     def run(self):
 151         print '>>> supervisord: restart %s' % self.name
 152         sudo('supervisorctl restart %s' % self.name, shell=False)
 153
 154 def upload_samples():
 155     upload_localsettings_sample()
 156     upload_nginx_sample()
 157     for service in env.services:
 158         service.upload_sample()
 159
 160 def upload_sample(name):
 161     require('app_path', 'project_name')
 162     upload_path = '%(app_path)s/' % env + name + '.sample'
 163     if files.exists(upload_path):
 164         return
 165     print '>>> upload %s template' % name
 166     template = '%(project_name)s/' % env + name + '.template'
 167     if not exists(template):
 168         template = join(dirname(abspath(__file__)), 'templates/' + name + '.template')
 169     files.upload_template(template, upload_path, env)
 170
 171 def upload_localsettings_sample():
 172     "Fill out localsettings template and upload as a sample."
 173     env.secret_key = get_random_string(50)
 174     upload_sample('localsettings.py')
 175
 176 upload_nginx_sample = lambda: upload_sample('nginx')
 177
 178 def upload_tar_from_git():
 179     "Create an archive from the current Git branch and upload it"
 180     print '>>> upload tar from git'
 181     require('release', provided_by=[deploy])
 182     require('app_path')
 183     local('git-archive-all.sh --format tar %(release)s.tar' % env)
 184     local('gzip %(release)s.tar' % env)
 185     run('mkdir -p %(app_path)s/releases/%(release)s' % env, pty=True)
 186     run('mkdir -p %(app_path)s/packages' % env, pty=True)
 187     put('%(release)s.tar.gz' % env, '%(app_path)s/packages/' % env)
 188     run('cd %(app_path)s/releases/%(release)s && tar zxf ../../packages/%(release)s.tar.gz' % env, pty=True)
 189     local('rm %(release)s.tar.gz' % env)
 190
 191 def install_requirements():
 192     "Install the required packages from the requirements file using pip"
 193     print '>>> install requirements'
 194     require('release', provided_by=[deploy])
 195     require('app_path')
 196     if not files.exists('%(app_path)s/ve' % env):
 197         require('virtualenv')
 198         run('%(virtualenv)s %(app_path)s/ve' % env, pty=True)
 199     with cd('%(app_path)s/releases/%(release)s' % env):
 200         run('%(app_path)s/ve/bin/pip install -r requirements.txt' % env, pty=True)
 201     with cd(get_django_root_path(env['release'])):
 202         # Install DB requirement
 203         database_reqs = {
 204             'django.db.backends.postgresql_psycopg2': 'psycopg2',
 205             'django.db.backends.mysql': 'MySQL-python',
 206         }
 207         databases = run('''DJANGO_SETTINGS_MODULE=%(project_name)s.settings %(app_path)s/ve/bin/python -c 'from django.conf import settings;              print " ".join(set([d["ENGINE"] for d in settings.DATABASES.values()]))' ''' % env)
 208         for database in databases.split():
 209             if database in database_reqs:
 210                 # TODO: set pip default pypi
 211                 run('%(app_path)s/ve/bin/pip install ' % env + database_reqs[database])
 212
 213
 214 def copy_localsettings():
 215     "Copy localsettings.py from root directory to release directory (if this file exists)"
 216     print ">>> copy localsettings"
 217     require('release', provided_by=[deploy])
 218     require('app_path', 'project_name')
 219
 220     with settings(warn_only=True):
 221         copy_to = join(get_django_root_path(env['release']), env.get('localsettings_dst_path', env['project_name']))
 222         run('cp %(app_path)s/localsettings.py ' % env + copy_to)
 223
 224 def symlink_current_release():
 225     "Symlink our current release"
 226     print '>>> symlink current release'
 227     require('release', provided_by=[deploy])
 228     require('app_path')
 229     with cd(env.app_path):
 230         run('rm releases/previous; mv releases/current releases/previous')
 231         run('ln -s %(release)s releases/current' % env)
 232
 233 def migrate():
 234     "Update the database"
 235     print '>>> migrate'
 236     require('app_path', 'project_name')
 237     with cd(get_django_root_path('current')):
 238         run('%(app_path)s/ve/bin/python manage.py syncdb --noinput' % env, pty=True)
 239         run('%(app_path)s/ve/bin/python manage.py migrate' % env, pty=True)
 240
 241 def pre_collectstatic():
 242     print '>>> pre_collectstatic'
 243     for task in env.get('pre_collectstatic', []):
 244         execute(task)
 245
 246 def collectstatic():
 247     """Collect static files"""
 248     print '>>> collectstatic'
 249     require('app_path', 'project_name')
 250     with cd(get_django_root_path('current')):
 251         run('%(app_path)s/ve/bin/python manage.py collectstatic --noinput' % env, pty=True)
 252
 253
 254 def get_django_root_path(release):
 255     require('app_path')
 256     path = '%(app_path)s/releases/%(release)s' % dict(app_path = env['app_path'], release = release)
 257     if 'django_root_path' in env:
 258         path = join(path, env['django_root_path'])
 259     return path