6edaebc43387ef056e839beb4bcc9b5c8ae90a03
[fnpdjango.git] / fnpdjango / deploy / __init__.py
1 """
2 Generic fabric deployment script.
3 Create a fabfile.py in the project and start it with:
4
5     from fnpdjango.deploy import *
6
7 Then set up some env properties:
8     project_name: slug-like project name
9     hosts: list of target host names
10     user: remote user name
11     app_path: where does the app go
12     services: list of tasks to run after deployment
13     django_root_path (optional): path to the directory
14         containing django project, relative to the
15         root of the repository (defaults to '.')
16     localsettings_dst_path (optional): path indicating
17         where to copy the localsettings file, relative
18         to django_root_path (defaults to project_name/localsettings.py)
19 """
20 from os.path import abspath, dirname, exists, join
21 from django.utils.crypto import get_random_string
22 from fabric.api import *
23 from fabric.contrib import files
24 from fabric.tasks import Task, execute
25
26 env.virtualenv = '/usr/bin/virtualenv'
27 env.services = None
28
29
30 @task
31 def setup():
32     """
33     Setup all needed directories.
34     """
35     require('hosts', 'app_path')
36
37     if not files.exists(env.app_path):
38         run('mkdir -p %(app_path)s' % env, pty=True)
39     with cd(env.app_path):
40         for subdir in 'releases', 'packages', 'log':
41             if not files.exists(subdir):
42                 run('mkdir -p %s' % subdir, pty=True)
43     with cd('%(app_path)s/releases' % env):
44         if not files.exists('current'):
45             run('ln -sfT . current', pty=True)
46         if not files.exists('previous'):
47             run('ln -sfT . previous', pty=True)
48     
49     upload_samples()
50
51
52 def check_localsettings():
53     if not files.exists('%(app_path)s/localsettings.py' % env):
54         abort('localsettings.py file missing.')
55
56
57 @task(default=True)
58 def deploy():
59     """
60     Deploy the latest version of the site to the servers,
61     install any required third party modules,
62     install the virtual host and then restart the webserver
63     """
64     require('hosts', 'app_path')
65
66     import time
67     env.release = time.strftime('%Y-%m-%dT%H%M')
68
69     setup()
70     check_localsettings()
71     upload_tar_from_git()
72     copy_localsettings()
73     install_requirements()
74     symlink_current_release()
75     migrate()
76     collectstatic()
77     restart()
78
79 @task
80 def rollback():
81     """
82     Limited rollback capability. Simple loads the previously current
83     version of the code. Rolling back again will swap between the two.
84     Warning: this will almost certainly go wrong, it there were any migrations
85     in the meantime!
86     """
87     require('hosts', 'app_path')
88     with cd(env.path):
89         run('mv releases/current releases/_previous;', pty=True)
90         run('mv releases/previous releases/current;', pty=True)
91         run('mv releases/_previous releases/previous;', pty=True)
92     collectstatic()
93     restart()
94
95 @task
96 def deploy_version(version):
97     """
98     Loads the specified version.
99     Warning: this will almost certainly go wrong, it there were any migrations
100     in the meantime!
101     """
102     "Specify a specific version to be made live"
103     require('hosts', 'app_path')
104     env.version = version
105     with cd(env.path):
106         run('rm releases/previous; mv releases/current releases/previous;', pty=True)
107         run('ln -s %(version)s releases/current' % env, pty=True)
108     collectstatic()
109     restart()
110
111 @task
112 def restart():
113     require('services')
114     for service in env.services:
115         execute(service)
116
117
118 # =====================================================================
119 # = Helpers. These are called by other functions rather than directly =
120 # =====================================================================
121
122 class Service(Task):
123     def upload_sample(self):
124         pass
125
126 class DebianGunicorn(Service):
127     def __init__(self, name):
128         super(Task, self).__init__()
129         self.name = name
130
131     def run(self):
132         print '>>> restart webserver using gunicorn-debian'
133         sudo('gunicorn-debian restart %s' % self.name, shell=False)
134
135     def upload_sample(self):
136         upload_sample('gunicorn')
137
138 class Apache(Service):
139     def run(self):
140         print '>>> restart webserver by touching WSGI'
141         with path('/sbin'):
142             run('touch %(app_path)s/%(project_name)s/wsgi.py' % env)
143
144 class Supervisord(Service):
145     def __init__(self, name):
146         super(Task, self).__init__()
147         self.name = name
148
149     def run(self):
150         print '>>> supervisord: restart %s' % self.name
151         sudo('supervisorctl restart %s' % self.name, shell=False)
152
153 def upload_samples():
154     upload_localsettings_sample()
155     upload_nginx_sample()
156     for service in env.services:
157         service.upload_sample()
158
159 def upload_sample(name):
160     require('app_path', 'project_name')
161     upload_path = '%(app_path)s/' % env + name + '.sample'
162     if files.exists(upload_path):
163         return
164     print '>>> upload %s template' % name
165     template = '%(project_name)s/' % env + name + '.template'
166     if not exists(template):
167         template = join(dirname(abspath(__file__)), 'templates/' + name + '.template')
168     files.upload_template(template, upload_path, env)
169
170 def upload_localsettings_sample():
171     "Fill out localsettings template and upload as a sample."
172     env.secret_key = get_random_string(50)
173     upload_sample('localsettings.py')
174
175 upload_nginx_sample = lambda: upload_sample('nginx')
176
177 def upload_tar_from_git():
178     "Create an archive from the current Git branch and upload it"
179     print '>>> upload tar from git'
180     require('release', provided_by=[deploy])
181     require('app_path')
182     local('git-archive-all.sh --format tar %(release)s.tar' % env)
183     local('gzip %(release)s.tar' % env)
184     run('mkdir -p %(app_path)s/releases/%(release)s' % env, pty=True)
185     run('mkdir -p %(app_path)s/packages' % env, pty=True)
186     put('%(release)s.tar.gz' % env, '%(app_path)s/packages/' % env)
187     run('cd %(app_path)s/releases/%(release)s && tar zxf ../../packages/%(release)s.tar.gz' % env, pty=True)
188     local('rm %(release)s.tar.gz' % env)
189
190 def install_requirements():
191     "Install the required packages from the requirements file using pip"
192     print '>>> install requirements'
193     require('release', provided_by=[deploy])
194     require('app_path')
195     if not files.exists('%(app_path)s/ve' % env):
196         require('virtualenv')
197         run('%(virtualenv)s %(app_path)s/ve' % env, pty=True)
198     with cd('%(app_path)s/releases/%(release)s' % env):
199         run('%(app_path)s/ve/bin/pip install -r requirements.txt' % env, pty=True)
200     with cd(get_django_root_path(env['release'])):
201         # Install DB requirement
202         database_reqs = {
203             'django.db.backends.postgresql_psycopg2': 'psycopg2',
204             'django.db.backends.mysql': 'MySQL-python',
205         }
206         databases = run('''DJANGO_SETTINGS_MODULE=%(project_name)s.settings %(app_path)s/ve/bin/python -c 'from django.conf import settings;              print " ".join(set([d["ENGINE"] for d in settings.DATABASES.values()]))' ''' % env)
207         for database in databases.split():
208             if database in database_reqs:
209                 # TODO: set pip default pypi
210                 run('%(app_path)s/ve/bin/pip install ' % env + database_reqs[database])
211
212
213 def copy_localsettings():
214     "Copy localsettings.py from root directory to release directory (if this file exists)"
215     print ">>> copy localsettings"
216     require('release', provided_by=[deploy])
217     require('app_path', 'project_name')
218
219     with settings(warn_only=True):
220         copy_to = join(get_django_root_path(env['release']), env.get('localsettings_dst_path', env['project_name']))
221         run('cp %(app_path)s/localsettings.py ' % env + copy_to)
222
223 def symlink_current_release():
224     "Symlink our current release"
225     print '>>> symlink current release'
226     require('release', provided_by=[deploy])
227     require('app_path')
228     with cd(env.app_path):
229         run('rm releases/previous; mv releases/current releases/previous')
230         run('ln -s %(release)s releases/current' % env)
231
232 def migrate():
233     "Update the database"
234     print '>>> migrate'
235     require('app_path', 'project_name')
236     with cd(get_django_root_path('current')):
237         run('%(app_path)s/ve/bin/python manage.py syncdb --noinput' % env, pty=True)
238         run('%(app_path)s/ve/bin/python manage.py migrate' % env, pty=True)
239
240 def collectstatic():
241     """Collect static files"""
242     print '>>> collectstatic'
243     require('app_path', 'project_name')
244     with cd(get_django_root_path('current')):
245         run('%(app_path)s/ve/bin/python manage.py collectstatic --noinput' % env, pty=True)
246
247
248 def get_django_root_path(release):
249     require('app_path')
250     path = '%(app_path)s/releases/%(release)s' % dict(app_path = env['app_path'], release = release)
251     if 'django_root_path' in env:
252         path = join(path, env['django_root_path'])
253     return path