c38e6c17dbb7f448986b8c48563246b7a9753205
[audio.git] / src / archive / tasks.py
1 from datetime import datetime
2 import errno
3 import mimetypes
4 import os
5 import os.path
6 import pipes
7 import stat
8 import subprocess
9 from tempfile import NamedTemporaryFile
10 from time import sleep
11
12 from celery.task import Task
13 from django.db.models import F
14 from django.contrib.auth.models import User
15 from mutagen import File
16 from mutagen import id3
17
18 from apiclient import api_call
19 from archive.constants import status
20 from archive.models import Audiobook
21 from archive.settings import COVER_IMAGE, UPLOAD_URL
22 from archive.utils import ExistingFile
23
24
25 class AudioFormatTask(Task):
26     abstract = True
27
28     class RemoteOperationError(BaseException):
29         pass
30
31     @classmethod
32     def set_status(cls, aid, status):
33         Audiobook.objects.filter(pk=aid).update(
34             **{'%s_status' % cls.prefix: status})
35
36     @staticmethod
37     def encode(in_path, out_path):
38         raise NotImplemented
39
40     @classmethod
41     def set_tags(cls, audiobook, file_name):
42         tags = getattr(audiobook, "get_%s_tags" % cls.prefix)()['tags']
43         if not tags.get('flac_sha1'):
44             tags['flac_sha1'] = audiobook.get_source_sha1()
45         audio = File(file_name)
46         for k, v in tags.items():
47             audio[k] = v
48         audio.save()
49
50     @classmethod
51     def save(cls, audiobook, file_name):
52         field = "%s_file" % cls.prefix
53         getattr(audiobook, field).save(
54             "%d.%s" % (audiobook.pk, cls.ext),
55             ExistingFile(file_name),
56             save=False
57             )
58         os.chmod(getattr(audiobook, field).path, stat.S_IREAD|stat.S_IWRITE|stat.S_IRGRP|stat.S_IROTH)
59         Audiobook.objects.filter(pk=audiobook.pk).update(
60             **{field: getattr(audiobook, field)})
61
62     @classmethod
63     def published(cls, aid):
64         kwargs = {
65             "%s_published_tags" % cls.prefix: F("%s_tags" % cls.prefix),
66             "%s_tags" % cls.prefix: None,
67             "%s_published" % cls.prefix: datetime.now(),
68             '%s_status' % cls.prefix: None,
69         }
70         Audiobook.objects.filter(pk=aid).update(**kwargs)
71
72     @classmethod
73     def put(cls, user, audiobook, path):
74         tags = getattr(audiobook, "get_%s_tags" % cls.prefix)()
75         data = {
76             'book': tags['url'],
77             'type': cls.ext,
78             'name': tags['name'],
79             'part_name': audiobook.part_name,
80             'part_index': audiobook.index,
81             'parts_count': audiobook.parts_count,
82             'source_sha1': audiobook.source_sha1,
83
84             'project_description': audiobook.project.get_description(),
85             'project_icon': audiobook.project.get_icon_url(),
86         }
87         with open(path, 'rb') as f:
88             api_call(user, UPLOAD_URL, data=data, files={
89                 "file": f,
90             })
91
92     def run(self, uid, aid, publish=True):
93         aid = int(aid)
94         audiobook = Audiobook.objects.get(id=aid)
95         self.audiobook = audiobook
96         self.set_status(aid, status.ENCODING)
97
98         if uid:
99             user = User.objects.get(id=uid)
100         else:
101             user = None
102
103         out_file = NamedTemporaryFile(delete=False, prefix='%d-' % aid, suffix='.%s' % self.ext)
104         out_file.close()
105         self.encode(self.get_source_file_paths(audiobook), out_file.name)
106         self.set_status(aid, status.TAGGING)
107         self.set_tags(audiobook, out_file.name)
108         self.set_status(aid, status.SENDING)
109
110         if publish:
111             self.put(user, audiobook, out_file.name)
112             self.published(aid)
113         else:
114             self.set_status(aid, None)
115
116         self.save(audiobook, out_file.name)
117
118     def get_source_file_paths(self, audiobook):
119         return [audiobook.source_file.path]
120
121     def on_failure(self, exc, task_id, args, kwargs, einfo):
122         aid = (args[0], kwargs.get('aid'))[0]
123         self.set_status(aid, None)
124
125
126 class Mp3Task(AudioFormatTask):
127     prefix = ext = 'mp3'
128
129     # these shouldn't be staticmethods
130     def id3_text(tag, text):
131         return tag(encoding=3, text=text)
132     def id3_url(tag, text):
133         return tag(url=text)
134     def id3_comment(tag, text, lang='pol'):
135         return tag(encoding=3, lang=lang, desc='', text=text)
136     def id3_priv(tag, text, what=''):
137         return tag(owner='wolnelektury.pl?%s' % what, data=text.encode('utf-8'))
138
139     TAG_MAP = {
140         'album': (id3_text, id3.TALB),
141         'albumartist': (id3_text, id3.TPE2),
142         'artist': (id3_text, id3.TPE1),
143         'conductor': (id3_text, id3.TPE3),
144         'copyright': (id3_text, id3.TCOP),
145         'date': (id3_text, id3.TDRC),
146         'genre': (id3_text, id3.TCON),
147         'language': (id3_text, id3.TLAN),
148         'organization': (id3_text, id3.TPUB),
149         'title': (id3_text, id3.TIT2),
150         'comment': (id3_comment, id3.COMM, 'pol'),
151         'contact': (id3_url, id3.WOAF),
152         'license': (id3_url, id3.WCOP),
153         'flac_sha1': (id3_priv, id3.PRIV, 'flac_sha1'),
154         'project': (id3_priv, id3.PRIV, 'project'),
155         'funded_by': (id3_priv, id3.PRIV, 'funded_by'),
156     }
157
158     @staticmethod
159     def encode(in_paths, out_path):
160         assert len(in_paths) == 1
161         in_path = in_paths[0]
162         # 44.1kHz 64kbps mono MP3
163         subprocess.check_call(['ffmpeg', 
164             '-i', in_path.encode('utf-8'),
165             '-ar', '44100',
166             '-ab', '64k',
167             '-ac', '1',
168             '-y',
169             '-acodec', 'libmp3lame',
170             out_path.encode('utf-8')
171             ])
172
173     @classmethod
174     def set_tags(cls, audiobook, file_name):
175         mp3_tags = audiobook.get_mp3_tags()['tags']
176         if not mp3_tags.get('flac_sha1'):
177             mp3_tags['flac_sha1'] = audiobook.get_source_sha1()
178         audio = id3.ID3(file_name)
179         for k, v in mp3_tags.items():
180             factory_tuple = cls.TAG_MAP[k]
181             factory, tagtype = factory_tuple[:2]
182             audio.add(factory(tagtype, v, *factory_tuple[2:]))
183
184         if COVER_IMAGE:
185             mime = mimetypes.guess_type(COVER_IMAGE)
186             with open(COVER_IMAGE, 'rb') as f:
187                 audio.add(id3.APIC(encoding=0, mime=mime, type=3, desc='', data=f.read()))
188
189         audio.save()
190
191
192 class OggTask(AudioFormatTask):
193     prefix = ext = 'ogg'
194
195     @staticmethod
196     def encode(in_paths, out_path):
197         assert len(in_paths) == 1
198         in_path = in_paths[0]
199         # 44.1kHz 64kbps mono Ogg Vorbis
200         subprocess.check_call(['ffmpeg', 
201             '-i', in_path.encode('utf-8'),
202             '-ar', '44100',
203             '-ab', '64k',
204             '-ac', '1',
205             '-y',
206             '-acodec', 'libvorbis',
207             out_path.encode('utf-8')
208             ])