src/archive/tasks.py

   1 from datetime import datetime
   2 import errno
   3 import mimetypes
   4 import os
   5 import os.path
   6 import pipes
   7 import stat
   8 import subprocess
   9 from tempfile import NamedTemporaryFile
  10 from time import sleep
  11
  12 from celery.task import Task
  13 from django.db.models import F
  14 from django.contrib.auth.models import User
  15 from mutagen import File
  16 from mutagen import id3
  17
  18 from apiclient import api_call
  19 from archive.constants import status
  20 from archive.models import Audiobook
  21 from archive.settings import BUILD_PATH, COVER_IMAGE, UPLOAD_URL
  22 from archive.utils import ExistingFile
  23
  24
  25 class AudioFormatTask(Task):
  26     abstract = True
  27
  28     class RemoteOperationError(BaseException):
  29         pass
  30
  31     @classmethod
  32     def set_status(cls, aid, status):
  33         Audiobook.objects.filter(pk=aid).update(
  34             **{'%s_status' % cls.ext: status})
  35
  36     @staticmethod
  37     def encode(in_path, out_path):
  38         raise NotImplemented
  39
  40     @classmethod
  41     def set_tags(cls, audiobook, file_name):
  42         tags = getattr(audiobook, "get_%s_tags" % cls.ext)()['tags']
  43         if not tags.get('flac_sha1'):
  44             tags['flac_sha1'] = audiobook.get_source_sha1()
  45         audio = File(file_name)
  46         for k, v in tags.items():
  47             audio[k] = v
  48         audio.save()
  49
  50     @classmethod
  51     def save(cls, audiobook, file_name):
  52         field = "%s_file" % cls.ext
  53         getattr(audiobook, field).save(
  54             "%d.%s" % (audiobook.pk, cls.ext),
  55             ExistingFile(file_name),
  56             save=False
  57             )
  58         os.chmod(getattr(audiobook, field).path, stat.S_IREAD|stat.S_IWRITE|stat.S_IRGRP|stat.S_IROTH)
  59         Audiobook.objects.filter(pk=audiobook.pk).update(
  60             **{field: getattr(audiobook, field)})
  61
  62     @classmethod
  63     def published(cls, aid):
  64         kwargs = {
  65             "%s_published_tags" % cls.ext: F("%s_tags" % cls.ext),
  66             "%s_tags" % cls.ext: None,
  67             "%s_published" % cls.ext: datetime.now(),
  68             '%s_status' % cls.ext: None,
  69         }
  70         Audiobook.objects.filter(pk=aid).update(**kwargs)
  71
  72     @classmethod
  73     def put(cls, user, audiobook, path):
  74         tags = getattr(audiobook, "get_%s_tags" % cls.ext)()
  75         data = {
  76             'book': tags['url'],
  77             'type': cls.ext,
  78             'name': tags['name'],
  79             'part_name': audiobook.part_name,
  80             'part_index': audiobook.index,
  81             'parts_count': audiobook.parts_count,
  82             'source_sha1': audiobook.source_sha1,
  83         }
  84         with open(path, 'rb') as f:
  85             api_call(user, UPLOAD_URL, data=data, files={
  86                 "file": f,
  87             })
  88
  89     def run(self, uid, aid, publish=True):
  90         aid = int(aid)
  91         audiobook = Audiobook.objects.get(id=aid)
  92         self.set_status(aid, status.ENCODING)
  93
  94         user = User.objects.get(id=uid)
  95
  96         try:
  97             os.makedirs(BUILD_PATH)
  98         except OSError as e:
  99             if e.errno == errno.EEXIST:
 100                 pass
 101             else:
 102                 raise
 103
 104         out_file = NamedTemporaryFile(delete=False, prefix='%d-' % aid, suffix='.%s' % self.ext, dir=BUILD_PATH)
 105         out_file.close()
 106         self.encode(audiobook.source_file.path, out_file.name)
 107         self.set_status(aid, status.TAGGING)
 108         self.set_tags(audiobook, out_file.name)
 109         self.set_status(aid, status.SENDING)
 110
 111         if publish:
 112             self.put(user, audiobook, out_file.name)
 113             self.published(aid)
 114         else:
 115             self.set_status(aid, None)
 116
 117         self.save(audiobook, out_file.name)
 118
 119     def on_failure(self, exc, task_id, args, kwargs, einfo):
 120         aid = (args[0], kwargs.get('aid'))[0]
 121         self.set_status(aid, None)
 122
 123
 124 class Mp3Task(AudioFormatTask):
 125     ext = 'mp3'
 126
 127     # these shouldn't be staticmethods
 128     def id3_text(tag, text):
 129         return tag(encoding=3, text=text)
 130     def id3_url(tag, text):
 131         return tag(url=text)
 132     def id3_comment(tag, text, lang='pol'):
 133         return tag(encoding=3, lang=lang, desc='', text=text)
 134     def id3_priv(tag, text, what=''):
 135         return tag(owner='wolnelektury.pl?%s' % what, data=text.encode('utf-8'))
 136
 137     TAG_MAP = {
 138         'album': (id3_text, id3.TALB),
 139         'albumartist': (id3_text, id3.TPE2),
 140         'artist': (id3_text, id3.TPE1),
 141         'conductor': (id3_text, id3.TPE3),
 142         'copyright': (id3_text, id3.TCOP),
 143         'date': (id3_text, id3.TDRC),
 144         'genre': (id3_text, id3.TCON),
 145         'language': (id3_text, id3.TLAN),
 146         'organization': (id3_text, id3.TPUB),
 147         'title': (id3_text, id3.TIT2),
 148         'comment': (id3_comment, id3.COMM, 'pol'),
 149         'contact': (id3_url, id3.WOAF),
 150         'license': (id3_url, id3.WCOP),
 151         'flac_sha1': (id3_priv, id3.PRIV, 'flac_sha1'),
 152         'project': (id3_priv, id3.PRIV, 'project'),
 153         'funded_by': (id3_priv, id3.PRIV, 'funded_by'),
 154     }
 155
 156     @staticmethod
 157     def encode(in_path, out_path):
 158         # 44.1kHz 64kbps mono MP3
 159         subprocess.check_call(['ffmpeg',
 160             '-i', in_path.encode('utf-8'),
 161             '-ar', '44100',
 162             '-ab', '64k',
 163             '-ac', '1',
 164             '-y',
 165             '-acodec', 'libmp3lame',
 166             out_path.encode('utf-8')
 167             ])
 168
 169     @classmethod
 170     def set_tags(cls, audiobook, file_name):
 171         mp3_tags = audiobook.get_mp3_tags()['tags']
 172         if not mp3_tags.get('flac_sha1'):
 173             mp3_tags['flac_sha1'] = audiobook.get_source_sha1()
 174         audio = id3.ID3(file_name)
 175         for k, v in mp3_tags.items():
 176             factory_tuple = cls.TAG_MAP[k]
 177             factory, tagtype = factory_tuple[:2]
 178             audio.add(factory(tagtype, v, *factory_tuple[2:]))
 179
 180         if COVER_IMAGE:
 181             mime = mimetypes.guess_type(COVER_IMAGE)
 182             with open(COVER_IMAGE, 'rb') as f:
 183                 audio.add(id3.APIC(encoding=0, mime=mime, type=3, desc='', data=f.read()))
 184
 185         audio.save()
 186
 187
 188 class OggTask(AudioFormatTask):
 189     ext = 'ogg'
 190
 191     @staticmethod
 192     def encode(in_path, out_path):
 193         # 44.1kHz 64kbps mono Ogg Vorbis
 194         subprocess.check_call(['ffmpeg',
 195             '-i', in_path.encode('utf-8'),
 196             '-ar', '44100',
 197             '-ab', '64k',
 198             '-ac', '1',
 199             '-y',
 200             '-acodec', 'libvorbis',
 201             out_path.encode('utf-8')
 202             ])