src/archive/tasks.py

   1 from datetime import datetime
   2 import errno
   3 import mimetypes
   4 import os
   5 import os.path
   6 import pipes
   7 import stat
   8 import subprocess
   9 from tempfile import NamedTemporaryFile
  10 from time import sleep
  11
  12 from celery.task import Task
  13 from django.conf import settings
  14 from django.db.models import F
  15 from django.contrib.auth.models import User
  16 from mutagen import File
  17 from mutagen import id3
  18
  19 from apiclient import api_call
  20 from archive.constants import status
  21 from archive.models import Audiobook
  22 from archive.settings import COVER_IMAGE, UPLOAD_URL
  23 from archive.utils import ExistingFile
  24
  25
  26 class AudioFormatTask(Task):
  27     abstract = True
  28
  29     class RemoteOperationError(BaseException):
  30         pass
  31
  32     @classmethod
  33     def set_status(cls, aid, status):
  34         Audiobook.objects.filter(pk=aid).update(
  35             **{'%s_status' % cls.prefix: status})
  36
  37     @staticmethod
  38     def encode(in_path, out_path):
  39         raise NotImplemented
  40
  41     @classmethod
  42     def set_tags(cls, tags, file_name):
  43         audio = File(file_name)
  44         for k, v in tags.items():
  45             audio[k] = v
  46         audio.save()
  47
  48     @classmethod
  49     def save(cls, audiobook, file_name):
  50         field = "%s_file" % cls.prefix
  51         getattr(audiobook, field).save(
  52             "%d.%s" % (audiobook.pk, cls.ext),
  53             ExistingFile(file_name),
  54             save=False
  55             )
  56         os.chmod(getattr(audiobook, field).path, stat.S_IREAD|stat.S_IWRITE|stat.S_IRGRP|stat.S_IROTH)
  57         Audiobook.objects.filter(pk=audiobook.pk).update(
  58             **{field: getattr(audiobook, field)})
  59
  60     @classmethod
  61     def published(cls, aid, tags):
  62         kwargs = {
  63             "%s_published" % cls.prefix: datetime.now(),
  64             '%s_status' % cls.prefix: None,
  65         }
  66         Audiobook.objects.filter(pk=aid).update(**kwargs)
  67
  68     @classmethod
  69     def put(cls, user, audiobook, path):
  70         data = {
  71             'book': audiobook.url,
  72             'type': cls.ext,
  73             'name': audiobook.title,                ##### IS IT USED?
  74             'part_name': audiobook.part_name,
  75             'part_index': audiobook.index,
  76             'parts_count': audiobook.parts_count,
  77             'source_sha1': audiobook.source_sha1,
  78
  79             'project_description': audiobook.project.get_description(),
  80             'project_icon': audiobook.project.get_icon_url(),
  81         }
  82         with open(path, 'rb') as f:
  83             api_call(user, UPLOAD_URL, data=data, files={
  84                 "file": f,
  85             })
  86
  87     def run(self, uid, aid, publish=True):
  88         aid = int(aid)
  89         audiobook = Audiobook.objects.get(id=aid)
  90         self.audiobook = audiobook
  91         self.set_status(aid, status.ENCODING)
  92
  93         if uid:
  94             user = User.objects.get(id=uid)
  95         else:
  96             user = None
  97
  98         out_file = NamedTemporaryFile(
  99             delete=False, prefix='%d-' % aid, suffix='.%s' % self.ext,
 100             dir=settings.FILE_UPLOAD_TEMP_DIR
 101         )
 102         out_file.close()
 103         self.encode(self.get_source_file_paths(audiobook), out_file.name)
 104         self.set_status(aid, status.TAGGING)
 105
 106         tags = audiobook.new_publish_tags()
 107         self.set_tags(tags, out_file.name)
 108         self.set_status(aid, status.SENDING)
 109
 110         if publish:
 111             self.put(user, audiobook, out_file.name)
 112             self.published(aid, tags)
 113         else:
 114             self.set_status(aid, None)
 115
 116         self.save(audiobook, out_file.name)
 117
 118     def get_source_file_paths(self, audiobook):
 119         return [audiobook.prepare_audio()]
 120
 121     def on_failure(self, exc, task_id, args, kwargs, einfo):
 122         aid = (args[0], kwargs.get('aid'))[0]
 123         self.set_status(aid, None)
 124
 125
 126 class Mp3Task(AudioFormatTask):
 127     prefix = ext = 'mp3'
 128
 129     # these shouldn't be staticmethods
 130     def id3_text(tag, text):
 131         return tag(encoding=3, text=text)
 132     def id3_url(tag, text):
 133         return tag(url=text)
 134     def id3_comment(tag, text, lang='pol'):
 135         return tag(encoding=3, lang=lang, desc='', text=text)
 136     def id3_priv(tag, text, what=''):
 137         return tag(owner='wolnelektury.pl?%s' % what, data=text.encode('utf-8'))
 138
 139     TAG_MAP = {
 140         'album': (id3_text, id3.TALB),
 141         'albumartist': (id3_text, id3.TPE2),
 142         'artist': (id3_text, id3.TPE1),
 143         'conductor': (id3_text, id3.TPE3),
 144         'copyright': (id3_text, id3.TCOP),
 145         'date': (id3_text, id3.TDRC),
 146         'genre': (id3_text, id3.TCON),
 147         'language': (id3_text, id3.TLAN),
 148         'organization': (id3_text, id3.TPUB),
 149         'title': (id3_text, id3.TIT2),
 150         'comment': (id3_comment, id3.COMM, 'pol'),
 151         'contact': (id3_url, id3.WOAF),
 152         'license': (id3_url, id3.WCOP),
 153         'flac_sha1': (id3_priv, id3.PRIV, 'flac_sha1'),
 154         'project': (id3_priv, id3.PRIV, 'project'),
 155         'funded_by': (id3_priv, id3.PRIV, 'funded_by'),
 156     }
 157
 158     @staticmethod
 159     def encode(in_paths, out_path):
 160         assert len(in_paths) == 1
 161         in_path = in_paths[0]
 162         # 44.1kHz 64kbps mono MP3
 163         subprocess.check_call(['ffmpeg',
 164             '-i', in_path.encode('utf-8'),
 165             '-ar', '44100',
 166             '-ab', '64k',
 167             '-ac', '1',
 168             '-y',
 169             '-acodec', 'libmp3lame',
 170             out_path.encode('utf-8')
 171             ])
 172
 173     @classmethod
 174     def set_tags(cls, tags, file_name):
 175         audio = id3.ID3(file_name)
 176         for k, v in tags.items():
 177             factory_tuple = cls.TAG_MAP[k]
 178             factory, tagtype = factory_tuple[:2]
 179             audio.add(factory(tagtype, v, *factory_tuple[2:]))
 180
 181         if COVER_IMAGE:
 182             mime = mimetypes.guess_type(COVER_IMAGE)
 183             with open(COVER_IMAGE, 'rb') as f:
 184                 audio.add(id3.APIC(encoding=0, mime=mime, type=3, desc='', data=f.read()))
 185
 186         audio.save()
 187
 188
 189 class OggTask(AudioFormatTask):
 190     prefix = ext = 'ogg'
 191
 192     @staticmethod
 193     def encode(in_paths, out_path):
 194         assert len(in_paths) == 1
 195         in_path = in_paths[0]
 196         # 44.1kHz 64kbps mono Ogg Vorbis
 197         subprocess.check_call(['ffmpeg',
 198             '-i', in_path.encode('utf-8'),
 199             '-ar', '44100',
 200             '-ab', '64k',
 201             '-ac', '1',
 202             '-y',
 203             '-acodec', 'libvorbis',
 204             out_path.encode('utf-8')
 205             ])