src/archive/models.py

   1 import json
   2 import os.path
   3
   4 from django.db import models
   5 from time import sleep
   6 from django.utils.functional import cached_property
   7 from django.utils.timezone import now
   8 from django.utils.translation import gettext_lazy as _
   9 from django_pglocks import advisory_lock
  10 import requests
  11 from archive.constants import status
  12 from archive.settings import FILES_SAVE_PATH, ADVERT, ORGANIZATION, PROJECT
  13 from archive.utils import OverwriteStorage, sha1_file
  14
  15
  16 class License(models.Model):
  17     uri = models.CharField(max_length=255, unique=True)
  18     name = models.CharField(max_length=255)
  19
  20     def __str__(self):
  21         return self.name
  22
  23
  24 class Project(models.Model):
  25     """ an audiobook project, needed for specyfing sponsors """
  26
  27     name = models.CharField(max_length=128, unique=True, db_index=True, verbose_name="Nazwa")
  28     sponsors = models.TextField(blank=True, null=True, verbose_name="Sponsorzy")
  29     description = models.TextField(blank=True, verbose_name="Opis")
  30
  31     class Meta:
  32         verbose_name = _("project")
  33         verbose_name_plural = _("projects")
  34         ordering = ("name",)
  35
  36     def __str__(self):
  37         return self.name
  38
  39     def get_description(self):
  40         if self.description:
  41             return self.description
  42         return "Audiobook nagrany w ramach projektu %s%s." % (
  43             self.name,
  44             " finansowanego przez %s" % self.sponsors if self.sponsors else "",
  45         )
  46
  47
  48 class Piece(models.Model):
  49     name = models.CharField(max_length=255)
  50     source_file = models.FileField(upload_to='piece')
  51     is_outro = models.BooleanField(default=False)
  52     min_audiobook_duration = models.IntegerField(default=0)
  53
  54     def __str__(self):
  55         return self.name
  56
  57
  58 def source_upload_to(intance, filename):
  59     return os.path.join(FILES_SAVE_PATH, filename) # FIXME: what about really long file names?
  60
  61
  62 class Audiobook(models.Model):
  63     source_file = models.FileField(upload_to=source_upload_to, max_length=255,
  64             verbose_name=_('source file'), editable=False)
  65     source_sha1 = models.CharField(max_length=40, editable=False)
  66
  67     title = models.CharField(max_length=255, verbose_name=_('title'))
  68     part_name = models.CharField(max_length=255, verbose_name=_('part name'), help_text=_('eg. chapter in a novel'),
  69                                  default='', blank=True)
  70     index = models.IntegerField(verbose_name=_('index'), default=0, help_text=_('Ordering of parts of a book.'))
  71     youtube_volume = models.CharField(
  72         _("Volume name for YouTube"),
  73         max_length=100,
  74         blank=True,
  75         help_text=_(
  76             "If set, audiobooks with the save value will be published as single YouTube video."
  77         ),
  78     )
  79     artist = models.CharField(max_length=255, verbose_name=_('artist'))
  80     conductor = models.CharField(max_length=255, verbose_name=_('conductor'))
  81     encoded_by = models.CharField(max_length=255, verbose_name=_('encoded by'))
  82     date = models.CharField(max_length=255, verbose_name=_('date'))
  83     project = models.ForeignKey(Project, models.PROTECT, verbose_name=_('project'))
  84     slug = models.SlugField(max_length=120, help_text=_('WL catalogue slug of the book.'))
  85     translator = models.CharField(max_length=255, null=True, blank=True, verbose_name=_('translator'))
  86     modified = models.DateTimeField(null=True, editable=False)
  87     license = models.ForeignKey(License, models.PROTECT, null=True, blank=True, verbose_name=_('license'))
  88
  89     # publishing process
  90     mp3_status = models.SmallIntegerField(null=True, editable=False, choices=status.choices)
  91     mp3_task = models.CharField(max_length=64, null=True, editable=False)
  92     mp3_tags = models.TextField(null=True, editable=False)
  93     mp3_file = models.FileField(null=True, upload_to='archive/final', storage=OverwriteStorage(), editable=False)
  94     mp3_published_tags = models.TextField(null=True, editable=False)
  95     mp3_published = models.DateTimeField(null=True, editable=False)
  96
  97     ogg_status = models.SmallIntegerField(null=True, editable=False, choices=status.choices)
  98     ogg_task = models.CharField(max_length=64, null=True, editable=False)
  99     ogg_tags = models.TextField(null=True, editable=False)
 100     ogg_file = models.FileField(null=True, upload_to='archive/final', storage=OverwriteStorage(), editable=False)
 101     ogg_published_tags = models.TextField(null=True, editable=False)
 102     ogg_published = models.DateTimeField(null=True, editable=False)
 103
 104     youtube_status = models.SmallIntegerField(null=True, editable=False, choices=status.choices)
 105     youtube_task = models.CharField(max_length=64, null=True, editable=False)
 106     youtube_tags = models.TextField(null=True, editable=False)
 107     youtube_published_tags = models.TextField(null=True, editable=False)
 108     youtube_published = models.DateTimeField(null=True, editable=False)
 109     youtube_id = models.CharField(max_length=255, blank=True, default='')
 110     youtube_queued = models.DateTimeField(null=True, blank=True)
 111
 112     class Meta:
 113         verbose_name = _("audiobook")
 114         verbose_name_plural = _("audiobooks")
 115         ordering = ("title",)
 116
 117     def __str__(self):
 118         return self.title
 119
 120     @property
 121     def url(self):
 122         return f'https://wolnelektury.pl/katalog/lektura/{self.slug}/'
 123
 124     @property
 125     def parts_count(self):
 126         return type(self).objects.filter(slug=self.slug).count()
 127
 128     @property
 129     def youtube_volume_count(self):
 130         total = 0
 131         prev_volume = None
 132         for a in type(self).objects.filter(slug=self.slug).order_by("index"):
 133             if not a.youtube_volume or a.youtube_volume != prev_volume:
 134                 total += 1
 135             prev_volume = a.youtube_volume
 136         return total
 137
 138     @property
 139     def youtube_volume_index(self):
 140         index = 0
 141         prev_volume = None
 142         for a in type(self).objects.filter(slug=self.slug, index__lte=self.index).order_by("index"):
 143             if not a.youtube_volume or a.youtube_volume != prev_volume:
 144                 index += 1
 145             prev_volume = a.youtube_volume
 146         return index
 147
 148     @property
 149     def is_youtube_publishable(self):
 150         return (
 151             not self.youtube_volume
 152             or not type(self)
 153             .objects.filter(youtube_volume=self.youtube_volume, index__lt=self.index)
 154             .exists()
 155         )
 156
 157     def youtube_publish(self):
 158         if not self.is_youtube_publishable:
 159             return False
 160         self.youtube_status = status.QUEUED
 161         self.youtube_queued = now()
 162         self.save(update_fields=['youtube_status', 'youtube_queued'])
 163
 164     def get_mp3_tags(self): return json.loads(self.mp3_tags) if self.mp3_tags else None
 165     def get_ogg_tags(self): return json.loads(self.ogg_tags) if self.ogg_tags else None
 166     def get_mp3_published_tags(self): return json.loads(self.mp3_published_tags) if self.mp3_published_tags else None
 167     def get_ogg_published_tags_tags(self): return json.loads(self.ogg_published_tags) if self.ogg_published_tags else None
 168     def set_mp3_tags(self, tags): self.mp3_tags = json.dumps(tags)
 169     def set_ogg_tags(self, tags): self.ogg_tags = json.dumps(tags)
 170
 171     def published(self):
 172         return self.mp3_published and self.ogg_published
 173
 174     def get_source_sha1(self):
 175         assert self.pk or self.source_sha1
 176         if not self.source_sha1:
 177             with advisory_lock(f'get_source_sha1_{self.pk}'):
 178                 with open(self.source_file.path, 'rb') as f:
 179                     self.source_sha1 = sha1_file(f)
 180                 self.save(update_fields=['source_sha1'])
 181         return self.source_sha1
 182
 183     def new_publish_tags(self):
 184         title = self.title
 185         if self.translator:
 186             title += ' (tłum. %s)' % self.translator
 187
 188         copyright = "%s %s." % (
 189                 self.date, ORGANIZATION)
 190         if self.license:
 191             copyright += " Licensed to the public under %s verify at %s" % (
 192                 self.license.uri, self.url)
 193
 194         comment = "\n".join((
 195             self.project.get_description(),
 196             ADVERT
 197         ))
 198
 199         tags = {
 200             'album': PROJECT,
 201             'albumartist': ORGANIZATION,
 202             'artist': self.artist,
 203             'comment': comment,
 204             'conductor': self.conductor,
 205             'contact': self.url,
 206             'copyright': copyright,
 207             'date': self.date,
 208             'genre': 'Speech',
 209             'language': 'pol',
 210             'organization': ORGANIZATION,
 211             'title': title,
 212             'project': self.project.name,
 213         }
 214         if self.license:
 215             tags['license'] = self.license.uri
 216         if self.project.sponsors:
 217             tags['funded_by'] = self.project.sponsors
 218
 219         if self.source_sha1:
 220             tags['flac_sha1'] = self.source_sha1
 221         return tags
 222
 223     @cached_property
 224     def book(self):
 225         apidata = requests.get(f'https://wolnelektury.pl/api/books/{self.slug}/').json()
 226         return apidata