src/archive/models.py

   1 import json
   2 import os.path
   3
   4 from django.db import models
   5 from time import sleep
   6 from django.utils.functional import cached_property
   7 from django.utils.translation import gettext_lazy as _
   8 from django_pglocks import advisory_lock
   9 import requests
  10 from archive.constants import status
  11 from archive.settings import FILES_SAVE_PATH, ADVERT, ORGANIZATION, PROJECT
  12 from archive.utils import OverwriteStorage, sha1_file
  13
  14
  15 class License(models.Model):
  16     uri = models.CharField(max_length=255, unique=True)
  17     name = models.CharField(max_length=255)
  18
  19     def __str__(self):
  20         return self.name
  21
  22
  23 class Project(models.Model):
  24     """ an audiobook project, needed for specyfing sponsors """
  25
  26     name = models.CharField(max_length=128, unique=True, db_index=True, verbose_name="Nazwa")
  27     sponsors = models.TextField(blank=True, null=True, verbose_name="Sponsorzy")
  28     description = models.TextField(blank=True, verbose_name="Opis")
  29
  30     class Meta:
  31         verbose_name = _("project")
  32         verbose_name_plural = _("projects")
  33         ordering = ("name",)
  34
  35     def __str__(self):
  36         return self.name
  37
  38     def get_description(self):
  39         if self.description:
  40             return self.description
  41         return "Audiobook nagrany w ramach projektu %s%s." % (
  42             self.name,
  43             " finansowanego przez %s" % self.sponsors if self.sponsors else "",
  44         )
  45
  46
  47 class Piece(models.Model):
  48     name = models.CharField(max_length=255)
  49     source_file = models.FileField(upload_to='piece')
  50     is_outro = models.BooleanField(default=False)
  51     min_audiobook_duration = models.IntegerField(default=0)
  52
  53     def __str__(self):
  54         return self.name
  55
  56
  57 def source_upload_to(intance, filename):
  58     return os.path.join(FILES_SAVE_PATH, filename) # FIXME: what about really long file names?
  59
  60
  61 class Audiobook(models.Model):
  62     source_file = models.FileField(upload_to=source_upload_to, max_length=255,
  63             verbose_name=_('source file'), editable=False)
  64     source_sha1 = models.CharField(max_length=40, editable=False)
  65
  66     title = models.CharField(max_length=255, verbose_name=_('title'))
  67     part_name = models.CharField(max_length=255, verbose_name=_('part name'), help_text=_('eg. chapter in a novel'),
  68                                  default='', blank=True)
  69     index = models.IntegerField(verbose_name=_('index'), default=0, help_text=_('Ordering of parts of a book.'))
  70     youtube_volume = models.CharField(_('Volume name for YouTube'), max_length=1000, blank=True, help_text=_('If set, audiobooks with the save value will be published as single YouTube video.'))
  71     artist = models.CharField(max_length=255, verbose_name=_('artist'))
  72     conductor = models.CharField(max_length=255, verbose_name=_('conductor'))
  73     encoded_by = models.CharField(max_length=255, verbose_name=_('encoded by'))
  74     date = models.CharField(max_length=255, verbose_name=_('date'))
  75     project = models.ForeignKey(Project, models.PROTECT, verbose_name=_('project'))
  76     slug = models.SlugField(max_length=120, help_text=_('WL catalogue slug of the book.'))
  77     translator = models.CharField(max_length=255, null=True, blank=True, verbose_name=_('translator'))
  78     modified = models.DateTimeField(null=True, editable=False)
  79     license = models.ForeignKey(License, models.PROTECT, null=True, blank=True, verbose_name=_('license'))
  80
  81     # publishing process
  82     mp3_status = models.SmallIntegerField(null=True, editable=False, choices=status.choices)
  83     mp3_task = models.CharField(max_length=64, null=True, editable=False)
  84     mp3_tags = models.TextField(null=True, editable=False)
  85     mp3_file = models.FileField(null=True, upload_to='archive/final', storage=OverwriteStorage(), editable=False)
  86     mp3_published_tags = models.TextField(null=True, editable=False)
  87     mp3_published = models.DateTimeField(null=True, editable=False)
  88
  89     ogg_status = models.SmallIntegerField(null=True, editable=False, choices=status.choices)
  90     ogg_task = models.CharField(max_length=64, null=True, editable=False)
  91     ogg_tags = models.TextField(null=True, editable=False)
  92     ogg_file = models.FileField(null=True, upload_to='archive/final', storage=OverwriteStorage(), editable=False)
  93     ogg_published_tags = models.TextField(null=True, editable=False)
  94     ogg_published = models.DateTimeField(null=True, editable=False)
  95
  96     youtube_status = models.SmallIntegerField(null=True, editable=False, choices=status.choices)
  97     youtube_task = models.CharField(max_length=64, null=True, editable=False)
  98     youtube_tags = models.TextField(null=True, editable=False)
  99     youtube_published_tags = models.TextField(null=True, editable=False)
 100     youtube_published = models.DateTimeField(null=True, editable=False)
 101     youtube_id = models.CharField(max_length=255, blank=True, default='')
 102     youtube_queued = models.DateTimeField(null=True, blank=True)
 103
 104     class Meta:
 105         verbose_name = _("audiobook")
 106         verbose_name_plural = _("audiobooks")
 107         ordering = ("title",)
 108
 109     def __str__(self):
 110         return self.title
 111
 112     @property
 113     def url(self):
 114         return f'https://wolnelektury.pl/katalog/lektura/{self.slug}/'
 115
 116     @property
 117     def parts_count(self):
 118         return type(self).objects.filter(slug=self.slug).count()
 119
 120     @property
 121     def youtube_volume_count(self):
 122         total = 0
 123         prev_volume = None
 124         for a in type(self).objects.filter(slug=self.slug).order_by("index"):
 125             if not a.youtube_volume or a.youtube_volume != prev_volume:
 126                 total += 1
 127             prev_volume = a.youtube_volume
 128         return total
 129
 130     @property
 131     def youtube_volume_index(self):
 132         index = 0
 133         prev_volume = None
 134         for a in type(self).objects.filter(slug=self.slug, index__lte=self.index).order_by("index"):
 135             if not a.youtube_volume or a.youtube_volume != prev_volume:
 136                 index += 1
 137             prev_volume = a.youtube_volume
 138         return index
 139
 140     def get_mp3_tags(self): return json.loads(self.mp3_tags) if self.mp3_tags else None
 141     def get_ogg_tags(self): return json.loads(self.ogg_tags) if self.ogg_tags else None
 142     def get_mp3_published_tags(self): return json.loads(self.mp3_published_tags) if self.mp3_published_tags else None
 143     def get_ogg_published_tags_tags(self): return json.loads(self.ogg_published_tags) if self.ogg_published_tags else None
 144     def set_mp3_tags(self, tags): self.mp3_tags = json.dumps(tags)
 145     def set_ogg_tags(self, tags): self.ogg_tags = json.dumps(tags)
 146
 147     def published(self):
 148         return self.mp3_published and self.ogg_published
 149
 150     def get_source_sha1(self):
 151         assert self.pk or self.source_sha1
 152         if not self.source_sha1:
 153             with advisory_lock(f'get_source_sha1_{self.pk}'):
 154                 with open(self.source_file.path, 'rb') as f:
 155                     self.source_sha1 = sha1_file(f)
 156                 self.save(update_fields=['source_sha1'])
 157         return self.source_sha1
 158
 159     def new_publish_tags(self):
 160         title = self.title
 161         if self.translator:
 162             title += ' (tłum. %s)' % self.translator
 163
 164         copyright = "%s %s." % (
 165                 self.date, ORGANIZATION)
 166         if self.license:
 167             copyright += " Licensed to the public under %s verify at %s" % (
 168                 self.license.uri, self.url)
 169
 170         comment = "\n".join((
 171             self.project.get_description(),
 172             ADVERT
 173         ))
 174
 175         tags = {
 176             'album': PROJECT,
 177             'albumartist': ORGANIZATION,
 178             'artist': self.artist,
 179             'comment': comment,
 180             'conductor': self.conductor,
 181             'contact': self.url,
 182             'copyright': copyright,
 183             'date': self.date,
 184             'genre': 'Speech',
 185             'language': 'pol',
 186             'organization': ORGANIZATION,
 187             'title': title,
 188             'project': self.project.name,
 189         }
 190         if self.license:
 191             tags['license'] = self.license.uri
 192         if self.project.sponsors:
 193             tags['funded_by'] = self.project.sponsors
 194
 195         if self.source_sha1:
 196             tags['flac_sha1'] = self.source_sha1
 197         return tags
 198
 199     @cached_property
 200     def book(self):
 201         apidata = requests.get(f'https://wolnelektury.pl/api/books/{self.slug}/').json()
 202         return apidata
 203