03cd816736d753343669400d99f0805a25ad9a4e
[audio.git] / src / archive / models.py
1 import io
2 import json
3 import os.path
4
5 from django.db import models
6 from time import sleep
7 from django.utils.functional import cached_property
8 from django.utils.timezone import now
9 from django.utils.translation import gettext_lazy as _
10 from django_pglocks import advisory_lock
11 import requests
12 from archive.constants import status
13 from archive.settings import FILES_SAVE_PATH, ADVERT, ORGANIZATION, PROJECT
14 from archive.utils import OverwriteStorage, sha1_file
15
16
17 class License(models.Model):
18     uri = models.CharField(max_length=255, unique=True)
19     name = models.CharField(max_length=255)
20
21     def __str__(self):
22         return self.name
23
24
25 class Project(models.Model):
26     """ an audiobook project, needed for specyfing sponsors """
27
28     name = models.CharField(max_length=128, unique=True, db_index=True, verbose_name="Nazwa")
29     sponsors = models.TextField(blank=True, null=True, verbose_name="Sponsorzy")
30     description = models.TextField(blank=True, verbose_name="Opis")
31     youtube = models.ForeignKey('youtube.YouTube', models.PROTECT)
32
33     class Meta:
34         verbose_name = _("project")
35         verbose_name_plural = _("projects")
36         ordering = ("name",)
37
38     def __str__(self):
39         return self.name
40
41     def get_description(self):
42         if self.description:
43             return self.description
44         return "Audiobook nagrany w ramach projektu %s%s." % (
45             self.name,
46             " finansowanego przez %s" % self.sponsors if self.sponsors else "",
47         )
48
49
50 class Piece(models.Model):
51     name = models.CharField(max_length=255)
52     source_file = models.FileField(upload_to='piece')
53     is_outro = models.BooleanField(default=False)
54     min_audiobook_duration = models.IntegerField(default=0)
55
56     def __str__(self):
57         return self.name
58
59
60 def source_upload_to(intance, filename):
61     return os.path.join(FILES_SAVE_PATH, filename) # FIXME: what about really long file names?
62
63
64 class Audiobook(models.Model):
65     source_file = models.FileField(upload_to=source_upload_to, max_length=255, 
66             verbose_name=_('source file'), editable=False)
67     source_sha1 = models.CharField(max_length=40, editable=False)
68     duration = models.FloatField(null=True, editable=False)
69
70     title = models.CharField(max_length=255, verbose_name=_('title'))
71     part_name = models.CharField(max_length=255, verbose_name=_('part name'), help_text=_('eg. chapter in a novel'),
72                                  default='', blank=True)
73     index = models.IntegerField(verbose_name=_('index'), default=0, help_text=_('Ordering of parts of a book.'))
74     youtube_volume = models.CharField(
75         _("Volume name for YouTube"),
76         max_length=100,
77         blank=True,
78         help_text=_(
79             "If set, audiobooks with the save value will be published as single YouTube video."
80         ),
81     )
82     artist = models.CharField(max_length=255, verbose_name=_('artist'))
83     conductor = models.CharField(max_length=255, verbose_name=_('conductor'))
84     encoded_by = models.CharField(max_length=255, verbose_name=_('encoded by'))
85     date = models.CharField(max_length=255, verbose_name=_('date'))
86     project = models.ForeignKey(Project, models.PROTECT, verbose_name=_('project'))
87     slug = models.SlugField(max_length=120, blank=True, help_text=_('WL catalogue slug of the book.'))
88     translator = models.CharField(max_length=255, null=True, blank=True, verbose_name=_('translator'))
89     modified = models.DateTimeField(null=True, editable=False)
90     license = models.ForeignKey(License, models.PROTECT, null=True, blank=True, verbose_name=_('license'))
91
92     # publishing process
93     mp3_status = models.SmallIntegerField(null=True, editable=False, choices=status.choices)
94     mp3_task = models.CharField(max_length=64, null=True, editable=False)
95     mp3_tags = models.TextField(null=True, editable=False)
96     mp3_file = models.FileField(null=True, upload_to='archive/final', storage=OverwriteStorage(), editable=False)
97     mp3_published_tags = models.TextField(null=True, editable=False)
98     mp3_published = models.DateTimeField(null=True, editable=False)
99
100     ogg_status = models.SmallIntegerField(null=True, editable=False, choices=status.choices)
101     ogg_task = models.CharField(max_length=64, null=True, editable=False)
102     ogg_tags = models.TextField(null=True, editable=False)
103     ogg_file = models.FileField(null=True, upload_to='archive/final', storage=OverwriteStorage(), editable=False)
104     ogg_published_tags = models.TextField(null=True, editable=False)
105     ogg_published = models.DateTimeField(null=True, editable=False)
106
107     youtube_status = models.SmallIntegerField(null=True, editable=False, choices=status.choices)
108     youtube_task = models.CharField(max_length=64, null=True, editable=False)
109     youtube_tags = models.TextField(null=True, editable=False)
110     youtube_published_tags = models.TextField(null=True, editable=False)
111     youtube_published = models.DateTimeField(null=True, editable=False)
112     youtube_id = models.CharField(max_length=255, blank=True, default='')
113     youtube_queued = models.DateTimeField(null=True, blank=True)
114
115     class Meta:
116         verbose_name = _("audiobook")
117         verbose_name_plural = _("audiobooks")
118         ordering = ("title",)
119
120     def __str__(self):
121         return self.title
122
123     @property
124     def url(self):
125         return f'https://wolnelektury.pl/katalog/lektura/{self.slug}/'
126
127     @property
128     def parts_count(self):
129         return type(self).objects.filter(slug=self.slug).count()
130
131     @property
132     def youtube_volume_count(self):
133         total = 0
134         prev_volume = None
135         for a in type(self).objects.filter(slug=self.slug).order_by("index"):
136             if not a.youtube_volume or a.youtube_volume != prev_volume:
137                 total += 1
138             prev_volume = a.youtube_volume
139         return total
140
141     @property
142     def youtube_volume_index(self):
143         index = 0
144         prev_volume = None
145         for a in type(self).objects.filter(slug=self.slug, index__lte=self.index).order_by("index"):
146             if not a.youtube_volume or a.youtube_volume != prev_volume:
147                 index += 1
148             prev_volume = a.youtube_volume
149         return index
150
151     @property
152     def is_youtube_publishable(self):
153         return (
154             not self.youtube_volume
155             or not type(self)
156             .objects.filter(youtube_volume=self.youtube_volume, index__lt=self.index)
157             .exists()
158         )
159
160     def youtube_publish(self):
161         if not self.is_youtube_publishable:
162             return False
163         self.youtube_status = status.QUEUED
164         self.youtube_queued = now()
165         self.save(update_fields=['youtube_status', 'youtube_queued'])
166
167     def get_mp3_tags(self): return json.loads(self.mp3_tags) if self.mp3_tags else None
168     def get_ogg_tags(self): return json.loads(self.ogg_tags) if self.ogg_tags else None
169     def get_mp3_published_tags(self): return json.loads(self.mp3_published_tags) if self.mp3_published_tags else None
170     def get_ogg_published_tags_tags(self): return json.loads(self.ogg_published_tags) if self.ogg_published_tags else None
171     def set_mp3_tags(self, tags): self.mp3_tags = json.dumps(tags)
172     def set_ogg_tags(self, tags): self.ogg_tags = json.dumps(tags)
173
174     def published(self):
175         return self.mp3_published and self.ogg_published
176
177     def get_source_sha1(self):
178         assert self.pk or self.source_sha1
179         if not self.source_sha1:
180             with advisory_lock(f'get_source_sha1_{self.pk}'):
181                 with open(self.source_file.path, 'rb') as f:
182                     self.source_sha1 = sha1_file(f)
183                 self.save(update_fields=['source_sha1'])
184         return self.source_sha1
185
186     def new_publish_tags(self):
187         title = self.title
188         if self.translator:
189             title += ' (tłum. %s)' % self.translator
190
191         copyright = "%s %s." % (
192                 self.date, ORGANIZATION)
193         if self.license:
194             copyright += " Licensed to the public under %s verify at %s" % (
195                 self.license.uri, self.url)
196
197         comment = "\n".join((
198             self.project.get_description(),
199             ADVERT
200         ))
201
202         tags = {
203             'album': PROJECT,
204             'albumartist': ORGANIZATION,
205             'artist': self.artist,
206             'comment': comment,
207             'conductor': self.conductor,
208             'contact': self.url,
209             'copyright': copyright,
210             'date': self.date,
211             'genre': 'Speech',
212             'language': 'pol',
213             'organization': ORGANIZATION,
214             'title': title,
215             'project': self.project.name,
216         }
217         if self.license:
218             tags['license'] = self.license.uri
219         if self.project.sponsors:
220             tags['funded_by'] = self.project.sponsors
221
222         if self.source_sha1:
223             tags['flac_sha1'] = self.source_sha1
224         return tags
225
226     @cached_property
227     def book(self):
228         if self.slug:
229             apidata = requests.get(f'https://wolnelektury.pl/api/books/{self.slug}/').json()
230         else:
231             return {}
232         return apidata
233
234     @property
235     def document(self):
236         from librarian.document import WLDocument, parser
237         from lxml import etree
238
239         xml_url = self.book.get('xml', None)
240         if xml_url is None:
241             return None
242
243         return WLDocument(
244                 etree.parse(
245                     io.BytesIO(
246                         requests.get(xml_url).content
247                     )
248                     ,parser = parser
249                 )
250             )