limited stopwords + better search by author + remove descendant results
[wolnelektury.git] / src / catalogue / models / bookmedia.py
1 # -*- coding: utf-8 -*-
2 # This file is part of Wolnelektury, licensed under GNU Affero GPLv3 or later.
3 # Copyright © Fundacja Nowoczesna Polska. See NOTICE for more information.
4 #
5 from collections import OrderedDict
6 import json
7 from collections import namedtuple
8 from django.db import models
9 from django.utils.translation import ugettext_lazy as _
10 import jsonfield
11 from fnpdjango.utils.text.slughifi import slughifi
12 from mutagen import MutagenError
13
14 from catalogue.fields import OverwriteStorage
15
16
17 def _file_upload_to(i, _n):
18     return 'book/%(ext)s/%(name)s.%(ext)s' % {'ext': i.ext(), 'name': slughifi(i.name)}
19
20
21 class BookMedia(models.Model):
22     """Represents media attached to a book."""
23     FileFormat = namedtuple("FileFormat", "name ext")
24     formats = OrderedDict([
25         ('mp3', FileFormat(name='MP3', ext='mp3')),
26         ('ogg', FileFormat(name='Ogg Vorbis', ext='ogg')),
27         ('daisy', FileFormat(name='DAISY', ext='daisy.zip')),
28     ])
29     format_choices = [(k, _('%s file' % t.name)) for k, t in formats.items()]
30
31     type = models.CharField(_('type'), db_index=True, choices=format_choices, max_length=20)
32     name = models.CharField(_('name'), max_length=512)
33     part_name = models.CharField(_('part name'), default='', blank=True, max_length=512)
34     index = models.IntegerField(_('index'), default=0)
35     file = models.FileField(_('file'), max_length=600, upload_to=_file_upload_to, storage=OverwriteStorage())
36     uploaded_at = models.DateTimeField(_('creation date'), auto_now_add=True, editable=False, db_index=True)
37     extra_info = jsonfield.JSONField(_('extra information'), default={}, editable=False)
38     book = models.ForeignKey('Book', related_name='media')
39     source_sha1 = models.CharField(null=True, blank=True, max_length=40, editable=False)
40
41     def __unicode__(self):
42         return "%s (%s)" % (self.name, self.file.name.split("/")[-1])
43
44     class Meta:
45         ordering = ('type', 'name')
46         verbose_name = _('book media')
47         verbose_name_plural = _('book media')
48         app_label = 'catalogue'
49
50     def save(self, *args, **kwargs):
51         from catalogue.utils import ExistingFile, remove_zip
52
53         parts_count = 1 + BookMedia.objects.filter(book=self.book, type=self.type).exclude(pk=self.pk).count()
54         if parts_count == 1:
55             self.name = self.book.pretty_title()
56         else:
57             no = ('%02d' if parts_count < 100 else '%03d') % self.index
58             self.name = '%s. %s' % (no, self.book.pretty_title())
59             if self.part_name:
60                 self.name += ', ' + self.part_name
61
62         try:
63             old = BookMedia.objects.get(pk=self.pk)
64         except BookMedia.DoesNotExist:
65             old = None
66         else:
67             # if name changed, change the file name, too
68             if slughifi(self.name) != slughifi(old.name):
69                 self.file.save(None, ExistingFile(self.file.path), save=False)
70
71         super(BookMedia, self).save(*args, **kwargs)
72
73         # remove the zip package for book with modified media
74         if old:
75             remove_zip("%s_%s" % (old.book.slug, old.type))
76         remove_zip("%s_%s" % (self.book.slug, self.type))
77
78         extra_info = self.extra_info
79         if isinstance(extra_info, basestring):
80             # Walkaround for weird jsonfield 'no-decode' optimization.
81             extra_info = json.loads(extra_info)
82         extra_info.update(self.read_meta())
83         self.extra_info = extra_info
84         self.source_sha1 = self.read_source_sha1(self.file.path, self.type)
85         return super(BookMedia, self).save(*args, **kwargs)
86
87     def read_meta(self):
88         """
89             Reads some metadata from the audiobook.
90         """
91         import mutagen
92         from mutagen import id3
93
94         artist_name = director_name = project = funded_by = ''
95         if self.type == 'mp3':
96             try:
97                 audio = id3.ID3(self.file.path)
98                 artist_name = ', '.join(', '.join(tag.text) for tag in audio.getall('TPE1'))
99                 director_name = ', '.join(', '.join(tag.text) for tag in audio.getall('TPE3'))
100                 project = ", ".join([
101                     t.data for t in audio.getall('PRIV')
102                     if t.owner == 'wolnelektury.pl?project'])
103                 funded_by = ", ".join([
104                     t.data for t in audio.getall('PRIV')
105                     if t.owner == 'wolnelektury.pl?funded_by'])
106             except MutagenError:
107                 pass
108         elif self.type == 'ogg':
109             try:
110                 audio = mutagen.File(self.file.path)
111                 artist_name = ', '.join(audio.get('artist', []))
112                 director_name = ', '.join(audio.get('conductor', []))
113                 project = ", ".join(audio.get('project', []))
114                 funded_by = ", ".join(audio.get('funded_by', []))
115             except (MutagenError, AttributeError):
116                 pass
117         else:
118             return {}
119         return {'artist_name': artist_name, 'director_name': director_name,
120                 'project': project, 'funded_by': funded_by}
121
122     def ext(self):
123         return self.formats[self.type].ext
124
125     @staticmethod
126     def read_source_sha1(filepath, filetype):
127         """
128             Reads source file SHA1 from audiobok metadata.
129         """
130         import mutagen
131         from mutagen import id3
132
133         if filetype == 'mp3':
134             try:
135                 audio = id3.ID3(filepath)
136                 return [t.data for t in audio.getall('PRIV')
137                         if t.owner == 'wolnelektury.pl?flac_sha1'][0]
138             except (MutagenError, IndexError):
139                 return None
140         elif filetype == 'ogg':
141             try:
142                 audio = mutagen.File(filepath)
143                 return audio.get('flac_sha1', [None])[0]
144             except (MutagenError, AttributeError, IndexError):
145                 return None
146         else:
147             return None