src/cover/utils.py

   1 # This file is part of FNP-Redakcja, licensed under GNU Affero GPLv3 or later.
   2 # Copyright © Fundacja Nowoczesna Polska. See NOTICE for more information.
   3 #
   4 import csv
   5 from io import StringIO
   6 import json
   7 import re
   8 from urllib.request import FancyURLopener
   9 from wikidata.client import Client
  10 from catalogue.constants import WIKIDATA
  11
  12
  13 class URLOpener(FancyURLopener):
  14     @property
  15     def version(self):
  16         return 'FNP Redakcja'
  17
  18
  19 class FlickrError(Exception):
  20     pass
  21
  22
  23 def get_flickr_data(url):
  24     m = re.match(r'(https?://)?(www\.|secure\.)?flickr\.com/photos/(?P<author>[^/]+)/(?P<img>\d+)/?', url)
  25     if not m:
  26         raise FlickrError("It doesn't look like Flickr URL.")
  27     author_slug, img_id = m.group('author'), m.group('img')
  28     base_url = "https://www.flickr.com/photos/%s/%s/" % (author_slug, img_id)
  29     try:
  30         html = URLOpener().open(url).read().decode('utf-8')
  31     except IOError:
  32         raise FlickrError('Error reading page')
  33     match = re.search(r'<a href="([^"]*)"[^>]* rel="license ', html)
  34     if not match:
  35         raise FlickrError('License not found.')
  36     else:
  37         license_url = match.group(1)
  38         re_license = re.compile(r'https?://creativecommons.org/licenses/([^/]*)/([^/]*)/.*')
  39         m = re_license.match(license_url)
  40         if not m:
  41             re_pd = re.compile(r'https?://creativecommons.org/publicdomain/([^/]*)/([^/]*)/.*')
  42             m = re_pd.match(license_url)
  43             if not m:
  44                 raise FlickrError('License does not look like CC: %s' % license_url)
  45             if m.group(1).lower() == 'zero':
  46                 license_name = 'Public domain (CC0 %s)' % m.group(2)
  47             else:
  48                 license_name = 'Public domain'
  49         else:
  50             license_name = 'CC %s %s' % (m.group(1).upper(), m.group(2))
  51     m = re.search(r'<a[^>]* class="owner-name [^>]*>([^<]*)<', html)
  52     if m:
  53         author = "%s@Flickr" % m.group(1)
  54     else:
  55         raise FlickrError('Error reading author name.')
  56     m = re.search(r'<h1[^>]*>(.*?)</h1>', html, re.S)
  57     if not m:
  58         raise FlickrError('Error reading image title.')
  59     title = m.group(1).strip()
  60     m = re.search(r'modelExport: (\{.*\})', html)
  61     try:
  62         assert m
  63         download_url = 'https:' + json.loads(m.group(1))['main']['photo-models'][0]['sizes']['o']['url']
  64     except (AssertionError, ValueError, IndexError, KeyError):
  65         raise FlickrError('Error reading image URL.')
  66     return {
  67         'source_url': base_url,
  68         'license_url': license_url,
  69         'license_name': license_name,
  70         'author': author,
  71         'title': title,
  72         'download_url': download_url,
  73     }
  74
  75
  76 def get_wikimedia_data(url):
  77     """
  78     >>> get_wikimedia_data('https://commons.wikimedia.org/wiki/File:Valdai_IverskyMon_asv2018_img47.jpg')
  79     {'title': 'Valdai IverskyMon asv2018 img47', 'author': 'A.Savin', 'source_url': 'https://commons.wikimedia.org/wiki/File:Valdai_IverskyMon_asv2018_img47.jpg', 'download_url': 'https://upload.wikimedia.org/wikipedia/commons/4/43/Valdai_IverskyMon_asv2018_img47.jpg', 'license_url': 'http://artlibre.org/licence/lal/en', 'license_name': 'FAL'}
  80
  81     >>> get_wikimedia_data('https://commons.wikimedia.org/wiki/File:Pymonenko_A_boy_in_a_straw_hat.jpg')
  82     {'title': 'Chłopiec w słomkowym kapeluszu', 'author': 'Mykola Pymonenko', 'source_url': 'https://commons.wikimedia.org/wiki/File:Pymonenko_A_boy_in_a_straw_hat.jpg', 'download_url': 'https://upload.wikimedia.org/wikipedia/commons/9/9b/Pymonenko_A_boy_in_a_straw_hat.jpg', 'license_url': 'https://pl.wikipedia.org/wiki/Domena_publiczna', 'license_name': 'domena publiczna'}
  83
  84     """
  85     file_name = url.rsplit('/', 1)[-1].rsplit(':', 1)[-1]
  86     d = json.loads(URLOpener().open('https://commons.wikimedia.org/w/api.php?action=query&titles=File:{}&prop=imageinfo&iiprop=url|user|extmetadata&iimetadataversion=latest&format=json'.format(file_name)).read().decode('utf-8'))
  87
  88     d = list(d['query']['pages'].values())[0]['imageinfo'][0]
  89     ext = d['extmetadata']
  90
  91     meta = {
  92         'title': ext['ObjectName']['value'],
  93         'author': d['user'],
  94         'source_url': d['descriptionurl'],
  95         'download_url': d['url'],
  96         'license_url': ext.get('LicenseUrl', {}).get('value', ''),
  97         'license_name': ext['LicenseShortName']['value'],
  98     }
  99
 100     # There are Wikidata links in ObjectName sametimes. Let's use it.
 101     wikidata_match = re.search(r'wikidata\.org/wiki/(Q\d+)', meta['title'])
 102     if wikidata_match is not None:
 103         qitem = wikidata_match.group(1)
 104         client = Client()
 105         entity = client.get(qitem)
 106         meta['title'] = entity.label.get('pl', str(entity.label))
 107         author = entity.get(client.get(WIKIDATA.CREATOR))
 108         meta['author'] = author.label.get('pl', str(author.label))
 109
 110     if meta['license_name'] == 'Public domain':
 111         meta['license_name'] = 'domena publiczna'
 112         meta['license_url'] = 'https://pl.wikipedia.org/wiki/Domena_publiczna'
 113
 114
 115     return meta
 116
 117
 118 def get_mnw_data(url):
 119     """
 120     >>> get_mnw_data('https://cyfrowe.mnw.art.pl/pl/katalog/511078')
 121     {'title': 'Chłopka (Baba ukraińska)', 'author': 'Krzyżanowski, Konrad (1872-1922)', 'source_url': 'https://cyfrowe.mnw.art.pl/pl/katalog/511078', 'download_url': 'https://cyfrowe-cdn.mnw.art.pl/upload/multimedia/32/60/3260ae1704cc530cc62befa9b7d58cbd.jpg', 'license_url': 'https://pl.wikipedia.org/wiki/Domena_publiczna', 'license_name': 'domena publiczna'}
 122     """
 123     nr = url.rsplit('/', 1)[-1]
 124     d = list(
 125         csv.DictReader(
 126             StringIO(
 127                 URLOpener().open(
 128                     'https://cyfrowe-api.mnw.art.pl/api/object/{}/csv'.format(nr)
 129                 ).read().decode('utf-8')
 130             )
 131         )
 132     )[0]
 133
 134     authors = []
 135     i = 0
 136     while f'authors.{i}.name' in d:
 137         authors.append(d[f'authors.{i}.name'])
 138         i += 1
 139
 140     license_url = d['copyrights.0.link']
 141     license_name = d['copyrights.0.name']
 142     if license_name == 'DOMENA PUBLICZNA':
 143         license_name = 'domena publiczna'
 144         license_url = 'https://pl.wikipedia.org/wiki/Domena_publiczna'
 145
 146     return {
 147         'title': d['title'],
 148         'author': ', '.join(authors),
 149         'source_url': url,
 150         'download_url': 'https://cyfrowe-cdn.mnw.art.pl/upload/multimedia/{}.{}'.format(
 151             d['image.filePath'],
 152             d['image.extension'],
 153         ),
 154         'license_url': license_url,
 155         'license_name': license_name,
 156     }
 157
 158
 159 def get_import_data(url):
 160     if re.match(r'(https?://)?(www\.|secure\.)?flickr\.com/', url):
 161         return get_flickr_data(url)
 162     if re.match(r'(https?://)?(commons|upload)\.wikimedia\.org/', url):
 163         return get_wikimedia_data(url)
 164     if re.match(r'(https?://)?cyfrowe\.mnw\.art\.pl/', url):
 165         return get_mnw_data(url)