src/cover/utils.py

   1 # This file is part of FNP-Redakcja, licensed under GNU Affero GPLv3 or later.
   2 # Copyright © Fundacja Nowoczesna Polska. See NOTICE for more information.
   3 #
   4 import csv
   5 from io import StringIO
   6 import json
   7 import re
   8 from urllib.request import FancyURLopener
   9
  10 class URLOpener(FancyURLopener):
  11     @property
  12     def version(self):
  13         return 'FNP Redakcja'
  14
  15
  16 class FlickrError(Exception):
  17     pass
  18
  19
  20 def get_flickr_data(url):
  21     m = re.match(r'(https?://)?(www\.|secure\.)?flickr\.com/photos/(?P<author>[^/]+)/(?P<img>\d+)/?', url)
  22     if not m:
  23         raise FlickrError("It doesn't look like Flickr URL.")
  24     author_slug, img_id = m.group('author'), m.group('img')
  25     base_url = "https://www.flickr.com/photos/%s/%s/" % (author_slug, img_id)
  26     try:
  27         html = URLOpener().open(url).read().decode('utf-8')
  28     except IOError:
  29         raise FlickrError('Error reading page')
  30     match = re.search(r'<a href="([^"]*)"[^>]* rel="license ', html)
  31     if not match:
  32         raise FlickrError('License not found.')
  33     else:
  34         license_url = match.group(1)
  35         re_license = re.compile(r'https?://creativecommons.org/licenses/([^/]*)/([^/]*)/.*')
  36         m = re_license.match(license_url)
  37         if not m:
  38             re_pd = re.compile(r'https?://creativecommons.org/publicdomain/([^/]*)/([^/]*)/.*')
  39             m = re_pd.match(license_url)
  40             if not m:
  41                 raise FlickrError('License does not look like CC: %s' % license_url)
  42             if m.group(1).lower() == 'zero':
  43                 license_name = 'Public domain (CC0 %s)' % m.group(2)
  44             else:
  45                 license_name = 'Public domain'
  46         else:
  47             license_name = 'CC %s %s' % (m.group(1).upper(), m.group(2))
  48     m = re.search(r'<a[^>]* class="owner-name [^>]*>([^<]*)<', html)
  49     if m:
  50         author = "%s@Flickr" % m.group(1)
  51     else:
  52         raise FlickrError('Error reading author name.')
  53     m = re.search(r'<h1[^>]*>(.*?)</h1>', html, re.S)
  54     if not m:
  55         raise FlickrError('Error reading image title.')
  56     title = m.group(1).strip()
  57     m = re.search(r'modelExport: (\{.*\})', html)
  58     try:
  59         assert m
  60         download_url = 'https:' + json.loads(m.group(1))['main']['photo-models'][0]['sizes']['o']['url']
  61     except (AssertionError, ValueError, IndexError, KeyError):
  62         raise FlickrError('Error reading image URL.')
  63     return {
  64         'source_url': base_url,
  65         'license_url': license_url,
  66         'license_name': license_name,
  67         'author': author,
  68         'title': title,
  69         'download_url': download_url,
  70     }
  71
  72
  73 def get_wikimedia_data(url):
  74     """
  75     >>> get_wikimedia_data('https://commons.wikimedia.org/wiki/File:Valdai_IverskyMon_asv2018_img47.jpg')
  76     {'title': 'Valdai IverskyMon asv2018 img47', 'author': 'A.Savin', 'source_url': 'https://commons.wikimedia.org/wiki/File:Valdai_IverskyMon_asv2018_img47.jpg', 'download_url': 'https://upload.wikimedia.org/wikipedia/commons/4/43/Valdai_IverskyMon_asv2018_img47.jpg', 'license_url': 'http://artlibre.org/licence/lal/en', 'license_name': 'FAL'}
  77
  78     """
  79     file_name = url.rsplit('/', 1)[-1].rsplit(':', 1)[-1]
  80     d = json.loads(URLOpener().open('https://commons.wikimedia.org/w/api.php?action=query&titles=File:{}&prop=imageinfo&iiprop=url|user|extmetadata&iimetadataversion=latest&format=json'.format(file_name)).read().decode('utf-8'))
  81
  82     d = list(d['query']['pages'].values())[0]['imageinfo'][0]
  83     ext = d['extmetadata']
  84
  85     meta = {
  86         'title': ext['ObjectName']['value'],
  87         'author': d['user'],
  88         'source_url': d['descriptionurl'],
  89         'download_url': d['url'],
  90         'license_url': ext.get('LicenseUrl', {}).get('value', ''),
  91         'license_name': ext['LicenseShortName']['value'],
  92     }
  93
  94     if meta['license_name'] == 'Public domain':
  95         meta['license_name'] = 'domena publiczna'
  96         meta['license_url'] = 'https://pl.wikipedia.org/wiki/Domena_publiczna'
  97
  98
  99     return meta
 100
 101
 102 def get_mnw_data(url):
 103     """
 104     >>> get_mnw_data('https://cyfrowe.mnw.art.pl/pl/katalog/511078')
 105     {'title': 'Chłopka (Baba ukraińska)', 'author': 'Krzyżanowski, Konrad (1872-1922)', 'source_url': 'https://cyfrowe.mnw.art.pl/pl/katalog/511078', 'download_url': 'https://cyfrowe-cdn.mnw.art.pl/upload/multimedia/32/60/3260ae1704cc530cc62befa9b7d58cbd.jpg', 'license_url': 'https://pl.wikipedia.org/wiki/Domena_publiczna', 'license_name': 'domena publiczna'}
 106     """
 107     nr = url.rsplit('/', 1)[-1]
 108     d = list(
 109         csv.DictReader(
 110             StringIO(
 111                 URLOpener().open(
 112                     'https://cyfrowe-api.mnw.art.pl/api/object/{}/csv'.format(nr)
 113                 ).read().decode('utf-8')
 114             )
 115         )
 116     )[0]
 117
 118     authors = []
 119     i = 0
 120     while f'authors.{i}.name' in d:
 121         authors.append(d[f'authors.{i}.name'])
 122         i += 1
 123
 124     license_url = d['copyrights.0.link']
 125     license_name = d['copyrights.0.name']
 126     if license_name == 'DOMENA PUBLICZNA':
 127         license_name = 'domena publiczna'
 128         license_url = 'https://pl.wikipedia.org/wiki/Domena_publiczna'
 129
 130     return {
 131         'title': d['title'],
 132         'author': ', '.join(authors),
 133         'source_url': url,
 134         'download_url': 'https://cyfrowe-cdn.mnw.art.pl/upload/multimedia/{}.{}'.format(
 135             d['image.filePath'],
 136             d['image.extension'],
 137         ),
 138         'license_url': license_url,
 139         'license_name': license_name,
 140     }
 141
 142
 143 def get_import_data(url):
 144     if re.match(r'(https?://)?(www\.|secure\.)?flickr\.com/', url):
 145         return get_flickr_data(url)
 146     if re.match(r'(https?://)?(commons|upload)\.wikimedia\.org/', url):
 147         return get_wikimedia_data(url)
 148     if re.match(r'(https?://)?cyfrowe\.mnw\.art\.pl/', url):
 149         return get_mnw_data(url)