init-api.py

   1 #!/usr/bin/env python
   2 # -*- coding: utf-8 -*-
   3 # Copyright © 2011 Fundacja Nowoczesna Polska
   4 #
   5 # This file is part of Leśmianator.
   6 #
   7 # Leśmianator is free software: you can redistribute it and/or modify
   8 # it under the terms of the GNU Affero General Public License as published by
   9 # the Free Software Foundation, either version 3 of the License, or
  10 # (at your option) any later version.
  11 #
  12 # Leśmianator is distributed in the hope that it will be useful,
  13 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  14 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15 # GNU Affero General Public License for more details.
  16 #
  17 # You should have received a copy of the GNU Affero General Public License
  18 # along with Leśmianator.  If not, see <http://www.gnu.org/licenses/>.
  19 #
  20
  21 """
  22 Inicjalizuje bazę danych Leśmianatora na podstawie API Wolnych Lektur.
  23
  24 Skrypt za pomocą API wybiera wszystkie sonety Adama Mickiewicza,
  25 pobiera ich treść w formacie TXT i przekazuje ją do analizy Leśmianatorowi.
  26
  27 """
  28
  29 import json
  30 from urllib2 import urlopen
  31
  32 from lesmianator import Lesmianator
  33
  34
  35 API_BOOKS = "http://www.wolnelektury.pl/api/authors/adam-mickiewicz/genres/sonet/books"
  36
  37
  38 def book_txt(url):
  39     book = json.load(urlopen(url))
  40     return book['txt']
  41
  42
  43 if __name__ == '__main__':
  44     poet = Lesmianator()
  45     for book in json.load(urlopen(API_BOOKS)):
  46         print book['title']
  47         text_url = book_txt(book['href'])
  48         if text_url:
  49             poet.add_txt_file(urlopen(text_url))
  50     poet.save()
  51