X-Git-Url: https://git.mdrn.pl/librarian.git/blobdiff_plain/895f081f74ce3f116bebb4ef76f5ab3d2e392fef..3a27423b73ba18f8aad3043c1fbcdbf6e4dad890:/librarian/text.py diff --git a/librarian/text.py b/librarian/text.py index 70d98c4..b7fbad6 100644 --- a/librarian/text.py +++ b/librarian/text.py @@ -1,25 +1,9 @@ # -*- coding: utf-8 -*- # -# This file is part of Librarian. +# This file is part of Librarian, licensed under GNU Affero GPLv3 or later. +# Copyright © Fundacja Nowoczesna Polska. See NOTICE for more information. # -# Copyright © 2008,2009,2010 Fundacja Nowoczesna Polska -# -# For full list of contributors see AUTHORS file. -# -# This program is free software: you can redistribute it and/or modify -# it under the terms of the GNU Affero General Public License as published by -# the Free Software Foundation, either version 3 of the License, or -# (at your option) any later version. -# -# This program is distributed in the hope that it will be useful, -# but WITHOUT ANY WARRANTY; without even the implied warranty of -# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the -# GNU Affero General Public License for more details. -# -# You should have received a copy of the GNU Affero General Public License -# along with this program. If not, see . -# -from librarian import dcparser, parser +from librarian import dcparser, parser, functions from lxml import etree import cStringIO import codecs @@ -27,21 +11,16 @@ import os import re -ENTITY_SUBSTITUTIONS = [ - (u'---', u'—'), - (u'--', u'–'), - (u'...', u'…'), - (u',,', u'„'), - (u'"', u'”'), -] - +functions.reg_substitute_entities() +functions.reg_wrap_words() +functions.reg_split() TEMPLATE = u"""\ Kodowanie znaków w dokumencie: UTF-8. ----- Publikacja zrealizowana w ramach projektu Wolne Lektury (http://wolnelektury.pl/). Reprodukcja cyfrowa wykonana przez -Bibliotekę Narodową z egzemplarza pochodzącego ze zbiorów BN. Ten utwór nie jest chroniony prawem autorskim i znajduje -się w domenie publicznej, co oznacza, że możesz go swobodnie wykorzystywać, publikować i rozpowszechniać. +Bibliotekę Narodową z egzemplarza pochodzącego ze zbiorów BN. +\n%(license_description)s. Wersja lektury w opracowaniu merytorycznym i krytycznym (przypisy i motywy) dostępna jest na stronie %(url)s. ----- @@ -51,51 +30,6 @@ Wersja lektury w opracowaniu merytorycznym i krytycznym (przypisy i motywy) dost %(text)s """ - -def strip(context, text): - """Remove unneeded whitespace from beginning and end""" - if isinstance(text, list): - text = ''.join(text) - return re.sub(r'\s+', ' ', text).strip() - - -def substitute_entities(context, text): - """XPath extension function converting all entites in passed text.""" - if isinstance(text, list): - text = ''.join(text) - for entity, substitutution in ENTITY_SUBSTITUTIONS: - text = text.replace(entity, substitutution) - return text - - -def wrap_words(context, text, wrapping): - """XPath extension function automatically wrapping words in passed text""" - if isinstance(text, list): - text = ''.join(text) - if not wrapping: - return text - - words = re.split(r'\s', text) - - line_length = 0 - lines = [[]] - for word in words: - line_length += len(word) + 1 - if line_length > wrapping: - # Max line length was exceeded. We create new line - lines.append([]) - line_length = len(word) - lines[-1].append(word) - return '\n'.join(' '.join(line) for line in lines) - - -# Register substitute_entities function with lxml -ns = etree.FunctionNamespace('http://wolnelektury.pl/functions') -ns['strip'] = strip -ns['substitute_entities'] = substitute_entities -ns['wrap_words'] = wrap_words - - def transform(input_filename, output_filename, is_file=True, parse_dublincore=True, **options): """Transforms file input_filename in XML to output_filename in TXT.""" # Parse XSLT @@ -110,13 +44,23 @@ def transform(input_filename, output_filename, is_file=True, parse_dublincore=Tr result = document.transform(style, **options) output_file = codecs.open(output_filename, 'wb', encoding='utf-8') - + if parse_dublincore: - url = dcparser.parse(input_filename).url + parsed_dc = dcparser.parse(input_filename) + url = parsed_dc.url + license_description = parsed_dc.license_description + license = parsed_dc.license + if license: + license_description = u"Ten utwór jest udostepniony na licencji %s: \n%s" % (license_description, license) + else: + license_description = u"Ten utwór nie jest chroniony prawem autorskim i znajduje się w domenie publicznej, co oznacza, że możesz go swobodnie wykorzystywać, publikować i rozpowszechniać" else: url = '*' * 10 + license = "" + license_description = "" output_file.write(TEMPLATE % { 'url': url, + 'license_description': license_description, 'text': unicode(result), })