# -*- coding: utf-8 -*-
#
-# This file is part of Librarian.
+# This file is part of Librarian, licensed under GNU Affero GPLv3 or later.
+# Copyright © Fundacja Nowoczesna Polska. See NOTICE for more information.
#
-# Copyright © 2008,2009,2010 Fundacja Nowoczesna Polska <fundacja@nowoczesnapolska.org.pl>
-#
-# For full list of contributors see AUTHORS file.
-#
-# This program is free software: you can redistribute it and/or modify
-# it under the terms of the GNU Affero General Public License as published by
-# the Free Software Foundation, either version 3 of the License, or
-# (at your option) any later version.
-#
-# This program is distributed in the hope that it will be useful,
-# but WITHOUT ANY WARRANTY; without even the implied warranty of
-# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
-# GNU Affero General Public License for more details.
-#
-# You should have received a copy of the GNU Affero General Public License
-# along with this program. If not, see <http://www.gnu.org/licenses/>.
-#
-from librarian import dcparser, parser
+from __future__ import unicode_literals
+
+import copy
+from librarian import functions, OutputFile
from lxml import etree
-import cStringIO
-import codecs
import os
-import re
-
+import six
-ENTITY_SUBSTITUTIONS = [
- (u'---', u'—'),
- (u'--', u'–'),
- (u'...', u'…'),
- (u',,', u'„'),
- (u'"', u'”'),
-]
+functions.reg_substitute_entities()
+functions.reg_wrap_words()
+functions.reg_strip()
+functions.reg_person_name()
TEMPLATE = u"""\
-Kodowanie znaków w dokumencie: UTF-8.
------
-Publikacja zrealizowana w ramach projektu Wolne Lektury (http://wolnelektury.pl/). Reprodukcja cyfrowa wykonana przez
-Bibliotekę Narodową z egzemplarza pochodzącego ze zbiorów BN. Ten utwór nie jest chroniony prawem autorskim i znajduje
-się w domenie publicznej, co oznacza, że możesz go swobodnie wykorzystywać, publikować i rozpowszechniać.
+%(text)s
+
-Wersja lektury w opracowaniu merytorycznym i krytycznym (przypisy i motywy) dostępna jest na stronie %(url)s.
-----
+Ta lektura, podobnie jak tysiące innych, dostępna jest na stronie wolnelektury.pl.
+Wersja lektury w opracowaniu merytorycznym i krytycznym (przypisy i motywy) dostępna jest na stronie %(url)s.
+Utwór opracowany został w ramach projektu Wolne Lektury przez fundację Nowoczesna Polska.
+%(license_description)s.%(source)s%(publisher)s
-%(text)s
+%(description)s%(contributors)s%(funders)s%(isbn)s
"""
-def strip(context, text):
- """Remove unneeded whitespace from beginning and end"""
- if isinstance(text, list):
- text = ''.join(text)
- return re.sub(r'\s+', ' ', text).strip()
-
-
-def substitute_entities(context, text):
- """XPath extension function converting all entites in passed text."""
- if isinstance(text, list):
- text = ''.join(text)
- for entity, substitutution in ENTITY_SUBSTITUTIONS:
- text = text.replace(entity, substitutution)
- return text
-
-
-def wrap_words(context, text, wrapping):
- """XPath extension function automatically wrapping words in passed text"""
- if isinstance(text, list):
- text = ''.join(text)
- if not wrapping:
- return text
-
- words = re.split(r'\s', text)
-
- line_length = 0
- lines = [[]]
- for word in words:
- line_length += len(word) + 1
- if line_length > wrapping:
- # Max line length was exceeded. We create new line
- lines.append([])
- line_length = len(word)
- lines[-1].append(word)
- return '\n'.join(' '.join(line) for line in lines)
-
-
-# Register substitute_entities function with lxml
-ns = etree.FunctionNamespace('http://wolnelektury.pl/functions')
-ns['strip'] = strip
-ns['substitute_entities'] = substitute_entities
-ns['wrap_words'] = wrap_words
-
-
-def transform(input_filename, output_filename, is_file=True, parse_dublincore=True, **options):
- """Transforms file input_filename in XML to output_filename in TXT."""
+def transform(wldoc, flags=None, **options):
+ """
+ Transforms input_file in XML to output_file in TXT.
+ possible flags: raw-text,
+ """
# Parse XSLT
style_filename = os.path.join(os.path.dirname(__file__), 'xslt/book2txt.xslt')
style = etree.parse(style_filename)
- if is_file:
- document = parser.WLDocument.from_file(input_filename, True, parse_dublincore=parse_dublincore)
- else:
- document = parser.WLDocument.from_string(input_filename, True, parse_dublincore=parse_dublincore)
+ document = copy.deepcopy(wldoc)
+ del wldoc
+ document.swap_endlines()
+
+ if flags:
+ for flag in flags:
+ document.edoc.getroot().set(flag, 'yes')
+ if 'wrapping' in options:
+ options['wrapping'] = str(options['wrapping'])
result = document.transform(style, **options)
- output_file = codecs.open(output_filename, 'wb', encoding='utf-8')
+ if not flags or 'raw-text' not in flags:
+ if document.book_info:
+ parsed_dc = document.book_info
+ description = parsed_dc.description
+ url = document.book_info.url
- if parse_dublincore:
- url = dcparser.parse(input_filename).url
+ license_description = parsed_dc.license_description
+ license = parsed_dc.license
+ if license:
+ license_description = u"Ten utwór jest udostępniony na licencji %s: \n%s" % (
+ license_description, license)
+ else:
+ license_description = u"Ten utwór nie jest objęty majątkowym prawem autorskim i znajduje się " \
+ u"w domenie publicznej, co oznacza że możesz go swobodnie wykorzystywać, " \
+ u"publikować i rozpowszechniać. Jeśli utwór opatrzony jest dodatkowymi " \
+ u"materiałami (przypisy, motywy literackie etc.), które podlegają prawu " \
+ u"autorskiemu, to te dodatkowe materiały udostępnione są na licencji " \
+ u"Creative Commons Uznanie Autorstwa – Na Tych Samych Warunkach 3.0 PL " \
+ u"(http://creativecommons.org/licenses/by-sa/3.0/)"
+
+ source = parsed_dc.source_name
+ if source:
+ source = "\n\nTekst opracowany na podstawie: " + source
+ else:
+ source = ''
+
+ contributors = ', '.join(person.readable() for person in
+ sorted(set(p for p in (parsed_dc.technical_editors + parsed_dc.editors) if p)))
+ if contributors:
+ contributors = "\n\nOpracowanie redakcyjne i przypisy: %s." % contributors
+ funders = ', '.join(parsed_dc.funders)
+ if funders:
+ funders = u"\n\nPublikację wsparli i wsparły: %s." % funders
+ publisher = '\n\nWydawca: ' + ', '.join(parsed_dc.publisher)
+ isbn = getattr(parsed_dc, 'isbn_txt', None)
+ if isbn:
+ isbn = '\n\n' + isbn
+ else:
+ isbn = ''
+ else:
+ description = 'Publikacja zrealizowana w ramach projektu Wolne Lektury (http://wolnelektury.pl).'
+ url = '*' * 10
+ license_description = ""
+ source = ""
+ contributors = ""
+ funders = ""
+ publisher = ""
+ isbn = ""
+ result = (TEMPLATE % {
+ 'description': description,
+ 'url': url,
+ 'license_description': license_description,
+ 'text': six.text_type(result),
+ 'source': source,
+ 'contributors': contributors,
+ 'funders': funders,
+ 'publisher': publisher,
+ 'isbn': isbn,
+ }).encode('utf-8')
else:
- url = '*' * 10
- output_file.write(TEMPLATE % {
- 'url': url,
- 'text': unicode(result),
- })
-
+ result = six.text_type(result).encode('utf-8')
+ return OutputFile.from_bytes(b"\r\n".join(result.splitlines()) + b"\r\n")
fnp / librarian.git / blobdiff