X-Git-Url: https://git.mdrn.pl/librarian.git/blobdiff_plain/07fdba2c7fe8e11b6867712d47bdd608e88c29fb..12b5230d8fdb3ad995e867fb5d58a69e8a627e68:/librarian/text.py?ds=inline diff --git a/librarian/text.py b/librarian/text.py index db0d2b2..0eb7b59 100644 --- a/librarian/text.py +++ b/librarian/text.py @@ -1,89 +1,105 @@ # -*- coding: utf-8 -*- -import os -import cStringIO -import re -import codecs - +# +# This file is part of Librarian, licensed under GNU Affero GPLv3 or later. +# Copyright © Fundacja Nowoczesna Polska. See NOTICE for more information. +# +import copy +from librarian import functions, OutputFile from lxml import etree - -from librarian import dcparser - - -ENTITY_SUBSTITUTIONS = [ - (u'---', u'—'), - (u'--', u'–'), - (u'...', u'…'), - (u',,', u'„'), - (u'"', u'”'), -] - - -MAX_LINE_LENGTH = 80 +import os -def strip(context, text): - """Remove unneeded whitespace from beginning and end""" - if isinstance(text, list): - text = ''.join(text) - return re.sub(r'\s+', ' ', text).strip() +functions.reg_substitute_entities() +functions.reg_wrap_words() +functions.reg_strip() +functions.reg_person_name() +TEMPLATE = u"""\ +%(text)s -def substitute_entities(context, text): - """XPath extension function converting all entites in passed text.""" - if isinstance(text, list): - text = ''.join(text) - for entity, substitutution in ENTITY_SUBSTITUTIONS: - text = text.replace(entity, substitutution) - return text +----- +Ta lektura, podobnie jak tysiące innych, dostępna jest na stronie wolnelektury.pl. +Wersja lektury w opracowaniu merytorycznym i krytycznym (przypisy i motywy) dostępna jest na stronie %(url)s. -def wrap_words(context, text): - """XPath extension function automatically wrapping words in passed text""" - if isinstance(text, list): - text = ''.join(text) - words = re.split(r'\s', text) - - line_length = 0 - lines = [[]] - for word in words: - line_length += len(word) + 1 - if line_length > MAX_LINE_LENGTH: - # Max line length was exceeded. We create new line - lines.append([]) - line_length = len(word) - lines[-1].append(word) - return '\n'.join(' '.join(line) for line in lines) +Utwór opracowany został w ramach projektu Wolne Lektury przez fundację Nowoczesna Polska. +%(license_description)s.%(source)s -# Register substitute_entities function with lxml -ns = etree.FunctionNamespace('http://wolnelektury.pl/functions') -ns['strip'] = strip -ns['substitute_entities'] = substitute_entities -ns['wrap_words'] = wrap_words +%(description)s%(contributors)s%(funders)s +""" -def transform(input_filename, output_filename): - """Transforms file input_filename in XML to output_filename in TXT.""" +def transform(wldoc, flags=None, **options): + """ + Transforms input_file in XML to output_file in TXT. + possible flags: raw-text, + """ # Parse XSLT - style_filename = os.path.join(os.path.dirname(__file__), 'book2txt.xslt') + style_filename = os.path.join(os.path.dirname(__file__), 'xslt/book2txt.xslt') style = etree.parse(style_filename) - doc_file = cStringIO.StringIO() - expr = re.compile(r'/\s', re.MULTILINE | re.UNICODE); - - f = open(input_filename, 'r') - for line in f: - line = line.decode('utf-8') - line = expr.sub(u'
\n', line) - doc_file.write(line.encode('utf-8')) - f.close() + document = copy.deepcopy(wldoc) + del wldoc + document.swap_endlines() - doc_file.seek(0) + if flags: + for flag in flags: + document.edoc.getroot().set(flag, 'yes') + if 'wrapping' in options: + options['wrapping'] = str(options['wrapping']) - parser = etree.XMLParser(remove_blank_text=True) - doc = etree.parse(doc_file, parser) - - result = doc.xslt(style) - output_file = codecs.open(output_filename, 'wb', encoding='utf-8') - output_file.write(unicode(result) % dcparser.parse(input_filename).url) + result = document.transform(style, **options) + if not flags or 'raw-text' not in flags: + if document.book_info: + parsed_dc = document.book_info + description = parsed_dc.description + url = document.book_info.url + + license_description = parsed_dc.license_description + license = parsed_dc.license + if license: + license_description = u"Ten utwór jest udostepniony na licencji %s: \n%s" % ( + license_description, license) + else: + license_description = u"Ten utwór nie jest objęty majątkowym prawem autorskim i znajduje się " \ + u"w domenie publicznej, co oznacza że możesz go swobodnie wykorzystywać, " \ + u"publikować i rozpowszechniać. Jeśli utwór opatrzony jest dodatkowymi " \ + u"materiałami (przypisy, motywy literackie etc.), które podlegają prawu " \ + u"autorskiemu, to te dodatkowe materiały udostępnione są na licencji " \ + u"Creative Commons Uznanie Autorstwa – Na Tych Samych Warunkach 3.0 PL " \ + u"(http://creativecommons.org/licenses/by-sa/3.0/)" + + source = parsed_dc.source_name + if source: + source = "\n\nTekst opracowany na podstawie: " + source + else: + source = '' + + contributors = ', '.join(person.readable() for person in + sorted(set(p for p in (parsed_dc.technical_editors + parsed_dc.editors) if p))) + if contributors: + contributors = "\n\nOpracowanie redakcyjne i przypisy: %s." % contributors + funders = ', '.join(parsed_dc.funders) + if funders: + funders = u"\n\nPublikację ufundowali i ufundowały: %s." % funders + else: + description = 'Publikacja zrealizowana w ramach projektu Wolne Lektury (http://wolnelektury.pl).' + url = '*' * 10 + license_description = "" + source = "" + contributors = "" + funders = "" + result = (TEMPLATE % { + 'description': description, + 'url': url, + 'license_description': license_description, + 'text': unicode(result), + 'source': source, + 'contributors': contributors, + 'funders': funders, + }).encode('utf-8') + else: + result = unicode(result).encode('utf-8') + return OutputFile.from_string("\r\n".join(result.splitlines()) + "\r\n")