X-Git-Url: https://git.mdrn.pl/librarian.git/blobdiff_plain/07fdba2c7fe8e11b6867712d47bdd608e88c29fb..6642c1c71c5c6ce6ef3401c8c9da84cf076b018b:/librarian/text.py diff --git a/librarian/text.py b/librarian/text.py index db0d2b2..0754a99 100644 --- a/librarian/text.py +++ b/librarian/text.py @@ -18,7 +18,20 @@ ENTITY_SUBSTITUTIONS = [ ] -MAX_LINE_LENGTH = 80 +TEMPLATE = u"""\ +Kodowanie znaków w dokumencie: UTF-8. +----- +Publikacja zrealizowana w ramach projektu Wolne Lektury (http://wolnelektury.pl/). Reprodukcja cyfrowa wykonana przez +Bibliotekę Narodową z egzemplarza pochodzącego ze zbiorów BN. Ten utwór nie jest chroniony prawem autorskim i znajduje +się w domenie publicznej, co oznacza, że możesz go swobodnie wykorzystywać, publikować i rozpowszechniać. + +Wersja lektury w opracowaniu merytorycznym i krytycznym (przypisy i motywy) dostępna jest na stronie %(url)s. +----- + + + +%(text)s +""" def strip(context, text): @@ -37,17 +50,20 @@ def substitute_entities(context, text): return text -def wrap_words(context, text): +def wrap_words(context, text, wrapping): """XPath extension function automatically wrapping words in passed text""" if isinstance(text, list): text = ''.join(text) + if not wrapping: + return text + words = re.split(r'\s', text) line_length = 0 lines = [[]] for word in words: line_length += len(word) + 1 - if line_length > MAX_LINE_LENGTH: + if line_length > wrapping: # Max line length was exceeded. We create new line lines.append([]) line_length = len(word) @@ -62,28 +78,22 @@ ns['substitute_entities'] = substitute_entities ns['wrap_words'] = wrap_words -def transform(input_filename, output_filename): +def transform(input_filename, output_filename, **options): """Transforms file input_filename in XML to output_filename in TXT.""" # Parse XSLT style_filename = os.path.join(os.path.dirname(__file__), 'book2txt.xslt') style = etree.parse(style_filename) - doc_file = cStringIO.StringIO() - expr = re.compile(r'/\s', re.MULTILINE | re.UNICODE); - - f = open(input_filename, 'r') - for line in f: - line = line.decode('utf-8') - line = expr.sub(u'
\n', line) - doc_file.write(line.encode('utf-8')) - f.close() + if is_file: + document = WLDocument.from_file(input, True) + else: + document = WLDocument.from_string(input, True) - doc_file.seek(0) + result = document.transform(style, **options) - parser = etree.XMLParser(remove_blank_text=True) - doc = etree.parse(doc_file, parser) - - result = doc.xslt(style) output_file = codecs.open(output_filename, 'wb', encoding='utf-8') - output_file.write(unicode(result) % dcparser.parse(input_filename).url) + output_file.write(TEMPLATE % { + 'url': dcparser.parse(input_filename).url, + 'text': unicode(result), + })