Accept dates in like "2 poł. XIX w."

[librarian.git] / librarian / text.py

diff --git a/librarian/text.py b/librarian/text.py
index db0d2b2..d99e7cf 100644 (file)
--- a/librarian/text.py
+++ b/librarian/text.py
@@ -1,89 +1,91 @@
 # -*- coding: utf-8 -*-
 # -*- coding: utf-8 -*-

-import os
-import cStringIO
-import re
-import codecs
-
+#
+# This file is part of Librarian, licensed under GNU Affero GPLv3 or later.
+# Copyright © Fundacja Nowoczesna Polska. See NOTICE for more information.
+#
+import copy
+from librarian import functions, OutputFile

 from lxml import etree
 from lxml import etree

+import os

 
 

-from librarian import dcparser
-
-
-ENTITY_SUBSTITUTIONS = [
-    (u'---', u'—'),
-    (u'--', u'–'),
-    (u'...', u'…'),
-    (u',,', u'„'),
-    (u'"', u'”'),
-]
-
-
-MAX_LINE_LENGTH = 80
-
-
-def strip(context, text):
-    """Remove unneeded whitespace from beginning and end"""
-    if isinstance(text, list):
-        text = ''.join(text)
-    return re.sub(r'\s+', ' ', text).strip()

 
 

+functions.reg_substitute_entities()
+functions.reg_wrap_words()
+functions.reg_strip()
+functions.reg_person_name()

 
 

-def substitute_entities(context, text):
-    """XPath extension function converting all entites in passed text."""
-    if isinstance(text, list):
-        text = ''.join(text)
-    for entity, substitutution in ENTITY_SUBSTITUTIONS:
-        text = text.replace(entity, substitutution)
-    return text
+TEMPLATE = u"""\
+%(text)s

 
 
 
 

-def wrap_words(context, text):
-    """XPath extension function automatically wrapping words in passed text"""
-    if isinstance(text, list):
-        text = ''.join(text)
-    words = re.split(r'\s', text)
-    
-    line_length = 0
-    lines = [[]]
-    for word in words:
-        line_length += len(word) + 1
-        if line_length > MAX_LINE_LENGTH:
-            # Max line length was exceeded. We create new line
-            lines.append([])
-            line_length = len(word)
-        lines[-1].append(word)
-    return '\n'.join(' '.join(line) for line in lines)
+-----
+Ta lektura, podobnie jak tysiące innych, dostępna jest na stronie wolnelektury.pl.
+Wersja lektury w opracowaniu merytorycznym i krytycznym (przypisy i motywy) dostępna jest na stronie %(url)s.

 
 

+Utwór opracowany został w ramach projektu Wolne Lektury przez fundację Nowoczesna Polska.

 
 

-# Register substitute_entities function with lxml
-ns = etree.FunctionNamespace('http://wolnelektury.pl/functions')
-ns['strip'] = strip
-ns['substitute_entities'] = substitute_entities
-ns['wrap_words'] = wrap_words
+%(license_description)s.%(source)s

 
 

+%(description)s%(contributors)s
+"""

 
 

-def transform(input_filename, output_filename):
-    """Transforms file input_filename in XML to output_filename in TXT."""
+def transform(wldoc, flags=None, **options):
+    """
+    Transforms input_file in XML to output_file in TXT.
+    possible flags: raw-text,
+    """

     # Parse XSLT
     # Parse XSLT

-    style_filename = os.path.join(os.path.dirname(__file__), 'book2txt.xslt')
+    style_filename = os.path.join(os.path.dirname(__file__), 'xslt/book2txt.xslt')

     style = etree.parse(style_filename)
 
     style = etree.parse(style_filename)
 

-    doc_file = cStringIO.StringIO()
-    expr = re.compile(r'/\s', re.MULTILINE | re.UNICODE);
-    
-    f = open(input_filename, 'r')
-    for line in f:
-        line = line.decode('utf-8')
-        line = expr.sub(u'<br/>\n', line)
-        doc_file.write(line.encode('utf-8'))
-    f.close()
+    document = copy.deepcopy(wldoc)
+    del wldoc
+    document.swap_endlines()

 
 

-    doc_file.seek(0)
+    if flags:
+        for flag in flags:
+            document.edoc.getroot().set(flag, 'yes')

 
 

-    parser = etree.XMLParser(remove_blank_text=True)
-    doc = etree.parse(doc_file, parser)
+    result = document.transform(style, **options)
+
+    if not flags or 'raw-text' not in flags:
+        if document.book_info:
+            parsed_dc = document.book_info
+            description = parsed_dc.description
+            url = document.book_info.url
+    
+            license_description = parsed_dc.license_description
+            license = parsed_dc.license
+            if license:
+                license_description = u"Ten utwór jest udostepniony na licencji %s: \n%s" % (license_description, license)        
+            else:
+                license_description = u"Ten utwór nie jest chroniony prawem autorskim i znajduje się w domenie publicznej, co oznacza że możesz go swobodnie wykorzystywać, publikować i rozpowszechniać. Jeśli utwór opatrzony jest dodatkowymi materiałami (przypisy, motywy literackie etc.), które podlegają prawu autorskiemu, to te dodatkowe materiały udostępnione są na licencji Creative Commons Uznanie Autorstwa – Na Tych Samych Warunkach 3.0 PL (http://creativecommons.org/licenses/by-sa/3.0/)"
+    
+            source = parsed_dc.source_name
+            if source:
+                source = "\n\nTekst opracowany na podstawie: " + source
+            else:
+                source = ''

     
     

-    result = doc.xslt(style)
-    output_file = codecs.open(output_filename, 'wb', encoding='utf-8')
-    output_file.write(unicode(result) % dcparser.parse(input_filename).url)
+            contributors = ', '.join(person.readable() for person in 
+                                     sorted(set(p for p in (parsed_dc.technical_editors + parsed_dc.editors) if p)))
+            if contributors:
+                contributors = "\n\nOpracowanie redakcyjne i przypisy: %s" % contributors
+        else:
+            description = 'Publikacja zrealizowana w ramach projektu Wolne Lektury (http://wolnelektury.pl).'
+            url = '*' * 10
+            license = ""
+            license_description = ""
+            source = ""
+            contributors = ""
+        return OutputFile.from_string((TEMPLATE % {
+            'description': description,
+            'url': url,
+            'license_description': license_description,
+            'text': unicode(result),
+            'source': source,
+            'contributors': contributors,
+        }).encode('utf-8'))
+    else:
+        return OutputFile.from_string(unicode(result).encode('utf-8'))