good pdf, some general updates

[librarian.git] / librarian / text.py

diff --git a/librarian/text.py b/librarian/text.py
index 972dd61..b7fbad6 100644 (file)
--- a/librarian/text.py
+++ b/librarian/text.py
@@ -1,5 +1,9 @@
 # -*- coding: utf-8 -*-
 # -*- coding: utf-8 -*-

-from librarian import dcparser, parser
+#
+# This file is part of Librarian, licensed under GNU Affero GPLv3 or later.
+# Copyright © Fundacja Nowoczesna Polska. See NOTICE for more information.
+#
+from librarian import dcparser, parser, functions

 from lxml import etree
 import cStringIO
 import codecs
 from lxml import etree
 import cStringIO
 import codecs


@@ -7,21 +11,16 @@ import os
 import re
 
 
 import re
 
 

-ENTITY_SUBSTITUTIONS = [
-    (u'---', u'—'),
-    (u'--', u'–'),
-    (u'...', u'…'),
-    (u',,', u'„'),
-    (u'"', u'”'),
-]
-
+functions.reg_substitute_entities()
+functions.reg_wrap_words()
+functions.reg_split()

 
 TEMPLATE = u"""\
 Kodowanie znaków w dokumencie: UTF-8.
 -----
 Publikacja zrealizowana w ramach projektu Wolne Lektury (http://wolnelektury.pl/). Reprodukcja cyfrowa wykonana przez
 
 TEMPLATE = u"""\
 Kodowanie znaków w dokumencie: UTF-8.
 -----
 Publikacja zrealizowana w ramach projektu Wolne Lektury (http://wolnelektury.pl/). Reprodukcja cyfrowa wykonana przez

-Bibliotekę Narodową z egzemplarza pochodzącego ze zbiorów BN. Ten utwór nie jest chroniony prawem autorskim i znajduje
-się w domenie publicznej, co oznacza, że możesz go swobodnie wykorzystywać, publikować i rozpowszechniać.
+Bibliotekę Narodową z egzemplarza pochodzącego ze zbiorów BN. 
+\n%(license_description)s.

 
 Wersja lektury w opracowaniu merytorycznym i krytycznym (przypisy i motywy) dostępna jest na stronie %(url)s.
 -----
 
 Wersja lektury w opracowaniu merytorycznym i krytycznym (przypisy i motywy) dostępna jest na stronie %(url)s.
 -----


@@ -31,55 +30,10 @@ Wersja lektury w opracowaniu merytorycznym i krytycznym (przypisy i motywy) dost
 %(text)s
 """
 
 %(text)s
 """
 

-
-def strip(context, text):
-    """Remove unneeded whitespace from beginning and end"""
-    if isinstance(text, list):
-        text = ''.join(text)
-    return re.sub(r'\s+', ' ', text).strip()
-
-
-def substitute_entities(context, text):
-    """XPath extension function converting all entites in passed text."""
-    if isinstance(text, list):
-        text = ''.join(text)
-    for entity, substitutution in ENTITY_SUBSTITUTIONS:
-        text = text.replace(entity, substitutution)
-    return text
-
-
-def wrap_words(context, text, wrapping):
-    """XPath extension function automatically wrapping words in passed text"""
-    if isinstance(text, list):
-        text = ''.join(text)
-    if not wrapping:
-        return text
-    
-    words = re.split(r'\s', text)
-    
-    line_length = 0
-    lines = [[]]
-    for word in words:
-        line_length += len(word) + 1
-        if line_length > wrapping:
-            # Max line length was exceeded. We create new line
-            lines.append([])
-            line_length = len(word)
-        lines[-1].append(word)
-    return '\n'.join(' '.join(line) for line in lines)
-
-
-# Register substitute_entities function with lxml
-ns = etree.FunctionNamespace('http://wolnelektury.pl/functions')
-ns['strip'] = strip
-ns['substitute_entities'] = substitute_entities
-ns['wrap_words'] = wrap_words
-
-

 def transform(input_filename, output_filename, is_file=True, parse_dublincore=True, **options):
     """Transforms file input_filename in XML to output_filename in TXT."""
     # Parse XSLT
 def transform(input_filename, output_filename, is_file=True, parse_dublincore=True, **options):
     """Transforms file input_filename in XML to output_filename in TXT."""
     # Parse XSLT

-    style_filename = os.path.join(os.path.dirname(__file__), 'book2txt.xslt')
+    style_filename = os.path.join(os.path.dirname(__file__), 'xslt/book2txt.xslt')

     style = etree.parse(style_filename)
 
     if is_file:
     style = etree.parse(style_filename)
 
     if is_file:


@@ -90,13 +44,23 @@ def transform(input_filename, output_filename, is_file=True, parse_dublincore=Tr
     result = document.transform(style, **options)
 
     output_file = codecs.open(output_filename, 'wb', encoding='utf-8')
     result = document.transform(style, **options)
 
     output_file = codecs.open(output_filename, 'wb', encoding='utf-8')

-    
+

     if parse_dublincore:
     if parse_dublincore:

-        url = dcparser.parse(input_filename).url
+        parsed_dc = dcparser.parse(input_filename)
+        url = parsed_dc.url
+        license_description = parsed_dc.license_description
+       license = parsed_dc.license
+        if license:
+            license_description = u"Ten utwór jest udostepniony na licencji %s: \n%s" % (license_description, license)        
+        else:
+            license_description = u"Ten utwór nie jest chroniony prawem autorskim i znajduje się w domenie publicznej, co oznacza, że możesz go swobodnie wykorzystywać, publikować i rozpowszechniać" 

     else:
         url = '*' * 10
     else:
         url = '*' * 10

+        license = ""
+        license_description = ""

     output_file.write(TEMPLATE % {
         'url': url,
     output_file.write(TEMPLATE % {
         'url': url,

+       'license_description': license_description,

         'text': unicode(result),
     })
 
         'text': unicode(result),
     })