fix for fragments extraction

[librarian.git] / librarian / text.py

diff --git a/librarian/text.py b/librarian/text.py
index 57c2a73..f5aafc1 100644 (file)
--- a/librarian/text.py
+++ b/librarian/text.py
@@ -5,62 +5,73 @@
 #
 from librarian import dcparser, parser, functions
 from lxml import etree
 #
 from librarian import dcparser, parser, functions
 from lxml import etree

-import cStringIO
-import codecs

 import os
 import os

-import re

 
 
 functions.reg_substitute_entities()
 functions.reg_wrap_words()
 functions.reg_strip()
 
 
 functions.reg_substitute_entities()
 functions.reg_wrap_words()
 functions.reg_strip()

+functions.reg_person_name()

 
 TEMPLATE = u"""\
 
 TEMPLATE = u"""\

-Kodowanie znaków w dokumencie: UTF-8.
------
-Publikacja zrealizowana w ramach projektu Wolne Lektury (http://wolnelektury.pl/). Reprodukcja cyfrowa wykonana przez
-Bibliotekę Narodową z egzemplarza pochodzącego ze zbiorów BN. 
-\n%(license_description)s.
+%(text)s
+

 
 

-Wersja lektury w opracowaniu merytorycznym i krytycznym (przypisy i motywy) dostępna jest na stronie %(url)s.

 -----
 -----

+Ta lektura, podobnie jak tysiące innych, dostępna jest na stronie wolnelektury.pl.
+Wersja lektury w opracowaniu merytorycznym i krytycznym (przypisy i motywy) dostępna jest na stronie %(url)s.

 
 

+Utwór opracowany został w ramach projektu Wolne Lektury przez fundację Nowoczesna Polska.

 
 

+%(license_description)s.%(source)s

 
 

-%(text)s
+%(description)s%(contributors)s

 """
 
 """
 

-def transform(input_filename, output_filename, is_file=True, parse_dublincore=True, **options):
-    """Transforms file input_filename in XML to output_filename in TXT."""
+def transform(input_file, output_file, parse_dublincore=True, **options):
+    """Transforms input_file in XML to output_file in TXT."""

     # Parse XSLT
     style_filename = os.path.join(os.path.dirname(__file__), 'xslt/book2txt.xslt')
     style = etree.parse(style_filename)
 
     # Parse XSLT
     style_filename = os.path.join(os.path.dirname(__file__), 'xslt/book2txt.xslt')
     style = etree.parse(style_filename)
 

-    if is_file:
-        document = parser.WLDocument.from_file(input_filename, True, parse_dublincore=parse_dublincore)
-    else:
-        document = parser.WLDocument.from_string(input_filename, True, parse_dublincore=parse_dublincore)
-
+    document = parser.WLDocument.from_file(input_file, True, parse_dublincore=parse_dublincore)

     result = document.transform(style, **options)
 
     result = document.transform(style, **options)
 

-    output_file = codecs.open(output_filename, 'wb', encoding='utf-8')
-

     if parse_dublincore:
     if parse_dublincore:

-        parsed_dc = dcparser.parse(input_filename)
+        parsed_dc = dcparser.BookInfo.from_element(document.edoc)
+        description = parsed_dc.description

         url = parsed_dc.url
         url = parsed_dc.url

+

         license_description = parsed_dc.license_description
         license_description = parsed_dc.license_description

-       license = parsed_dc.license
+        license = parsed_dc.license

         if license:
             license_description = u"Ten utwór jest udostepniony na licencji %s: \n%s" % (license_description, license)        
         else:
         if license:
             license_description = u"Ten utwór jest udostepniony na licencji %s: \n%s" % (license_description, license)        
         else:

-            license_description = u"Ten utwór nie jest chroniony prawem autorskim i znajduje się w domenie publicznej, co oznacza, że możesz go swobodnie wykorzystywać, publikować i rozpowszechniać" 
+            license_description = u"Ten utwór nie jest chroniony prawem autorskim i znajduje się w domenie publicznej, co oznacza że możesz go swobodnie wykorzystywać, publikować i rozpowszechniać. Jeśli utwór opatrzony jest dodatkowymi materiałami (przypisy, motywy literackie etc.), które podlegają prawu autorskiemu, to te dodatkowe materiały udostępnione są na licencji Creative Commons Uznanie Autorstwa – Na Tych Samych Warunkach 3.0 PL (http://creativecommons.org/licenses/by-sa/3.0/)"
+
+        source = parsed_dc.source_name
+        if source:
+            source = "\n\nTekst opracowany na podstawie: " + source
+        else:
+            source = ''
+
+        contributors = ', '.join(person.readable() for person in 
+                                 sorted(set(p for p in (parsed_dc.technical_editors + parsed_dc.editors) if p)))
+        if contributors:
+            contributors = "\n\nOpracowanie redakcyjne i przypisy: %s" % contributors

     else:
     else:

+        description = 'Publikacja zrealizowana w ramach projektu Wolne Lektury (http://wolnelektury.pl).'

         url = '*' * 10
         license = ""
         license_description = ""
         url = '*' * 10
         license = ""
         license_description = ""

-    output_file.write(TEMPLATE % {
+        source = ""
+        contributors = ""
+    output_file.write((TEMPLATE % {
+        'description': description,

         'url': url,
         'url': url,

-       'license_description': license_description,
+        'license_description': license_description,

         'text': unicode(result),
         'text': unicode(result),

-    })
+        'source': source,
+        'contributors': contributors,
+    }).encode('utf-8'))