encode unicode for lxml
[librarian.git] / librarian / epub.py
index 666bcc9..0f23923 100644 (file)
@@ -1,13 +1,14 @@
 # -*- coding: utf-8 -*-
 #
 # This file is part of Librarian, licensed under GNU Affero GPLv3 or later.
-# Copyright © Fundacja Nowoczesna Polska. See NOTICE for more information.  
+# Copyright © Fundacja Nowoczesna Polska. See NOTICE for more information.
 #
 from __future__ import with_statement
 
 import os
 import os.path
 import subprocess
+from StringIO import StringIO
 from copy import deepcopy
 from lxml import etree
 import zipfile
@@ -16,7 +17,7 @@ from shutil import rmtree
 
 import sys
 
-from librarian import XMLNamespace, RDFNS, DCNS, WLNS, NCXNS, OPFNS, NoDublinCore
+from librarian import XMLNamespace, RDFNS, DCNS, WLNS, NCXNS, OPFNS, XHTMLNS, NoDublinCore
 from librarian.dcparser import BookInfo
 
 from librarian import functions, get_resource
@@ -32,7 +33,7 @@ def inner_xml(node):
     """
 
     nt = node.text if node.text is not None else ''
-    return ''.join([nt] + [etree.tostring(child) for child in node]) 
+    return ''.join([nt] + [etree.tostring(child) for child in node])
 
 def set_inner_xml(node, text):
     """ sets node's text and children from a string
@@ -83,13 +84,14 @@ def replace_characters(node):
                    .replace(",,", u"\u201E")\
                    .replace('"', u"\u201D")\
                    .replace("'", u"\u2019")
-    if node.tag == 'extra':
+    if node.tag in ('uwaga', 'extra'):
+        t = node.tail
         node.clear()
-    else:
-        node.text = replace_chars(node.text)
-        node.tail = replace_chars(node.tail)
-        for child in node:
-            replace_characters(child)
+        node.tail = t
+    node.text = replace_chars(node.text)
+    node.tail = replace_chars(node.tail)
+    for child in node:
+        replace_characters(child)
 
 
 def find_annotations(annotations, source, part_no):
@@ -105,7 +107,7 @@ def find_annotations(annotations, source, part_no):
             child.clear()
             child.tail = tail
             child.text = number
-        if child.tag not in ('extra', 'podtytul'):
+        if child.tag not in ('extra', 'uwaga'):
             find_annotations(annotations, child, part_no)
 
 
@@ -264,7 +266,8 @@ def transform_chunk(chunk_xml, chunk_no, annotations, empty=False, _empty_html_s
     return output_html, toc, chars
 
 
-def transform(provider, slug=None, file_path=None, output_file=None, output_dir=None, make_dir=False, verbose=False, sample=None):
+def transform(provider, slug=None, file_path=None, output_file=None, output_dir=None, make_dir=False, verbose=False,
+              sample=None, cover=None, flags=None):
     """ produces a EPUB file
 
     provider: a DocProvider
@@ -273,6 +276,8 @@ def transform(provider, slug=None, file_path=None, output_file=None, output_dir=
     output_dir: path to directory to save output file to; either this or output_file must be present
     make_dir: writes output to <output_dir>/<author>/<slug>.epub instead of <output_dir>/<slug>.epub
     sample=n: generate sample e-book (with at least n paragraphs)
+    cover: a cover.Cover object
+    flags: less-advertising,
     """
 
     def transform_file(input_xml, chunk_counter=1, first=True, sample=None):
@@ -353,6 +358,10 @@ def transform(provider, slug=None, file_path=None, output_file=None, output_dir=
             raise ValueError('either slug or file_path should be specified')
         input_xml = etree.parse(provider[slug])
 
+    if flags:
+        for flag in flags:
+            input_xml.getroot().set(flag, 'yes')
+
     metadata = input_xml.find('.//'+RDFNS('Description'))
     if metadata is None:
         raise NoDublinCore('Document has no DublinCore - which is required.')
@@ -393,6 +402,28 @@ def transform(provider, slug=None, file_path=None, output_file=None, output_dir=
     manifest = opf.find('.//' + OPFNS('manifest'))
     spine = opf.find('.//' + OPFNS('spine'))
 
+    if cover:
+        cover_file = StringIO()
+        c = cover(book_info.author.readable(), book_info.title)
+        c.save(cover_file)
+        c_name = 'cover.%s' % c.ext()
+        zip.writestr(os.path.join('OPS', c_name), cover_file.getvalue())
+        del cover_file
+
+        cover_tree = etree.parse(get_resource('epub/cover.html'))
+        cover_tree.find('//' + XHTMLNS('img')).set('src', c_name)
+        zip.writestr('OPS/cover.html', etree.tostring(
+                        cover_tree, method="html", pretty_print=True))
+
+        manifest.append(etree.fromstring(
+            '<item id="cover" href="cover.html" media-type="application/xhtml+xml" />'))
+        manifest.append(etree.fromstring(
+            '<item id="cover-image" href="%s" media-type="%s" />' % (c_name, c.mime_type())))
+        spine.insert(0, etree.fromstring('<itemref idref="cover" />'))
+        opf.getroot()[0].append(etree.fromstring('<meta name="cover" content="cover-image"/>'))
+        opf.getroot().append(etree.fromstring('<guide><reference href="cover.html" type="cover" title="Okładka"/></guide>'))
+
+
     annotations = etree.Element('annotations')
 
     toc_file = etree.fromstring('<?xml version="1.0" encoding="utf-8"?><!DOCTYPE ncx PUBLIC ' \
@@ -415,6 +446,7 @@ def transform(provider, slug=None, file_path=None, output_file=None, output_dir=
         nav_map.append(etree.fromstring(
             '<navPoint id="NavPoint-%(i)d" playOrder="%(i)d" ><navLabel><text>Przypisy</text>'\
             '</navLabel><content src="annotations.html" /></navPoint>' % {'i': toc_counter}))
+        toc_counter += 1
         manifest.append(etree.fromstring(
             '<item id="annotations" href="annotations.html" media-type="application/xhtml+xml" />'))
         spine.append(etree.fromstring(
@@ -425,13 +457,25 @@ def transform(provider, slug=None, file_path=None, output_file=None, output_dir=
         zip.writestr('OPS/annotations.html', etree.tostring(
                             html_tree, method="html", pretty_print=True))
 
+    nav_map.append(etree.fromstring(
+        '<navPoint id="NavPoint-%(i)d" playOrder="%(i)d" ><navLabel><text>Strona redakcyjna</text>'\
+        '</navLabel><content src="last.html" /></navPoint>' % {'i': toc_counter}))
+    manifest.append(etree.fromstring(
+        '<item id="last" href="last.html" media-type="application/xhtml+xml" />'))
+    spine.append(etree.fromstring(
+        '<itemref idref="last" />'))
+    html_tree = xslt(input_xml, get_resource('epub/xsltLast.xsl'))
+    chars.update(used_chars(html_tree.getroot()))
+    zip.writestr('OPS/last.html', etree.tostring(
+                        html_tree, method="html", pretty_print=True))
+
     # strip fonts
     tmpdir = mkdtemp('-librarian-epub')
     cwd = os.getcwd()
 
     os.chdir(os.path.join(os.path.dirname(os.path.realpath(__file__)), 'font-optimizer'))
     for fname in 'DejaVuSerif.ttf', 'DejaVuSerif-Bold.ttf', 'DejaVuSerif-Italic.ttf', 'DejaVuSerif-BoldItalic.ttf':
-        optimizer_call = ['perl', 'subset.pl', '--chars', ''.join(chars).encode('utf-8'), 
+        optimizer_call = ['perl', 'subset.pl', '--chars', ''.join(chars).encode('utf-8'),
                           get_resource('fonts/' + fname), os.path.join(tmpdir, fname)]
         if verbose:
             print "Running font-optimizer"