src/documents/xml_tools.py

   1 # This file is part of FNP-Redakcja, licensed under GNU Affero GPLv3 or later.
   2 # Copyright © Fundacja Nowoczesna Polska. See NOTICE for more information.
   3 #
   4 from copy import deepcopy
   5 import re
   6
   7 from lxml import etree
   8 from .constants import TRIM_BEGIN, TRIM_END, MASTERS
   9
  10 RE_TRIM_BEGIN = re.compile("^<!--%s-->$" % TRIM_BEGIN, re.M)
  11 RE_TRIM_END = re.compile("^<!--%s-->$" % TRIM_END, re.M)
  12
  13
  14 class ParseError(BaseException):
  15     pass
  16
  17
  18 def _trim(text, trim_begin=True, trim_end=True):
  19     """
  20         Cut off everything before RE_TRIM_BEGIN and after RE_TRIM_END, so
  21         that eg. one big XML file can be compiled from many small XML files.
  22     """
  23     if trim_begin:
  24         parts = RE_TRIM_BEGIN.split(text, maxsplit=1)
  25         text = parts[-1]
  26         if len(parts) > 1:
  27             lines = parts[0].count('\n')
  28             text = f'<!--TRIM:{lines}-->' + text
  29     if trim_end:
  30         text = RE_TRIM_END.split(text, maxsplit=1)[0]
  31     return text
  32
  33
  34 def compile_text(parts):
  35     """
  36         Compiles full text from an iterable of parts,
  37         trimming where applicable.
  38     """
  39     texts = []
  40     trim_begin = False
  41     text = ''
  42     for next_text in parts:
  43         if not next_text:
  44             continue
  45         if text:
  46             # trim the end, because there's more non-empty text
  47             # don't trim beginning, if `text' is the first non-empty part
  48             texts.append(_trim(text, trim_begin=trim_begin))
  49             trim_begin = True
  50         text = next_text
  51     # don't trim the end, because there's no more text coming after `text'
  52     # only trim beginning if it's not still the first non-empty
  53     texts.append(_trim(text, trim_begin=trim_begin, trim_end=False))
  54     return "".join(texts)
  55
  56
  57 def add_trim_begin(text):
  58     trim_tag = etree.Comment(TRIM_BEGIN)
  59     e = etree.fromstring(text)
  60     for master in e[::-1]:
  61         if master.tag in MASTERS:
  62             break
  63     if master.tag not in MASTERS:
  64         raise ParseError('No master tag found!')
  65
  66     master.insert(0, trim_tag)
  67     trim_tag.tail = '\n\n\n' + (master.text or '')
  68     master.text = '\n'
  69     return str(etree.tostring(e, encoding="utf-8"), 'utf-8')
  70
  71
  72 def add_trim_end(text):
  73     trim_tag = etree.Comment(TRIM_END)
  74     e = etree.fromstring(text)
  75     for master in e[::-1]:
  76         if master.tag in MASTERS:
  77             break
  78     if master.tag not in MASTERS:
  79         raise ParseError('No master tag found!')
  80
  81     master.append(trim_tag)
  82     trim_tag.tail = '\n'
  83     prev = trim_tag.getprevious()
  84     if prev is not None:
  85         prev.tail = (prev.tail or '') + '\n\n\n'
  86     else:
  87         master.text = (master.text or '') + '\n\n\n'
  88     return str(etree.tostring(e, encoding="utf-8"), 'utf-8')
  89
  90
  91 def split_xml(text):
  92     """Splits text into chapters.
  93
  94     All this stuff really must go somewhere else.
  95
  96     """
  97     src = etree.fromstring(text)
  98     chunks = []
  99
 100     splitter = u'naglowek_rozdzial'
 101     parts = src.findall('.//naglowek_rozdzial')
 102     while parts:
 103         # copy the document
 104         copied = deepcopy(src)
 105
 106         element = parts[-1]
 107
 108         # find the chapter's title
 109         name_elem = deepcopy(element)
 110         for tag in 'extra', 'motyw', 'pa', 'pe', 'pr', 'pt', 'ptrad', 'uwaga':
 111             for a in name_elem.findall('.//' + tag):
 112                 a.text=''
 113                 del a[:]
 114         name = etree.tostring(name_elem, method='text', encoding='utf-8').strip()
 115
 116         # in the original, remove everything from the start of the last chapter
 117         parent = element.getparent()
 118         del parent[parent.index(element):]
 119         element, parent = parent, parent.getparent()
 120         while parent is not None:
 121             del parent[parent.index(element) + 1:]
 122             element, parent = parent, parent.getparent()
 123
 124         # in the copy, remove everything before the last chapter
 125         element = copied.findall('.//naglowek_rozdzial')[-1]
 126         parent = element.getparent()
 127         while parent is not None:
 128             parent.text = None
 129             while parent[0] is not element:
 130                 del parent[0]
 131             element, parent = parent, parent.getparent()
 132         chunks[:0] = [[name,
 133             str(etree.tostring(copied, encoding='utf-8'), 'utf-8')
 134             ]]
 135
 136         parts = src.findall('.//naglowek_rozdzial')
 137
 138     chunks[:0] = [[u'początek',
 139         str(etree.tostring(src, encoding='utf-8'), 'utf-8')
 140         ]]
 141
 142     for ch in chunks[1:]:
 143         ch[1] = add_trim_begin(ch[1])
 144     for ch in chunks[:-1]:
 145         ch[1] = add_trim_end(ch[1])
 146
 147     return chunks