+#!/usr/bin/env python3
+"""
+Tworzy wersję słownika hunspell bez polskich znaków dla PostgreSQL (szablon ispell).
+
+Użycie:
+ fold_hunspell.py polish.dict polish.affix polish_ascii.dict polish_ascii.affix
+
+Pliki wejściowe muszą być w UTF-8 (po iconv z ISO-8859-2).
+
+Samo usunięcie znaków psuje warunki reguł z klasami negowanymi: np.
+`SFX H ć ło [^ąeśź]ć` (wszystko poza ą, e, ś, ź przed ć) po zamianie
+stałoby się `[^aesz]c` i przestało pasować do czasowników na -ać.
+Dlatego litera zostaje w klasie negowanej tylko wtedy, gdy oryginał
+wykluczał wszystkie litery, które się na nią składają; w przeciwnym
+razie jest usuwana, a pusta klasa zamienia się w `.`. Reguły stają się
+przez to nieco zbyt liberalne (nadmiarowe formy), ale żadna forma nie ginie.
+"""
+import re
+import sys
+import unicodedata
+
+
+def fold(text):
+ text = text.replace('ł', 'l').replace('Ł', 'L')
+ return ''.join(
+ c for c in unicodedata.normalize('NFKD', text)
+ if not unicodedata.combining(c)
+ )
+
+
+LETTERS = 'aąbcćdeęfghijklłmnńoóprsśtuvwxyzźż'
+GROUPS = {}
+for letter in LETTERS:
+ GROUPS.setdefault(fold(letter), set()).add(letter)
+
+
+def fold_negated_class(match):
+ excluded = set(match.group(1))
+ keep = []
+ for c in match.group(1):
+ folded = fold(c)
+ if GROUPS.get(folded, {c}) <= excluded and folded not in keep:
+ keep.append(folded)
+ return '[^' + ''.join(keep) + ']' if keep else '.'
+
+
+def fold_affix_line(line):
+ parts = line.split()
+ if len(parts) >= 5 and parts[0] in ('SFX', 'PFX') and '[^' in parts[4]:
+ condition = re.sub(r'\[\^([^\]]*)\]', fold_negated_class, parts[4])
+ line = line.replace(parts[4], condition, 1)
+ if line.startswith('SET '):
+ return 'SET UTF-8\n'
+ return fold(line)
+
+
+def main(dict_in, affix_in, dict_out, affix_out):
+ with open(dict_in, encoding='utf-8') as src, open(dict_out, 'w', encoding='utf-8') as dst:
+ dst.write(fold(src.read()))
+ with open(affix_in, encoding='utf-8') as src, open(affix_out, 'w', encoding='utf-8') as dst:
+ for line in src:
+ dst.write(fold_affix_line(line))
+
+
+if __name__ == '__main__':
+ main(*sys.argv[1:5])
fnp / wolnelektury.git / commitdiff