PyLucene 3.4.0-1 import
[pylucene.git] / lucene-java-3.4.0 / lucene / contrib / icu / src / data / uax29 / Lao.rbbi
1 #\r
2 # Licensed to the Apache Software Foundation (ASF) under one or more\r
3 # contributor license agreements.  See the NOTICE file distributed with\r
4 # this work for additional information regarding copyright ownership.\r
5 # The ASF licenses this file to You under the Apache License, Version 2.0\r
6 # (the "License"); you may not use this file except in compliance with\r
7 # the License.  You may obtain a copy of the License at\r
8 #\r
9 #     http://www.apache.org/licenses/LICENSE-2.0\r
10 #\r
11 # Unless required by applicable law or agreed to in writing, software\r
12 # distributed under the License is distributed on an "AS IS" BASIS,\r
13 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.\r
14 # See the License for the specific language governing permissions and\r
15 # limitations under the License.\r
16 #\r
17 # Parses Lao text, with syllable as token.\r
18 #\r
19 # The definition of Lao syllable is based from:\r
20 #\r
21 #   Syllabification of Lao Script for Line Breaking\r
22 #   Phonpasit Phissamay, Valaxay Dalolay, Chitaphone Chanhsililath, Oulaiphone Silimasak, \r
23 #     Sarmad Hussain, Nadir Durrani, Science Technology and Environment Agency, CRULP\r
24 #   http://www.panl10n.net/english/final%20reports/pdf%20files/Laos/LAO06.pdf\r
25 #       http://www.panl10n.net/Presentations/Cambodia/Phonpassit/LineBreakingAlgo.pdf\r
26 #\r
27 # NOTE:\r
28 # There are some ambiguities in Lao syllabification without additional processing, as mentioned in the paper.\r
29 # For this reason, this RBBI grammar really only works with LaoBreakIterator, as it does this additional work.\r
30 #\r
31 # Syllable structure, where X is the nuclear consonant:\r
32 #\r
33 #           +----+\r
34 #           | X5 |\r
35 #           +----+\r
36 #           | X4 |\r
37 # +----+----+----+----+----+----+----+-----+\r
38 # | X0 | X1 | X  | X6 | X7 | X8 | X9 | X10 |\r
39 # +----+----+----+----+----+----+----+-----+\r
40 #           | X2 |\r
41 #           +----+\r
42 #           | X3 |\r
43 #           +----+\r
44 #\r
45 # X0 represents a vowel which occurs before the nuclear consonant. \r
46 # It can always define the beginning of syllable.\r
47 $X0 = [\u0EC0-\u0EC4];\r
48 # X1 is a combination consonant which comes before the nuclear consonant, \r
49 # but only if nuclear consonant is one of {ງ ຍ ລ ວ ຼ ມ ນ ຣ}\r
50 $X1 = [\u0EAB];\r
51 # X represents the nuclear consonant.\r
52 $X = [\u0E81-\u0EAE\u0EDC\u0EDD];\r
53 # X2 is a combination consonant which comes after the nuclear consonant, \r
54 # which is placed under or next to the nuclear consonant.\r
55 $X2 = [\u0EBC\u0EA3\u0EA7\u0EA5];\r
56 # X3 represents a vowel which occurs under the nuclear consonant.\r
57 $X3 = [\u0EB8\u0EB9];\r
58 # X4 represents a vowel which occurs above the nuclear consonant. \r
59 $X4 = [\u0EB4-\u0EB7\u0ECD\u0EBB\u0EB1];\r
60 # X5 represents a tone mark which occurs above the nuclear consonant or upper vowel.\r
61 $X5 = [\u0EC8-\u0ECB];\r
62 # X6 represents a consonant vowel, which occurs after the nuclear consonant. \r
63 # It functions when the syllable doesn’t have any vowels. And it always exists with X8.\r
64 $X6 = [\u0EA7\u0EAD\u0EBD];\r
65 # X7 represents a final vowel. \r
66 # However X7_1 always represents the end of syllable and it never exists with tone mark.\r
67 $X7 = [\u0EB0\u0EB2\u0EB3];\r
68 # X8 represents an alternate consonant.\r
69 $X8 = [\u0E81\u0E87\u0E8D\u0E94\u0E99\u0EA1\u0E9A\u0EA7];\r
70 # X9 represents alternate consonants to pronounce foreign terms, it always exist with X10_3.\r
71 $X9 = [\u0E88\u0EAA\u0E8A\u0E9E\u0E9F\u0EA5];\r
72 # X10 represents a sign mark. \r
73 # It always occurs at the end of a syllable, but mostly people keep it separate from syllable.\r
74 $X10 = [\u0EAF\u0EC6\u0ECC];\r
75 \r
76 # Section 1\r
77 $X0_1 = [\u0EC0];\r
78 $X4_1_2 = [\u0EB4\u0EB5];\r
79 $X4_3_4 = [\u0EB6\u0EB7];\r
80 $X4_6 = [\u0EBB];\r
81 $X4_7 = [\u0EB1];\r
82 $X6_2 = [\u0EAD];\r
83 $X6_3 = [\u0EBD];\r
84 $X7_1 = [\u0EB0];\r
85 $X7_2 = [\u0EB2];\r
86 $X10_1 = [\u0EAF];\r
87 $X10_2 = [\u0EC6];\r
88 $X10_3 = [\u0ECC];\r
89 \r
90 $Rule1_1 = $X0_1 ($X1)? $X ($X2)? ($X5)? ($X8)? ($X9 $X10_3)? ($X10_2)? ($X10_1)?;\r
91 $Rule1_2 = $X0_1 ($X1)? $X ($X2)? $X4_1_2 ($X5)? ($X8)? ($X9 $X10_3)? ($X10_2)? ($X10_1)?;\r
92 $Rule1_3 = $X0_1 ($X1)? $X ($X2)? $X4_3_4 ($X5)? $X6_2 ($X8)? ($X9 $X10_3)? ($X10_2)? ($X10_1)?;\r
93 $Rule1_4 = $X0_1 ($X1)? $X ($X2)? ($X7_2)? $X7_1;\r
94 $Rule1_5 = $X0_1 ($X1)? $X ($X2)? $X4_6 ($X5)? $X7_2 ($X9 $X10_3)? ($X10_2)? ($X10_1)?;\r
95 $Rule1_6 = $X0_1 ($X1)? $X ($X2)? $X4_7 ($X5)? $X8 ($X9 $X10_3)? ($X10_2)? ($X10_1)?;\r
96 $Rule1_7 = $X0_1 ($X1)? $X ($X2)? ($X4_7)? ($X5)? $X6_3 ($X9 $X10_3)? ($X10_2)? ($X10_1)?;\r
97 \r
98 $Rule1 = ($Rule1_1 | $Rule1_2 | $Rule1_3 | $Rule1_4 | $Rule1_5 | $Rule1_6 | $Rule1_7);\r
99 \r
100 # Section 2\r
101 $X0_2 = [\u0EC1];\r
102 \r
103 $Rule2_1 = $X0_2 ($X1)? $X ($X2)? ($X5)? ($X6)? ($X8)? ($X9 $X10_3)? ($X10_2)? ($X10_1)?;\r
104 $Rule2_2 = $X0_2 ($X1)? $X ($X2)? $X7_1;\r
105 $Rule2_3 = $X0_2 ($X1)? $X ($X2)? $X4_7 ($X5)? $X8 ($X9 $X10_3)? ($X10_2)? ($X10_1)?; \r
106 \r
107 $Rule2 = ($Rule2_1 | $Rule2_2 | $Rule2_3);\r
108 \r
109 # Section 3\r
110 $X0_3 = [\u0EC2];\r
111 $X8_3 = [\u0E8D];\r
112 $X8_8 = [\u0EA7];\r
113 \r
114 $Rule3_1 = $X0_3 ($X1)? $X ($X2)? ($X5)? ($X8)? ($X9 $X10_3)? ($X10_2)? ($X10_1)?;\r
115 $Rule3_2 = $X0_3 ($X1)? $X ($X2)? $X7_1;\r
116 $Rule3_3 = $X0_3 ($X1)? $X ($X2)? $X4_7 ($X5)? ($X8_3 | $X8_8);\r
117 \r
118 $Rule3 = ($Rule3_1 | $Rule3_2 | $Rule3_3);\r
119 \r
120 # Section 4\r
121 $X0_4 = [\u0EC4];\r
122 $X6_1 = [\u0EA7];\r
123 \r
124 $Rule4 = $X0_4 ($X1)? $X ($X2)? ($X5)? ($X6_1)? ($X9 $X10_3)? ($X10_2)? ($X10_1)?;\r
125 \r
126 # Section 5\r
127 $X0_5 = [\u0EC3];\r
128 \r
129 $Rule5 = $X0_5 ($X1)? $X ($X2)? ($X5)? ($X6_1)? ($X9 $X10_3)? ($X10_2)? ($X10_1)?;\r
130 \r
131 # Section 6\r
132 $Rule6 = ($X1)? $X ($X2)? $X3 ($X5)? ($X8)? ($X9 $X10_3)? ($X10_2)? ($X10_1)?;\r
133 \r
134 # Section 7\r
135 $X4_1_4 = [\u0EB4-\u0EB7];\r
136 \r
137 $Rule7 = ($X1)? $X ($X2)? $X4_1_4 ($X5)? ($X8)? ($X9 $X10_3)? ($X10_2)? ($X10_1)?;\r
138 \r
139 # Section 8\r
140 $X4_5 = [\u0ECD];\r
141 \r
142 $Rule8 = ($X1)? $X ($X2)? $X4_5 ($X5)? ($X7_2)? ($X9 $X10_3)? ($X10_2)? ($X10_1)?;\r
143 \r
144 # Section 9\r
145 \r
146 $Rule9_1 = ($X1)? $X ($X2)? $X4_6 ($X5)? $X8 ($X9 $X10_3)? ($X10_2)? ($X10_1)?;\r
147 $Rule9_2 = ($X1)? $X ($X2)? $X4_6 ($X5)? $X6_1 $X7_1;\r
148 \r
149 $Rule9 = ($Rule9_1 | $Rule9_2);\r
150 \r
151 # Section 10\r
152 $Rule10 = ($X1)? $X ($X2)? $X4_7 ($X5)? ($X6_1)? $X8 ($X9 $X10_3)? ($X10_2)? ($X10_1)?;\r
153 \r
154 # Section 11\r
155 $Rule11 = ($X1)? $X ($X2)? ($X5)? $X6 $X8 ($X9 $X10_3)? ($X10_2)? ($X10_1)?;\r
156 \r
157 # Section 12\r
158 $Rule12 = ($X1)? $X ($X2)? ($X5)? $X7_1;\r
159 \r
160 # Section 13\r
161 $Rule13 = ($X1)? $X ($X2)? ($X5)? $X7_2 ($X8)? ($X9 $X10_3)? ($X10_2)? ($X10_1)?;\r
162 \r
163 # Section 14\r
164 $X7_3 = [\u0EB3];\r
165 \r
166 $Rule14 = ($X1)? $X ($X2)? ($X5)? $X7_3 ($X9 $X10_3)? ($X10_2)? ($X10_1)?;\r
167 \r
168 $LaoSyllableEx = ($Rule1 | $Rule2 | $Rule3 | $Rule4 | $Rule5 | $Rule6 | $Rule7 | $Rule8 | $Rule9 | $Rule10 | $Rule11 | $Rule12 | $Rule13 | $Rule14);\r
169 \r
170 $WordJoin = [:Line_Break=Word_Joiner:];\r
171 \r
172 $LaoJoinedSyllableEx = $LaoSyllableEx ($WordJoin $LaoSyllableEx)*;\r
173 \r
174 #\r
175 # default numerical definitions\r
176 #\r
177 $Extend       = [\p{Word_Break = Extend}];\r
178 $Format       = [\p{Word_Break = Format}];\r
179 $MidNumLet    = [\p{Word_Break = MidNumLet}];\r
180 $MidNum       = [\p{Word_Break = MidNum}];\r
181 $Numeric      = [\p{Word_Break = Numeric}];\r
182 $ExtendNumLet = [\p{Word_Break = ExtendNumLet}];                                                          \r
183 $MidNumLetEx    = $MidNumLet    ($Extend |  $Format)*;\r
184 $MidNumEx       = $MidNum       ($Extend |  $Format)*;\r
185 $NumericEx      = $Numeric      ($Extend |  $Format)*;\r
186 $ExtendNumLetEx = $ExtendNumLet ($Extend |  $Format)*;\r
187 \r
188 !!forward;\r
189 \r
190 $LaoJoinedSyllableEx {200};\r
191 # default numeric rules\r
192 $NumericEx $ExtendNumLetEx? (($MidNumEx | $MidNumLetEx)? $NumericEx $ExtendNumLetEx?)*  {100};\r