old python needs __main__ to call a module
[pylucene.git] / samples / LuceneInAction / lia / analysis / keyword / SimpleKeywordAnalyzer.py
1 # ====================================================================
2 #   Licensed under the Apache License, Version 2.0 (the "License");
3 #   you may not use this file except in compliance with the License.
4 #   You may obtain a copy of the License at
5 #
6 #       http://www.apache.org/licenses/LICENSE-2.0
7 #
8 #   Unless required by applicable law or agreed to in writing, software
9 #   distributed under the License is distributed on an "AS IS" BASIS,
10 #   WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
11 #   See the License for the specific language governing permissions and
12 #   limitations under the License.
13 # ====================================================================
14
15 #
16 # CharTokenizer limits token width to 255 characters, though.
17 # This implementation assumes keywords are 255 in length or less.
18 #
19
20 from lucene import PythonAnalyzer, PythonCharTokenizer
21
22
23 class SimpleKeywordAnalyzer(PythonAnalyzer):
24
25     def tokenStream(self, fieldName, reader):
26
27         class charTokenizer(PythonCharTokenizer):
28             def __init__(self, reader):
29                 super(charTokenizer, self).__init__(reader)
30             def isTokenChar(self, c):
31                 return True
32             def normalize(self, c):
33                 return c
34         
35         return charTokenizer(reader)