old python needs __main__ to call a module
[pylucene.git] / samples / LuceneInAction / lia / analysis / positional / PositionalPorterStopAnalyzer.py
1 # ====================================================================
2 #   Licensed under the Apache License, Version 2.0 (the "License");
3 #   you may not use this file except in compliance with the License.
4 #   You may obtain a copy of the License at
5 #
6 #       http://www.apache.org/licenses/LICENSE-2.0
7 #
8 #   Unless required by applicable law or agreed to in writing, software
9 #   distributed under the License is distributed on an "AS IS" BASIS,
10 #   WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
11 #   See the License for the specific language governing permissions and
12 #   limitations under the License.
13 # ====================================================================
14
15 import sys
16
17 from lucene import \
18      LowerCaseTokenizer, PorterStemFilter, StopAnalyzer, StopFilter, \
19      TokenStream, PythonAnalyzer
20
21 from lia.analysis.positional.PositionalStopFilter import PositionalStopFilter
22
23 python_ver = '%d.%d.%d' %(sys.version_info[0:3])
24 if python_ver < '2.4':
25     from sets import Set as set
26
27
28 #
29 # An Analyzer extension
30 #
31
32 class PositionalPorterStopAnalyzer(PythonAnalyzer):
33
34     def __init__(self, stopWords=None):
35
36         super(PositionalPorterStopAnalyzer, self).__init__()
37
38         if stopWords is None:
39             self.stopWords = StopAnalyzer.ENGLISH_STOP_WORDS_SET
40         else:
41             self.stopWords = set(stopWords)
42
43     def tokenStream(self, fieldName, reader):
44
45         stopFilter = StopFilter(True, LowerCaseTokenizer(reader),
46                                 self.stopWords)
47         stopFilter.setEnablePositionIncrements(True)
48
49         return PorterStemFilter(stopFilter)