samples/LuceneInAction/lia/analysis/positional/PositionalPorterStopAnalyzer.py

   1 # ====================================================================
   2 #   Licensed under the Apache License, Version 2.0 (the "License");
   3 #   you may not use this file except in compliance with the License.
   4 #   You may obtain a copy of the License at
   5 #
   6 #       http://www.apache.org/licenses/LICENSE-2.0
   7 #
   8 #   Unless required by applicable law or agreed to in writing, software
   9 #   distributed under the License is distributed on an "AS IS" BASIS,
  10 #   WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  11 #   See the License for the specific language governing permissions and
  12 #   limitations under the License.
  13 # ====================================================================
  14
  15 import sys
  16
  17 from lucene import \
  18      LowerCaseTokenizer, PorterStemFilter, StopAnalyzer, StopFilter, \
  19      TokenStream, PythonAnalyzer
  20
  21 from lia.analysis.positional.PositionalStopFilter import PositionalStopFilter
  22
  23 python_ver = '%d.%d.%d' %(sys.version_info[0:3])
  24 if python_ver < '2.4':
  25     from sets import Set as set
  26
  27
  28 #
  29 # An Analyzer extension
  30 #
  31
  32 class PositionalPorterStopAnalyzer(PythonAnalyzer):
  33
  34     def __init__(self, stopWords=None):
  35
  36         super(PositionalPorterStopAnalyzer, self).__init__()
  37
  38         if stopWords is None:
  39             self.stopWords = StopAnalyzer.ENGLISH_STOP_WORDS_SET
  40         else:
  41             self.stopWords = set(stopWords)
  42
  43     def tokenStream(self, fieldName, reader):
  44
  45         stopFilter = StopFilter(True, LowerCaseTokenizer(reader),
  46                                 self.stopWords)
  47         stopFilter.setEnablePositionIncrements(True)
  48
  49         return PorterStemFilter(stopFilter)