samples/LuceneInAction/lia/analysis/positional/PositionalStopFilter.py

   1 # ====================================================================
   2 #   Licensed under the Apache License, Version 2.0 (the "License");
   3 #   you may not use this file except in compliance with the License.
   4 #   You may obtain a copy of the License at
   5 #
   6 #       http://www.apache.org/licenses/LICENSE-2.0
   7 #
   8 #   Unless required by applicable law or agreed to in writing, software
   9 #   distributed under the License is distributed on an "AS IS" BASIS,
  10 #   WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  11 #   See the License for the specific language governing permissions and
  12 #   limitations under the License.
  13 # ====================================================================
  14
  15 from lucene import PythonTokenFilter
  16
  17 #
  18 # A TokenFilter extension
  19 #
  20
  21 class PositionalStopFilter(PythonTokenFilter):
  22
  23     def __init__(self, tokenStream, stopWords):
  24
  25         super(PositionalStopFilter, self).__init__(tokenStream)
  26
  27         self.input = tokenStream
  28         self.stopWords = stopWords
  29
  30     def next(self):
  31
  32         increment = 0
  33
  34         for token in self.input:
  35             if not token.termText() in self.stopWords:
  36                 token.setPositionIncrement(token.getPositionIncrement() +
  37                                            increment)
  38                 return token
  39
  40             increment += 1
  41
  42         return None