samples/LuceneInAction/lia/analysis/stopanalyzer/StopAnalyzerFlawed.py

   1 # ====================================================================
   2 #   Licensed under the Apache License, Version 2.0 (the "License");
   3 #   you may not use this file except in compliance with the License.
   4 #   You may obtain a copy of the License at
   5 #
   6 #       http://www.apache.org/licenses/LICENSE-2.0
   7 #
   8 #   Unless required by applicable law or agreed to in writing, software
   9 #   distributed under the License is distributed on an "AS IS" BASIS,
  10 #   WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  11 #   See the License for the specific language governing permissions and
  12 #   limitations under the License.
  13 # ====================================================================
  14
  15 from lucene import \
  16      LetterTokenizer, LowerCaseFilter, StopAnalyzer, StopFilter
  17
  18 #
  19 # An Analyzer extension
  20 #
  21 # Stop words actually not necessarily removed due to filtering order
  22 #
  23
  24 class StopAnalyzerFlawed(object):
  25
  26     def __init__(self, stopWords=None):
  27
  28         if stopWords is None:
  29             self.stopWords = StopAnalyzer.ENGLISH_STOP_WORDS_SET
  30         else:
  31             self.stopWords = stopWords
  32
  33     #
  34     # Ordering mistake here
  35     #
  36
  37     def tokenStream(self, fieldName, reader):
  38
  39         return LowerCaseFilter(StopFilter(True, LetterTokenizer(reader),
  40                                           self.stopWords))