samples/LuceneInAction/lia/analysis/synonym/SynonymAnalyzer.py

   1 # ====================================================================
   2 #   Licensed under the Apache License, Version 2.0 (the "License");
   3 #   you may not use this file except in compliance with the License.
   4 #   You may obtain a copy of the License at
   5 #
   6 #       http://www.apache.org/licenses/LICENSE-2.0
   7 #
   8 #   Unless required by applicable law or agreed to in writing, software
   9 #   distributed under the License is distributed on an "AS IS" BASIS,
  10 #   WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  11 #   See the License for the specific language governing permissions and
  12 #   limitations under the License.
  13 # ====================================================================
  14
  15 from lucene import \
  16      LowerCaseFilter, StopFilter, Version, \
  17      StandardAnalyzer, StandardTokenizer, StandardFilter, PythonAnalyzer
  18
  19 from lia.analysis.synonym.SynonymFilter import SynonymFilter
  20
  21 #
  22 # An Analyzer extension
  23 #
  24
  25 class SynonymAnalyzer(PythonAnalyzer):
  26
  27     def __init__(self, engine):
  28
  29         super(SynonymAnalyzer, self).__init__()
  30         self.engine = engine
  31
  32     def tokenStream(self, fieldName, reader):
  33
  34         tokenStream = LowerCaseFilter(StandardFilter(StandardTokenizer(Version.LUCENE_CURRENT, reader)))
  35         tokenStream = StopFilter(True, tokenStream,
  36                                  StandardAnalyzer.STOP_WORDS_SET)
  37
  38         return SynonymFilter(tokenStream, self.engine)