samples/LuceneInAction/lia/analysis/stopanalyzer/StopAnalyzerAlternativeTest.py

   1 # ====================================================================
   2 #   Licensed under the Apache License, Version 2.0 (the "License");
   3 #   you may not use this file except in compliance with the License.
   4 #   You may obtain a copy of the License at
   5 #
   6 #       http://www.apache.org/licenses/LICENSE-2.0
   7 #
   8 #   Unless required by applicable law or agreed to in writing, software
   9 #   distributed under the License is distributed on an "AS IS" BASIS,
  10 #   WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  11 #   See the License for the specific language governing permissions and
  12 #   limitations under the License.
  13 # ====================================================================
  14
  15 from unittest import TestCase
  16 from lucene import StopAnalyzer
  17
  18 from lia.analysis.AnalyzerUtils import AnalyzerUtils
  19 from lia.analysis.stopanalyzer.StopAnalyzerFlawed import StopAnalyzerFlawed
  20 from lia.analysis.stopanalyzer.StopAnalyzer2 import StopAnalyzer2
  21
  22
  23 class StopAnalyzerAlternativeTest(TestCase):
  24
  25     def testStopAnalyzer2(self):
  26
  27         AnalyzerUtils.assertAnalyzesTo(StopAnalyzer2(),
  28                                        "The quick brown...",
  29                                        ["quick", "brown"])
  30
  31     def testStopAnalyzerFlawed(self):
  32
  33         AnalyzerUtils.assertAnalyzesTo(StopAnalyzerFlawed(),
  34                                        "The quick brown...",
  35                                        ["the", "quick", "brown"])
  36
  37
  38     #
  39     # Illustrates that "the" is not removed, although it is lowercased
  40     #
  41
  42     def main(cls):
  43
  44         AnalyzerUtils.displayTokens(StopAnalyzerFlawed(),
  45                                     "The quick brown...")
  46
  47     main = classmethod(main)