samples/LuceneInAction/lia/analysis/keyword/KeywordAnalyzer.py

   1 # ====================================================================
   2 #   Licensed under the Apache License, Version 2.0 (the "License");
   3 #   you may not use this file except in compliance with the License.
   4 #   You may obtain a copy of the License at
   5 #
   6 #       http://www.apache.org/licenses/LICENSE-2.0
   7 #
   8 #   Unless required by applicable law or agreed to in writing, software
   9 #   distributed under the License is distributed on an "AS IS" BASIS,
  10 #   WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  11 #   See the License for the specific language governing permissions and
  12 #   limitations under the License.
  13 # ====================================================================
  14
  15 from lucene import Token, PythonAnalyzer, PythonTokenStream, JArray
  16
  17 #
  18 # "Tokenizes" the entire stream as a single token.
  19 #
  20
  21 class KeywordAnalyzer(PythonAnalyzer):
  22
  23     def tokenStream(self, fieldName, reader):
  24
  25         class _tokenStream(PythonTokenStream):
  26
  27             def __init__(self):
  28                 super(_tokenStream, self).__init__()
  29                 self.done = False
  30
  31             def next(self):
  32                 if not self.done:
  33                     self.done = True
  34                     text = JArray('char')(1024)
  35                     size = reader.read(text, 0, 1024)
  36                     return Token(text, 0, size, 0, size)
  37                 return None
  38
  39         return _tokenStream()