old python needs __main__ to call a module
[pylucene.git] / samples / LuceneInAction / lia / analysis / keyword / KeywordAnalyzer.py
1 # ====================================================================
2 #   Licensed under the Apache License, Version 2.0 (the "License");
3 #   you may not use this file except in compliance with the License.
4 #   You may obtain a copy of the License at
5 #
6 #       http://www.apache.org/licenses/LICENSE-2.0
7 #
8 #   Unless required by applicable law or agreed to in writing, software
9 #   distributed under the License is distributed on an "AS IS" BASIS,
10 #   WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
11 #   See the License for the specific language governing permissions and
12 #   limitations under the License.
13 # ====================================================================
14
15 from lucene import Token, PythonAnalyzer, PythonTokenStream, JArray
16
17 #
18 # "Tokenizes" the entire stream as a single token.
19 #
20
21 class KeywordAnalyzer(PythonAnalyzer):
22     
23     def tokenStream(self, fieldName, reader):
24
25         class _tokenStream(PythonTokenStream):
26
27             def __init__(self):
28                 super(_tokenStream, self).__init__()
29                 self.done = False
30       
31             def next(self):
32                 if not self.done:
33                     self.done = True
34                     text = JArray('char')(1024)
35                     size = reader.read(text, 0, 1024)
36                     return Token(text, 0, size, 0, size)
37                 return None
38
39         return _tokenStream()