java/org/apache/pylucene/analysis/PythonTokenizer.java

   1 /* ====================================================================
   2  *   Licensed under the Apache License, Version 2.0 (the "License");
   3  *   you may not use this file except in compliance with the License.
   4  *   You may obtain a copy of the License at
   5  *
   6  *       http://www.apache.org/licenses/LICENSE-2.0
   7  *
   8  *   Unless required by applicable law or agreed to in writing, software
   9  *   distributed under the License is distributed on an "AS IS" BASIS,
  10  *   WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  11  *   See the License for the specific language governing permissions and
  12  *   limitations under the License.
  13  * ====================================================================
  14  */
  15
  16 package org.apache.pylucene.analysis;
  17
  18 import org.apache.lucene.analysis.Tokenizer;
  19 import org.apache.lucene.analysis.Token;
  20 import java.io.IOException;
  21 import java.io.Reader;
  22
  23
  24 public class PythonTokenizer extends Tokenizer {
  25
  26     private long pythonObject;
  27
  28     public PythonTokenizer(Reader reader)
  29     {
  30         super(reader);
  31     }
  32
  33     public void pythonExtension(long pythonObject)
  34     {
  35         this.pythonObject = pythonObject;
  36     }
  37     public long pythonExtension()
  38     {
  39         return this.pythonObject;
  40     }
  41
  42     public void finalize()
  43         throws Throwable
  44     {
  45         pythonDecRef();
  46     }
  47
  48     public native void pythonDecRef();
  49
  50     public native boolean incrementToken()
  51         throws IOException;
  52 }