java/org/apache/pylucene/analysis/PythonCharTokenizer.java

   1 /* ====================================================================
   2  *   Licensed under the Apache License, Version 2.0 (the "License");
   3  *   you may not use this file except in compliance with the License.
   4  *   You may obtain a copy of the License at
   5  *
   6  *       http://www.apache.org/licenses/LICENSE-2.0
   7  *
   8  *   Unless required by applicable law or agreed to in writing, software
   9  *   distributed under the License is distributed on an "AS IS" BASIS,
  10  *   WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  11  *   See the License for the specific language governing permissions and
  12  *   limitations under the License.
  13  * ====================================================================
  14  */
  15
  16 package org.apache.pylucene.analysis;
  17
  18 import org.apache.lucene.analysis.CharTokenizer;
  19 import java.io.IOException;
  20 import java.io.Reader;
  21
  22
  23 public class PythonCharTokenizer extends CharTokenizer {
  24
  25     private long pythonObject;
  26
  27     public PythonCharTokenizer(Reader reader)
  28     {
  29         super(reader);
  30     }
  31
  32     public void pythonExtension(long pythonObject)
  33     {
  34         this.pythonObject = pythonObject;
  35     }
  36     public long pythonExtension()
  37     {
  38         return this.pythonObject;
  39     }
  40
  41     public void finalize()
  42         throws Throwable
  43     {
  44         pythonDecRef();
  45     }
  46
  47     public native void pythonDecRef();
  48     public native boolean isTokenChar(char c);
  49     public native char normalize(char c);
  50 }