lucene-java-3.4.0/lucene/src/java/org/apache/lucene/analysis/LimitTokenCountFilter.java

   1 package org.apache.lucene.analysis;
   2
   3 /**
   4  * Licensed to the Apache Software Foundation (ASF) under one or more
   5  * contributor license agreements.  See the NOTICE file distributed with
   6  * this work for additional information regarding copyright ownership.
   7  * The ASF licenses this file to You under the Apache License, Version 2.0
   8  * (the "License"); you may not use this file except in compliance with
   9  * the License.  You may obtain a copy of the License at
  10  *
  11  *     http://www.apache.org/licenses/LICENSE-2.0
  12  *
  13  * Unless required by applicable law or agreed to in writing, software
  14  * distributed under the License is distributed on an "AS IS" BASIS,
  15  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16  * See the License for the specific language governing permissions and
  17  * limitations under the License.
  18  */
  19
  20 import java.io.IOException;
  21
  22 /**
  23  * This TokenFilter limits the number of tokens while indexing. It is
  24  * a replacement for the maximum field length setting inside {@link org.apache.lucene.index.IndexWriter}.
  25  */
  26 public final class LimitTokenCountFilter extends TokenFilter {
  27
  28   private final int maxTokenCount;
  29   private int tokenCount = 0;
  30
  31   /**
  32    * Build a filter that only accepts tokens up to a maximum number.
  33    */
  34   public LimitTokenCountFilter(TokenStream in, int maxTokenCount) {
  35     super(in);
  36     this.maxTokenCount = maxTokenCount;
  37   }
  38
  39   @Override
  40   public boolean incrementToken() throws IOException {
  41     if (tokenCount < maxTokenCount && input.incrementToken()) {
  42       tokenCount++;
  43       return true;
  44     }
  45     return false;
  46   }
  47
  48   @Override
  49   public void reset() throws IOException {
  50     super.reset();
  51     tokenCount = 0;
  52   }
  53 }