lucene-java-3.4.0/lucene/contrib/highlighter/src/java/org/apache/lucene/search/highlight/Fragmenter.java

   1 package org.apache.lucene.search.highlight;
   2 /**
   3  * Licensed to the Apache Software Foundation (ASF) under one or more
   4  * contributor license agreements.  See the NOTICE file distributed with
   5  * this work for additional information regarding copyright ownership.
   6  * The ASF licenses this file to You under the Apache License, Version 2.0
   7  * (the "License"); you may not use this file except in compliance with
   8  * the License.  You may obtain a copy of the License at
   9  *
  10  *     http://www.apache.org/licenses/LICENSE-2.0
  11  *
  12  * Unless required by applicable law or agreed to in writing, software
  13  * distributed under the License is distributed on an "AS IS" BASIS,
  14  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  15  * See the License for the specific language governing permissions and
  16  * limitations under the License.
  17  */
  18
  19 import org.apache.lucene.analysis.TokenStream;
  20
  21 /**
  22  * Implements the policy for breaking text into multiple fragments for
  23  * consideration by the {@link Highlighter} class. A sophisticated
  24  * implementation may do this on the basis of detecting end of sentences in the
  25  * text.
  26  */
  27 public interface Fragmenter {
  28
  29   /**
  30    * Initializes the Fragmenter. You can grab references to the Attributes you are
  31    * interested in from tokenStream and then access the values in {@link #isNewFragment()}.
  32    *
  33    * @param originalText the original source text
  34    * @param tokenStream the {@link TokenStream} to be fragmented
  35    */
  36   public void start(String originalText, TokenStream tokenStream);
  37
  38
  39   /**
  40    * Test to see if this token from the stream should be held in a new
  41    * TextFragment. Every time this is called, the TokenStream
  42    * passed to start(String, TokenStream) will have been incremented.
  43    *
  44    */
  45   public boolean isNewFragment();
  46 }