lucene-java-3.4.0/lucene/contrib/analyzers/common/src/java/org/apache/lucene/analysis/miscellaneous/StemmerOverrideFilter.java

   1 package org.apache.lucene.analysis.miscellaneous;
   2
   3 /**
   4  * Licensed to the Apache Software Foundation (ASF) under one or more
   5  * contributor license agreements.  See the NOTICE file distributed with
   6  * this work for additional information regarding copyright ownership.
   7  * The ASF licenses this file to You under the Apache License, Version 2.0
   8  * (the "License"); you may not use this file except in compliance with
   9  * the License.  You may obtain a copy of the License at
  10  *
  11  *     http://www.apache.org/licenses/LICENSE-2.0
  12  *
  13  * Unless required by applicable law or agreed to in writing, software
  14  * distributed under the License is distributed on an "AS IS" BASIS,
  15  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16  * See the License for the specific language governing permissions and
  17  * limitations under the License.
  18  */
  19
  20 import java.io.IOException;
  21 import java.util.Map;
  22
  23 import org.apache.lucene.analysis.CharArrayMap;
  24 import org.apache.lucene.analysis.TokenFilter;
  25 import org.apache.lucene.analysis.TokenStream;
  26 import org.apache.lucene.analysis.tokenattributes.KeywordAttribute;
  27 import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
  28 import org.apache.lucene.util.Version;
  29
  30 /**
  31  * Provides the ability to override any {@link KeywordAttribute} aware stemmer
  32  * with custom dictionary-based stemming.
  33  */
  34 public final class StemmerOverrideFilter extends TokenFilter {
  35   private final CharArrayMap<String> dictionary;
  36
  37   private final CharTermAttribute termAtt = addAttribute(CharTermAttribute.class);
  38   private final KeywordAttribute keywordAtt = addAttribute(KeywordAttribute.class);
  39
  40   /**
  41    * Create a new StemmerOverrideFilter, performing dictionary-based stemming
  42    * with the provided <code>dictionary</code>.
  43    * <p>
  44    * Any dictionary-stemmed terms will be marked with {@link KeywordAttribute}
  45    * so that they will not be stemmed with stemmers down the chain.
  46    * </p>
  47    */
  48   public StemmerOverrideFilter(Version matchVersion, TokenStream input,
  49       Map<?,String> dictionary) {
  50     super(input);
  51     this.dictionary = dictionary instanceof CharArrayMap ?
  52         (CharArrayMap<String>) dictionary : CharArrayMap.copy(matchVersion, dictionary);
  53   }
  54
  55   @Override
  56   public boolean incrementToken() throws IOException {
  57     if (input.incrementToken()) {
  58       if (!keywordAtt.isKeyword()) { // don't muck with already-keyworded terms
  59         String stem = dictionary.get(termAtt.buffer(), 0, termAtt.length());
  60         if (stem != null) {
  61           termAtt.setEmpty().append(stem);
  62           keywordAtt.setKeyword(true);
  63         }
  64       }
  65       return true;
  66     } else {
  67       return false;
  68     }
  69   }
  70 }