lucene-java-3.5.0/lucene/src/test/org/apache/lucene/analysis/TestISOLatin1AccentFilter.java

   1 package org.apache.lucene.analysis;
   2
   3 /**
   4  * Licensed to the Apache Software Foundation (ASF) under one or more
   5  * contributor license agreements.  See the NOTICE file distributed with
   6  * this work for additional information regarding copyright ownership.
   7  * The ASF licenses this file to You under the Apache License, Version 2.0
   8  * (the "License"); you may not use this file except in compliance with
   9  * the License.  You may obtain a copy of the License at
  10  *
  11  *     http://www.apache.org/licenses/LICENSE-2.0
  12  *
  13  * Unless required by applicable law or agreed to in writing, software
  14  * distributed under the License is distributed on an "AS IS" BASIS,
  15  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16  * See the License for the specific language governing permissions and
  17  * limitations under the License.
  18  */
  19
  20 import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
  21 import java.io.StringReader;
  22
  23 public class TestISOLatin1AccentFilter extends BaseTokenStreamTestCase {
  24   public void testU() throws Exception {
  25     TokenStream stream = new WhitespaceTokenizer(TEST_VERSION_CURRENT, new StringReader("Des mot clés À LA CHAÎNE À Á Â Ã Ä Å Æ Ç È É Ê Ë Ì Í Î Ï Ĳ Ð Ñ Ò Ó Ô Õ Ö Ø Œ Þ Ù Ú Û Ü Ý Ÿ à á â ã ä å æ ç è é ê ë ì í î ï ĳ ð ñ ò ó ô õ ö ø œ ß þ ù ú û ü ý ÿ ﬁ ﬂ"));
  26     ISOLatin1AccentFilter filter = new ISOLatin1AccentFilter(stream);
  27     CharTermAttribute termAtt = filter.getAttribute(CharTermAttribute.class);
  28     assertTermEquals("Des", filter, termAtt);
  29     assertTermEquals("mot", filter, termAtt);
  30     assertTermEquals("cles", filter, termAtt);
  31     assertTermEquals("A", filter, termAtt);
  32     assertTermEquals("LA", filter, termAtt);
  33     assertTermEquals("CHAINE", filter, termAtt);
  34     assertTermEquals("A", filter, termAtt);
  35     assertTermEquals("A", filter, termAtt);
  36     assertTermEquals("A", filter, termAtt);
  37     assertTermEquals("A", filter, termAtt);
  38     assertTermEquals("A", filter, termAtt);
  39     assertTermEquals("A", filter, termAtt);
  40     assertTermEquals("AE", filter, termAtt);
  41     assertTermEquals("C", filter, termAtt);
  42     assertTermEquals("E", filter, termAtt);
  43     assertTermEquals("E", filter, termAtt);
  44     assertTermEquals("E", filter, termAtt);
  45     assertTermEquals("E", filter, termAtt);
  46     assertTermEquals("I", filter, termAtt);
  47     assertTermEquals("I", filter, termAtt);
  48     assertTermEquals("I", filter, termAtt);
  49     assertTermEquals("I", filter, termAtt);
  50     assertTermEquals("IJ", filter, termAtt);
  51     assertTermEquals("D", filter, termAtt);
  52     assertTermEquals("N", filter, termAtt);
  53     assertTermEquals("O", filter, termAtt);
  54     assertTermEquals("O", filter, termAtt);
  55     assertTermEquals("O", filter, termAtt);
  56     assertTermEquals("O", filter, termAtt);
  57     assertTermEquals("O", filter, termAtt);
  58     assertTermEquals("O", filter, termAtt);
  59     assertTermEquals("OE", filter, termAtt);
  60     assertTermEquals("TH", filter, termAtt);
  61     assertTermEquals("U", filter, termAtt);
  62     assertTermEquals("U", filter, termAtt);
  63     assertTermEquals("U", filter, termAtt);
  64     assertTermEquals("U", filter, termAtt);
  65     assertTermEquals("Y", filter, termAtt);
  66     assertTermEquals("Y", filter, termAtt);
  67     assertTermEquals("a", filter, termAtt);
  68     assertTermEquals("a", filter, termAtt);
  69     assertTermEquals("a", filter, termAtt);
  70     assertTermEquals("a", filter, termAtt);
  71     assertTermEquals("a", filter, termAtt);
  72     assertTermEquals("a", filter, termAtt);
  73     assertTermEquals("ae", filter, termAtt);
  74     assertTermEquals("c", filter, termAtt);
  75     assertTermEquals("e", filter, termAtt);
  76     assertTermEquals("e", filter, termAtt);
  77     assertTermEquals("e", filter, termAtt);
  78     assertTermEquals("e", filter, termAtt);
  79     assertTermEquals("i", filter, termAtt);
  80     assertTermEquals("i", filter, termAtt);
  81     assertTermEquals("i", filter, termAtt);
  82     assertTermEquals("i", filter, termAtt);
  83     assertTermEquals("ij", filter, termAtt);
  84     assertTermEquals("d", filter, termAtt);
  85     assertTermEquals("n", filter, termAtt);
  86     assertTermEquals("o", filter, termAtt);
  87     assertTermEquals("o", filter, termAtt);
  88     assertTermEquals("o", filter, termAtt);
  89     assertTermEquals("o", filter, termAtt);
  90     assertTermEquals("o", filter, termAtt);
  91     assertTermEquals("o", filter, termAtt);
  92     assertTermEquals("oe", filter, termAtt);
  93     assertTermEquals("ss", filter, termAtt);
  94     assertTermEquals("th", filter, termAtt);
  95     assertTermEquals("u", filter, termAtt);
  96     assertTermEquals("u", filter, termAtt);
  97     assertTermEquals("u", filter, termAtt);
  98     assertTermEquals("u", filter, termAtt);
  99     assertTermEquals("y", filter, termAtt);
 100     assertTermEquals("y", filter, termAtt);
 101     assertTermEquals("fi", filter, termAtt);
 102     assertTermEquals("fl", filter, termAtt);
 103     assertFalse(filter.incrementToken());
 104   }
 105
 106   void assertTermEquals(String expected, TokenStream stream, CharTermAttribute termAtt) throws Exception {
 107     assertTrue(stream.incrementToken());
 108     assertEquals(expected, termAtt.toString());
 109   }
 110 }