lucene-java-3.5.0/lucene/src/test/org/apache/lucene/index/TestSegmentMerger.java

   1 package org.apache.lucene.index;
   2
   3 /**
   4  * Licensed to the Apache Software Foundation (ASF) under one or more
   5  * contributor license agreements.  See the NOTICE file distributed with
   6  * this work for additional information regarding copyright ownership.
   7  * The ASF licenses this file to You under the Apache License, Version 2.0
   8  * (the "License"); you may not use this file except in compliance with
   9  * the License.  You may obtain a copy of the License at
  10  *
  11  *     http://www.apache.org/licenses/LICENSE-2.0
  12  *
  13  * Unless required by applicable law or agreed to in writing, software
  14  * distributed under the License is distributed on an "AS IS" BASIS,
  15  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16  * See the License for the specific language governing permissions and
  17  * limitations under the License.
  18  */
  19
  20 import org.apache.lucene.util.LuceneTestCase;
  21 import org.apache.lucene.store.Directory;
  22 import org.apache.lucene.store.BufferedIndexInput;
  23 import org.apache.lucene.analysis.MockAnalyzer;
  24 import org.apache.lucene.document.Document;
  25 import org.apache.lucene.document.Field;
  26 import org.apache.lucene.document.Field.Index;
  27 import org.apache.lucene.document.Field.Store;
  28 import org.apache.lucene.index.IndexWriterConfig.OpenMode;
  29
  30 import java.io.IOException;
  31 import java.util.Collection;
  32
  33 public class TestSegmentMerger extends LuceneTestCase {
  34   //The variables for the new merged segment
  35   private Directory mergedDir;
  36   private String mergedSegment = "test";
  37   //First segment to be merged
  38   private Directory merge1Dir;
  39   private Document doc1 = new Document();
  40   private SegmentReader reader1 = null;
  41   //Second Segment to be merged
  42   private Directory merge2Dir;
  43   private Document doc2 = new Document();
  44   private SegmentReader reader2 = null;
  45
  46   @Override
  47   public void setUp() throws Exception {
  48     super.setUp();
  49     mergedDir = newDirectory();
  50     merge1Dir = newDirectory();
  51     merge2Dir = newDirectory();
  52     DocHelper.setupDoc(doc1);
  53     SegmentInfo info1 = DocHelper.writeDoc(random, merge1Dir, doc1);
  54     DocHelper.setupDoc(doc2);
  55     SegmentInfo info2 = DocHelper.writeDoc(random, merge2Dir, doc2);
  56     reader1 = SegmentReader.get(true, info1, IndexReader.DEFAULT_TERMS_INDEX_DIVISOR);
  57     reader2 = SegmentReader.get(true, info2, IndexReader.DEFAULT_TERMS_INDEX_DIVISOR);
  58   }
  59
  60   @Override
  61   public void tearDown() throws Exception {
  62     reader1.close();
  63     reader2.close();
  64     mergedDir.close();
  65     merge1Dir.close();
  66     merge2Dir.close();
  67     super.tearDown();
  68   }
  69
  70   public void test() {
  71     assertTrue(mergedDir != null);
  72     assertTrue(merge1Dir != null);
  73     assertTrue(merge2Dir != null);
  74     assertTrue(reader1 != null);
  75     assertTrue(reader2 != null);
  76   }
  77
  78   public void testMerge() throws IOException {
  79     SegmentMerger merger = new SegmentMerger(mergedDir, IndexWriterConfig.DEFAULT_TERM_INDEX_INTERVAL, mergedSegment, null, null, new FieldInfos());
  80     merger.add(reader1);
  81     merger.add(reader2);
  82     int docsMerged = merger.merge();
  83     assertTrue(docsMerged == 2);
  84     //Should be able to open a new SegmentReader against the new directory
  85     SegmentReader mergedReader = SegmentReader.get(false, mergedDir,
  86                                                    new SegmentInfo(mergedSegment, docsMerged, mergedDir, false, true,
  87                                                                    merger.fieldInfos().hasProx(),
  88                                                                    merger.fieldInfos().hasVectors()),
  89                                                    BufferedIndexInput.BUFFER_SIZE, true, IndexReader.DEFAULT_TERMS_INDEX_DIVISOR);
  90
  91     assertTrue(mergedReader != null);
  92     assertTrue(mergedReader.numDocs() == 2);
  93     Document newDoc1 = mergedReader.document(0);
  94     assertTrue(newDoc1 != null);
  95     //There are 2 unstored fields on the document
  96     assertTrue(DocHelper.numFields(newDoc1) == DocHelper.numFields(doc1) - DocHelper.unstored.size());
  97     Document newDoc2 = mergedReader.document(1);
  98     assertTrue(newDoc2 != null);
  99     assertTrue(DocHelper.numFields(newDoc2) == DocHelper.numFields(doc2) - DocHelper.unstored.size());
 100
 101     TermDocs termDocs = mergedReader.termDocs(new Term(DocHelper.TEXT_FIELD_2_KEY, "field"));
 102     assertTrue(termDocs != null);
 103     assertTrue(termDocs.next() == true);
 104
 105     Collection<String> stored = mergedReader.getFieldNames(IndexReader.FieldOption.INDEXED_WITH_TERMVECTOR);
 106     assertTrue(stored != null);
 107     //System.out.println("stored size: " + stored.size());
 108     assertTrue("We do not have 3 fields that were indexed with term vector",stored.size() == 3);
 109
 110     TermFreqVector vector = mergedReader.getTermFreqVector(0, DocHelper.TEXT_FIELD_2_KEY);
 111     assertTrue(vector != null);
 112     String [] terms = vector.getTerms();
 113     assertTrue(terms != null);
 114     //System.out.println("Terms size: " + terms.length);
 115     assertTrue(terms.length == 3);
 116     int [] freqs = vector.getTermFrequencies();
 117     assertTrue(freqs != null);
 118     //System.out.println("Freqs size: " + freqs.length);
 119     assertTrue(vector instanceof TermPositionVector == true);
 120
 121     for (int i = 0; i < terms.length; i++) {
 122       String term = terms[i];
 123       int freq = freqs[i];
 124       //System.out.println("Term: " + term + " Freq: " + freq);
 125       assertTrue(DocHelper.FIELD_2_TEXT.indexOf(term) != -1);
 126       assertTrue(DocHelper.FIELD_2_FREQS[i] == freq);
 127     }
 128
 129     TestSegmentReader.checkNorms(mergedReader);
 130     mergedReader.close();
 131   }
 132
 133   // LUCENE-3143
 134   public void testInvalidFilesToCreateCompound() throws Exception {
 135     Directory dir = newDirectory();
 136     IndexWriterConfig iwc = newIndexWriterConfig(TEST_VERSION_CURRENT, new MockAnalyzer(random));
 137     IndexWriter w = new IndexWriter(dir, iwc);
 138
 139     // Create an index w/ .del file
 140     w.addDocument(new Document());
 141     Document doc = new Document();
 142     doc.add(new Field("c", "test", Store.NO, Index.ANALYZED));
 143     w.addDocument(doc);
 144     w.commit();
 145     w.deleteDocuments(new Term("c", "test"));
 146     w.close();
 147
 148     // Assert that SM fails if .del exists
 149     SegmentMerger sm = new SegmentMerger(dir, 1, "a", null, null, null);
 150     boolean doFail = false;
 151     try {
 152       sm.createCompoundFile("b1", w.segmentInfos.info(0));
 153       doFail = true;
 154     } catch (AssertionError e) {
 155       // expected
 156     }
 157     assertFalse("should not have been able to create a .cfs with .del and .s* files", doFail);
 158
 159     // Create an index w/ .s*
 160     w = new IndexWriter(dir, new IndexWriterConfig(TEST_VERSION_CURRENT, new MockAnalyzer(random)).setOpenMode(OpenMode.CREATE));
 161     doc = new Document();
 162     doc.add(new Field("c", "test", Store.NO, Index.ANALYZED));
 163     w.addDocument(doc);
 164     w.close();
 165     IndexReader r = IndexReader.open(dir, false);
 166     r.setNorm(0, "c", (byte) 1);
 167     r.close();
 168
 169     // Assert that SM fails if .s* exists
 170     SegmentInfos sis = new SegmentInfos();
 171     sis.read(dir);
 172     try {
 173       sm.createCompoundFile("b2", sis.info(0));
 174       doFail = true;
 175     } catch (AssertionError e) {
 176       // expected
 177     }
 178     assertFalse("should not have been able to create a .cfs with .del and .s* files", doFail);
 179
 180     dir.close();
 181   }
 182
 183 }