lucene-java-3.5.0/lucene/src/test/org/apache/lucene/search/TestFilteredSearch.java

   1 /**
   2  * Licensed to the Apache Software Foundation (ASF) under one or more
   3  * contributor license agreements.  See the NOTICE file distributed with
   4  * this work for additional information regarding copyright ownership.
   5  * The ASF licenses this file to You under the Apache License, Version 2.0
   6  * (the "License"); you may not use this file except in compliance with
   7  * the License.  You may obtain a copy of the License at
   8  *
   9  *     http://www.apache.org/licenses/LICENSE-2.0
  10  *
  11  * Unless required by applicable law or agreed to in writing, software
  12  * distributed under the License is distributed on an "AS IS" BASIS,
  13  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  14  * See the License for the specific language governing permissions and
  15  * limitations under the License.
  16  */
  17
  18 package org.apache.lucene.search;
  19
  20 import java.io.IOException;
  21 import java.util.HashMap;
  22 import java.util.Map;
  23
  24 import org.apache.lucene.analysis.MockAnalyzer;
  25 import org.apache.lucene.document.Document;
  26 import org.apache.lucene.document.Field;
  27 import org.apache.lucene.index.CorruptIndexException;
  28 import org.apache.lucene.index.IndexReader;
  29 import org.apache.lucene.index.IndexReader;
  30 import org.apache.lucene.index.IndexWriter;
  31 import org.apache.lucene.index.IndexWriterConfig.OpenMode;
  32 import org.apache.lucene.index.Term;
  33 import org.apache.lucene.store.Directory;
  34 import org.apache.lucene.store.LockObtainFailedException;
  35 import org.apache.lucene.util.LuceneTestCase;
  36 import org.apache.lucene.util.FixedBitSet;
  37
  38
  39 /**
  40  *
  41  */
  42 public class TestFilteredSearch extends LuceneTestCase {
  43
  44   private static final String FIELD = "category";
  45
  46   public void testFilteredSearch() throws CorruptIndexException, LockObtainFailedException, IOException {
  47     boolean enforceSingleSegment = true;
  48     Directory directory = newDirectory();
  49     int[] filterBits = {1, 36};
  50     SimpleDocIdSetFilter filter = new SimpleDocIdSetFilter(filterBits);
  51     IndexWriter writer = new IndexWriter(directory, newIndexWriterConfig( TEST_VERSION_CURRENT, new MockAnalyzer(random)).setMergePolicy(newLogMergePolicy()));
  52     searchFiltered(writer, directory, filter, enforceSingleSegment);
  53     // run the test on more than one segment
  54     enforceSingleSegment = false;
  55     // reset - it is stateful
  56     filter.reset();
  57     writer.close();
  58     writer = new IndexWriter(directory, newIndexWriterConfig( TEST_VERSION_CURRENT, new MockAnalyzer(random)).setOpenMode(OpenMode.CREATE).setMaxBufferedDocs(10).setMergePolicy(newLogMergePolicy()));
  59     // we index 60 docs - this will create 6 segments
  60     searchFiltered(writer, directory, filter, enforceSingleSegment);
  61     writer.close();
  62     directory.close();
  63   }
  64
  65   public void searchFiltered(IndexWriter writer, Directory directory, SimpleDocIdSetFilter filter, boolean fullMerge) {
  66     try {
  67       for (int i = 0; i < 60; i++) {//Simple docs
  68         Document doc = new Document();
  69         doc.add(newField(FIELD, Integer.toString(i), Field.Store.YES, Field.Index.NOT_ANALYZED));
  70         writer.addDocument(doc);
  71       }
  72       if (fullMerge) {
  73         writer.forceMerge(1);
  74       }
  75       writer.close();
  76
  77       BooleanQuery booleanQuery = new BooleanQuery();
  78       booleanQuery.add(new TermQuery(new Term(FIELD, "36")), BooleanClause.Occur.SHOULD);
  79
  80
  81       IndexReader reader = IndexReader.open(directory);
  82       IndexSearcher indexSearcher = new IndexSearcher(reader);
  83       filter.setDocBases(indexSearcher.getIndexReader());
  84       ScoreDoc[] hits = indexSearcher.search(booleanQuery, filter, 1000).scoreDocs;
  85       assertEquals("Number of matched documents", 1, hits.length);
  86       indexSearcher.close();
  87       reader.close();
  88     }
  89     catch (IOException e) {
  90       fail(e.getMessage());
  91     }
  92
  93   }
  94
  95   public static final class SimpleDocIdSetFilter extends Filter {
  96     private final int[] docs;
  97     private int index;
  98     private Map<IndexReader,Integer> docBasePerSub;
  99
 100     public SimpleDocIdSetFilter(int[] docs) {
 101       this.docs = docs;
 102     }
 103
 104     public void setDocBases(IndexReader r) {
 105       int maxDoc = 0;
 106       docBasePerSub = new HashMap<IndexReader,Integer>();
 107       for(IndexReader sub : r.getSequentialSubReaders()) {
 108         docBasePerSub.put(sub, maxDoc);
 109         maxDoc += sub.maxDoc();
 110       }
 111     }
 112
 113     @Override
 114     public DocIdSet getDocIdSet(IndexReader reader) {
 115       final FixedBitSet set = new FixedBitSet(reader.maxDoc());
 116       final int docBase = docBasePerSub.get(reader);
 117       final int limit = docBase+reader.maxDoc();
 118       for (;index < docs.length; index++) {
 119         final int docId = docs[index];
 120         if (docId > limit)
 121           break;
 122         if (docId >= docBase) {
 123           set.set(docId-docBase);
 124         }
 125       }
 126       return set.cardinality() == 0 ? null:set;
 127     }
 128
 129     public void reset(){
 130       index = 0;
 131     }
 132   }
 133
 134 }