lucene-java-3.4.0/lucene/contrib/benchmark/conf/shingle.alg

   1 # Licensed to the Apache Software Foundation (ASF) under one or more
   2 # contributor license agreements.  See the NOTICE file distributed with
   3 # this work for additional information regarding copyright ownership.
   4 # The ASF licenses this file to You under the Apache License, Version 2.0
   5 # (the "License"); you may not use this file except in compliance with
   6 # the License.  You may obtain a copy of the License at
   7 #
   8 #     http://www.apache.org/licenses/LICENSE-2.0
   9 #
  10 # Unless required by applicable law or agreed to in writing, software
  11 # distributed under the License is distributed on an "AS IS" BASIS,
  12 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13 # See the License for the specific language governing permissions and
  14 # limitations under the License.
  15
  16 content.source=org.apache.lucene.benchmark.byTask.feeds.ReutersContentSource
  17 doc.tokenized=false
  18 doc.body.tokenized=true
  19 docs.dir=reuters-out
  20 log.step=1000
  21
  22 { "Rounds"
  23
  24     -NewShingleAnalyzer(maxShingleSize:2,outputUnigrams:true)
  25     -ResetInputs
  26     { "BigramsAndUnigrams" { ReadTokens > : 10000 }
  27
  28     -NewShingleAnalyzer(maxShingleSize:2,outputUnigrams:false)
  29     -ResetInputs
  30     { "BigramsOnly" { ReadTokens > : 10000 }
  31
  32     -NewShingleAnalyzer(maxShingleSize:4,outputUnigrams:true)
  33     -ResetInputs
  34     { "FourgramsAndUnigrams" { ReadTokens > : 10000 }
  35
  36     -NewShingleAnalyzer(maxShingleSize:4,outputUnigrams:false)
  37     -ResetInputs
  38     { "FourgramsOnly" { ReadTokens > : 10000 }
  39
  40     -NewAnalyzer(standard.StandardAnalyzer)
  41     -ResetInputs
  42     { "UnigramsOnly" { ReadTokens > : 10000 }
  43
  44     NewRound
  45
  46 } : 5
  47
  48 RepSumByNameRound