lucene-java-3.4.0/lucene/contrib/benchmark/conf/tokenize.alg

   1 #/**
   2 # * Licensed to the Apache Software Foundation (ASF) under one or more
   3 # * contributor license agreements.  See the NOTICE file distributed with
   4 # * this work for additional information regarding copyright ownership.
   5 # * The ASF licenses this file to You under the Apache License, Version 2.0
   6 # * (the "License"); you may not use this file except in compliance with
   7 # * the License.  You may obtain a copy of the License at
   8 # *
   9 # *     http://www.apache.org/licenses/LICENSE-2.0
  10 # *
  11 # * Unless required by applicable law or agreed to in writing, software
  12 # * distributed under the License is distributed on an "AS IS" BASIS,
  13 # * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  14 # * See the License for the specific language governing permissions and
  15 # * limitations under the License.
  16 # */
  17 # -------------------------------------------------------------------------------------
  18
  19 #
  20 # This alg reads all tokens out of a document but does not index them.
  21 # This is useful for benchmarking tokenizers.
  22 #
  23 # To use this, cd to contrib/benchmark and then run:
  24 #
  25 #   ant run-task -Dtask.alg=conf/tokenize.alg
  26 #
  27
  28 content.source=org.apache.lucene.benchmark.byTask.feeds.ReutersContentSource
  29 content.source.forever=false
  30
  31
  32 #
  33 -------------------------------------------------------------------------------------
  34
  35 {ReadTokens > : *
  36 RepSumByName