PyLucene 3.4.0-1 import
[pylucene.git] / lucene-java-3.4.0 / lucene / contrib / benchmark / conf / tokenize.alg
1 #/**
2 # * Licensed to the Apache Software Foundation (ASF) under one or more
3 # * contributor license agreements.  See the NOTICE file distributed with
4 # * this work for additional information regarding copyright ownership.
5 # * The ASF licenses this file to You under the Apache License, Version 2.0
6 # * (the "License"); you may not use this file except in compliance with
7 # * the License.  You may obtain a copy of the License at
8 # *
9 # *     http://www.apache.org/licenses/LICENSE-2.0
10 # *
11 # * Unless required by applicable law or agreed to in writing, software
12 # * distributed under the License is distributed on an "AS IS" BASIS,
13 # * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
14 # * See the License for the specific language governing permissions and
15 # * limitations under the License.
16 # */
17 # -------------------------------------------------------------------------------------
18
19 #
20 # This alg reads all tokens out of a document but does not index them.
21 # This is useful for benchmarking tokenizers.
22 #
23 # To use this, cd to contrib/benchmark and then run:
24 #
25 #   ant run-task -Dtask.alg=conf/tokenize.alg
26 #
27
28 content.source=org.apache.lucene.benchmark.byTask.feeds.ReutersContentSource
29 content.source.forever=false
30
31
32 #
33 -------------------------------------------------------------------------------------
34
35 {ReadTokens > : *
36 RepSumByName