lucene-java-3.4.0/lucene/contrib/benchmark/conf/extractWikipedia.alg

   1 #/**
   2 # * Licensed to the Apache Software Foundation (ASF) under one or more
   3 # * contributor license agreements.  See the NOTICE file distributed with
   4 # * this work for additional information regarding copyright ownership.
   5 # * The ASF licenses this file to You under the Apache License, Version 2.0
   6 # * (the "License"); you may not use this file except in compliance with
   7 # * the License.  You may obtain a copy of the License at
   8 # *
   9 # *     http://www.apache.org/licenses/LICENSE-2.0
  10 # *
  11 # * Unless required by applicable law or agreed to in writing, software
  12 # * distributed under the License is distributed on an "AS IS" BASIS,
  13 # * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  14 # * See the License for the specific language governing permissions and
  15 # * limitations under the License.
  16 # */
  17 # -------------------------------------------------------------------------------------
  18
  19 #
  20 # This alg will process the Wikipedia documents feed to produce a
  21 # single file that contains all documents, one per line.
  22 #
  23 # To use this, first cd to contrib/benchmark and then run:
  24 #
  25 #   ant run-task -Dtask.alg=conf/extractWikipedia.alg
  26 #
  27 # Then, to index the documents in the line file, see
  28 # indexLineFile.alg.
  29 #
  30
  31 # Where to get documents from:
  32 content.source=org.apache.lucene.benchmark.byTask.feeds.EnwikiContentSource
  33 docs.file=temp/enwiki-20070527-pages-articles.xml
  34
  35 # Where to write the line file output:
  36 line.file.out=work/enwiki.txt
  37
  38 # Stop after processing the document feed once:
  39 content.source.forever=false
  40
  41 # -------------------------------------------------------------------------------------
  42
  43 # Process all documents, appending each one to the line file:
  44 {WriteLineDoc() > : *