samples/LuceneInAction/lia/handlingtypes/pdf/PDFHandler.py

   1 # ====================================================================
   2 #   Licensed under the Apache License, Version 2.0 (the "License");
   3 #   you may not use this file except in compliance with the License.
   4 #   You may obtain a copy of the License at
   5 #
   6 #       http://www.apache.org/licenses/LICENSE-2.0
   7 #
   8 #   Unless required by applicable law or agreed to in writing, software
   9 #   distributed under the License is distributed on an "AS IS" BASIS,
  10 #   WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  11 #   See the License for the specific language governing permissions and
  12 #   limitations under the License.
  13 # ====================================================================
  14
  15 import os, popen2
  16
  17 from lucene import Document, Field, StringReader
  18 from lia.util.Streams import InputStreamReader
  19
  20
  21 class PDFHandler(object):
  22
  23     def indexFile(self, writer, path):
  24
  25         doc = Document()
  26
  27         try:
  28             process = popen2.Popen4(["pdfinfo", "-enc", "UTF-8", path])
  29         except:
  30             raise
  31         else:
  32             while True:
  33                 line = process.fromchild.readline().strip()
  34                 if not line:
  35                     break
  36                 name, value = line.split(':', 1)
  37                 doc.add(Field(name.strip(), value.strip(),
  38                               Field.Store.YES, Field.Index.NOT_ANALYZED))
  39
  40             exitCode = process.wait()
  41             if exitCode != 0:
  42                 raise RuntimeError, "pdfinfo exit code %d" %(exitCode)
  43
  44         try:
  45             process = popen2.Popen4(["pdftotext", "-enc", "UTF-8", path, "-"])
  46             string = InputStreamReader(process.fromchild, 'utf-8').read()
  47         except:
  48             raise
  49         else:
  50             doc.add(Field("contents", StringReader(string)))
  51             doc.add(Field("filename", os.path.abspath(path),
  52                           Field.Store.YES, Field.Index.NOT_ANALYZED))
  53             writer.addDocument(doc)
  54
  55             exitCode = process.wait()
  56             if exitCode != 0:
  57                 raise RuntimeError, "pdftotext exit code %d" %(exitCode)
  58
  59             return doc