`
JavaCrazyer
  • 浏览: 3023818 次
  • 性别: Icon_minigender_1
  • 来自: 河南
社区版块
存档分类

lucene开发中有关读取pdf,html,word,rtf,txt,powerpoint,excel等文档的操作

阅读更多

关于这七种文档,我相信应该是最常用的文档了

在以下的介绍中会提到POI,现介绍下POI吧

poi处理WORD,EXCEL比较好:http://jakarta.apache.org/poi/

poi处理至少需要如下几个JAR包



 
PDFbox处理PDF比较好:http://pdfbox.apache.org/download.html

 

下面一一介绍了

第一和第二是只支持03版的word和excel文档

   第一、首先来看WORD文档:
我这里用的是poi,相关jar包自己去下载,然后加到工程中(以下所要用的jar包也是,不再重复说)

public static String readWord(String path) throws Exception {
String bodyText = null;
try {
FileInputStream is = new FileInputStream(path);
bodyText = new WordExtractor(is).getText();
} catch (Exception e) {
System.out.println("=======");
}
return bodyText;
}

 

 

 

  第二、Exel的文档

 

 

public static String ReadExcel(String path) throws IOException {
InputStream inputStream = null;
String content = null;
try {
inputStream = new FileInputStream(path);
HSSFWorkbook wb = new HSSFWorkbook(inputStream);
ExcelExtractor extractor = new ExcelExtractor(wb);
extractor.setFormulasNotResults(true);
extractor.setIncludeSheetNames(false);
content = extractor.getText();
} catch (FileNotFoundException e) {
e.printStackTrace();
}
return content;
}

 

  

 

 

 

 针对07版的word和excel的操作

   package com.test;

   
/**   
 * 需要的jar包:   
 * poi-3.0.2-FINAL-20080204.jar   
 * poi-contrib-3.0.2-FINAL-20080204.jar   
 * poi-scratchpad-3.0.2-FINAL-20080204.jar   
 * poi-3.5-beta6-20090622.jar   
 * geronimo-stax-api_1.0_spec-1.0.jar   
 * ooxml-schemas-1.0.jar   
 * openxml4j-bin-beta.jar   
 * poi-ooxml-3.5-beta6-20090622.jar   
 * xmlbeans-2.3.0.jar   
 * dom4j-1.6.1.jar   
 */   
   
import java.io.FileInputStream;    
import java.io.IOException;    
import java.io.InputStream;    
   
import org.apache.poi.POIXMLDocument;    
import org.apache.poi.POIXMLTextExtractor;    
import org.apache.poi.hssf.usermodel.HSSFCell;    
import org.apache.poi.hssf.usermodel.HSSFRow;    
import org.apache.poi.hssf.usermodel.HSSFSheet;    
import org.apache.poi.hssf.usermodel.HSSFWorkbook;    
import org.apache.poi.hwpf.extractor.WordExtractor;    
import org.apache.poi.openxml4j.exceptions.OpenXML4JException;    
import org.apache.poi.openxml4j.opc.OPCPackage;    
import org.apache.poi.xssf.usermodel.XSSFCell;    
import org.apache.poi.xssf.usermodel.XSSFRow;    
import org.apache.poi.xssf.usermodel.XSSFSheet;    
import org.apache.poi.xssf.usermodel.XSSFWorkbook;    
import org.apache.poi.xwpf.extractor.XWPFWordExtractor;    
import org.apache.xmlbeans.XmlException;    
   
public class WordAndExcelExtractor {    
 public static void main(String[] args){    
  try{    
   String wordFile = "D:/松山血战.docx";    
   String wordText2007 = WordAndExcelExtractor.extractTextFromDOC2007(wordFile);    
   System.out.println("wordText2007======="+wordText2007);    
       
   InputStream is = new FileInputStream("D:/XXX研发中心技术岗位职位需求.xls");       
   String excelText = WordAndExcelExtractor.extractTextFromXLS(is);       
   System.out.println("text2003==========" + excelText);    
       
   String excelFile = "D:/Hello2007.xlsx";       
   String excelText2007 = WordAndExcelExtractor.extractTextFromXLS2007(excelFile);    
   System.out.println("excelText2007==========" + excelText2007);    
   
       
  }catch(Exception e ){    
   e.printStackTrace();    
  }    
 }    
     
 /**   
  * @Method: extractTextFromDOCX   
  * @Description: 从word 2003文档中提取纯文本   
  *   
  * @param    
  * @return String   
  * @throws   
  */   
    public static String extractTextFromDOC(InputStream is) throws IOException {    
        WordExtractor ex = new WordExtractor(is); //is是WORD文件的InputStream     
   
        return ex.getText();    
    }    
     
 /**   
  * @Method: extractTextFromDOCX   
  * @Description: 从word 2007文档中提取纯文本   
  *   
  * @param    
  * @return String   
  * @throws   
  */   
    public static String extractTextFromDOC2007(String fileName) throws IOException, OpenXML4JException, XmlException {    
     OPCPackage opcPackage = POIXMLDocument.openPackage(fileName);    
     POIXMLTextExtractor ex = new XWPFWordExtractor(opcPackage);       
   
        return ex.getText();    
    }    
     
 /**   
  * @Method: extractTextFromXLS   
  * @Description: 从excel 2003文档中提取纯文本   
  *   
  * @param    
  * @return String   
  * @throws   
  */   
    @SuppressWarnings("deprecation")    
 private static String extractTextFromXLS(InputStream is)    
        throws IOException {    
        StringBuffer content  = new StringBuffer();    
        HSSFWorkbook workbook = new HSSFWorkbook(is); //创建对Excel工作簿文件的引用     
   
        for (int numSheets = 0; numSheets < workbook.getNumberOfSheets(); numSheets++) {    
            if (null != workbook.getSheetAt(numSheets)) {    
                HSSFSheet aSheet = workbook.getSheetAt(numSheets); //获得一个sheet    
   
                for (int rowNumOfSheet = 0; rowNumOfSheet <= aSheet.getLastRowNum(); rowNumOfSheet++) {    
                    if (null != aSheet.getRow(rowNumOfSheet)) {    
                        HSSFRow aRow = aSheet.getRow(rowNumOfSheet); //获得一行    
   
                        for (short cellNumOfRow = 0; cellNumOfRow <= aRow.getLastCellNum(); cellNumOfRow++) {    
                            if (null != aRow.getCell(cellNumOfRow)) {    
                                HSSFCell aCell = aRow.getCell(cellNumOfRow); //获得列值    
                                                                    
                                if(aCell.getCellType() == HSSFCell.CELL_TYPE_NUMERIC){    
                                 content.append(aCell.getNumericCellValue());    
                                }else if(aCell.getCellType() == HSSFCell.CELL_TYPE_BOOLEAN){    
                                 content.append(aCell.getBooleanCellValue());    
                                }else {    
                                 content.append(aCell.getStringCellValue());    
                                }    
                            }    
                        }    
                    }    
                }    
            }    
        }    
   
        return content.toString();    
    }    
        
    /**   
     * @Method: extractTextFromXLS2007   
     * @Description: 从excel 2007文档中提取纯文本   
     *   
     * @param    
     * @return String   
     * @throws   
     */   
    private static String extractTextFromXLS2007(String fileName) throws Exception{    
     StringBuffer content = new StringBuffer();    
         
     //构造 XSSFWorkbook 对象,strPath 传入文件路径        
  XSSFWorkbook xwb = new XSSFWorkbook(fileName);    
      
  //循环工作表Sheet    
  for(int numSheet = 0; numSheet < xwb.getNumberOfSheets(); numSheet++){    
   XSSFSheet xSheet = xwb.getSheetAt(numSheet);     
   if(xSheet == null){    
    continue;    
   }    
       
   //循环行Row    
   for(int rowNum = 0; rowNum <= xSheet.getLastRowNum(); rowNum++){    
    XSSFRow xRow = xSheet.getRow(rowNum);    
    if(xRow == null){    
     continue;    
    }    
        
    //循环列Cell    
    for(int cellNum = 0; cellNum <= xRow.getLastCellNum(); cellNum++){    
     XSSFCell xCell = xRow.getCell(cellNum);    
     if(xCell == null){    
      continue;    
     }    
         
     if(xCell.getCellType() == XSSFCell.CELL_TYPE_BOOLEAN){    
      content.append(xCell.getBooleanCellValue());    
     }else if(xCell.getCellType() == XSSFCell.CELL_TYPE_NUMERIC){    
      content.append(xCell.getNumericCellValue());    
     }else{    
      content.append(xCell.getStringCellValue());    
     }    
    }    
   }    
  }    
      
  return content.toString();    
    }    
        
}    

 

  第三、PowerPoint的文档

 

public static String readPowerPoint(String path) {
StringBuffer content = new StringBuffer("");
try {
SlideShow ss = new SlideShow(new HSLFSlideShow(new FileInputStream(
path)));// is
// 为文件的InputStream,建立SlideShow
Slide[] slides = ss.getSlides();// 获得每一张幻灯片
for (int i = 0; i < slides.length; i++) {
TextRun[] t = slides[i].getTextRuns();// 为了取得幻灯片的文字内容,建立TextRun
for (int j = 0; j < t.length; j++) {
content.append(t[j].getText());// 这里会将文字内容加到content中去
}
}
} catch (Exception ex) {
System.out.println(ex.toString());
}
return content.toString();
}

 

 

 

 

 

 

 

 第四、PDF的文档

 

public static String readPdf(String path) throws Exception {
StringBuffer content = new StringBuffer("");
FileInputStream fis = new FileInputStream(path);
PDFParser p = new PDFParser(fis);
p.parse();
PDFTextStripper ts = new PDFTextStripper();
content.append(ts.getText(p.getPDDocument()));
fis.close();
return content.toString().trim();
}

 

  

 

 

 

 

   第五、HTML的文档,要说明的是,HTML文档我们要获取其TITLE,BODY中的内容就要先获取源文件,然后再对源文件进行标签上的过滤,很麻烦

 

public static String readHtml(String urlString) {
StringBuffer content = new StringBuffer("");
File file = new File(urlString);
FileInputStream fis = null;
try {
fis = new FileInputStream(file);
BufferedReader reader = new BufferedReader(new InputStreamReader(
fis, "utf-8"));
String line = null;
while ((line = reader.readLine()) != null) {
content.append(line + "\n");
}
reader.close();
} catch (Exception e) {
e.printStackTrace();
}
String contentString = content.toString();
String htmlStr = contentString; // 含html标签的字符串
String textStr = "";
java.util.regex.Pattern p_script;
java.util.regex.Matcher m_script;
java.util.regex.Pattern p_style;
java.util.regex.Matcher m_style;
java.util.regex.Pattern p_html;
java.util.regex.Matcher m_html;
try {
String regEx_script = "<[\\s]*?script[^>]*?>[\\s\\S]*?<[\\s]*?\\/[\\s]*?script[\\
String regEx_style = "<[\\s]*?style[^>]*?>[\\s\\S]*?<[\\s]*?\\/[\\s]*?style[\\s]*
String regEx_html = "<[^>]+>"; // 定义HTML标签的正则表达式
p_script = Pattern.compile(regEx_script, Pattern.CASE_INSENSITIVE);
m_script = p_script.matcher(htmlStr);
htmlStr = m_script.replaceAll(""); // 过滤script标签
p_style = Pattern.compile(regEx_style, Pattern.CASE_INSENSITIVE);
m_style = p_style.matcher(htmlStr);
htmlStr = m_style.replaceAll(""); // 过滤style标签
p_html = Pattern.compile(regEx_html, Pattern.CASE_INSENSITIVE);
m_html = p_html.matcher(htmlStr);
htmlStr = m_html.replaceAll(""); // 过滤html标签
textStr = htmlStr;
} catch (Exception e) {
System.err.println("Html2Text: " + e.getMessage());
}
return textStr;// 返回文本字符串
}

 

 

 

 第六、TXT的文档,给TXT文本建立索引时要注意
   本项目实现了组合查询的功能
  //这一步如果不设置为GBK,TXT内容将全部乱码 BufferedReader reader=new BufferedReader(new InputStreamReader(is,"GBK")); 具体代码如下 

 

public static String readTxt(String path) throws IOException {
StringBuffer sb = new StringBuffer("");
InputStream is = new FileInputStream(path);
// 必须设置成GBK,否则将出现乱码
BufferedReader reader = new BufferedReader(new InputStreamReader(is,
"GBK"));
try {
String line = "";
while ((line = reader.readLine()) != null) {
sb.append(line + "\r");
}
} catch (FileNotFoundException e) {
e.printStackTrace();
}
return sb.toString().trim();
}

 

  

 

 

 

 

 

第七、RTF文档,rtf的转换则在javax中就有

 

 

public static String readRtf(String path) {
String result = null;
File file = new File(path);
try {
DefaultStyledDocument styledDoc = new DefaultStyledDocument();
InputStream is = new FileInputStream(file);
new RTFEditorKit().read(is, styledDoc, 0);
result = new String(styledDoc.getText(0, styledDoc.getLength())
.getBytes("iso8859-1"), "gbk");
// 提取文本,读取中文需要使用gbk编码,否则会出现乱码
} catch (IOException e) {
e.printStackTrace();
} catch (BadLocationException e) {
e.printStackTrace();
}
return result;
}

 

   

 

  • 大小: 40.7 KB
5
1
分享到:
评论
4 楼 u013858641 2015-08-11  
楼主,能不能发一份Demo给我,非常感谢425723818@qq.com
3 楼 u_lie 2012-05-19  
不会吧~!
String regEx_script = "<[\\s]*?script[^>]*?>[\\s\\S]*?<[\\s]*?\\/[\\s]*?script[\\
你这个正则表达式没有结束哦!后面还有点吧?
<font color='red'>你对lucene一定很熟了,顺便问你个问题好么?</font>
就是在做搜索摘要和关键字高亮显示时候,必须要在建立索引的时候把文件内容保存到索引中,才能查询出摘要内容来,如果文件比较大,而且又多呢?有没有什么更好的解决方法啊,比如说建索引时候不保存原文件内容,有没有什么其他的方法来做摘要和关键字高亮呢?doc.add(new Field("contents", new FileReader(f))); 这个方法我们都知道,没有保存文件内容,但是正常检索是没有问题的,只是摘要和高亮不知道该如何解决!
请问你有什么好方法么?
2 楼 JavaCrazyer 2012-05-18  
u_lie 写道
大侠你在吗? 出手相救一下行么!

能把解析HTML 的正则表达式完整的发出来吗?上面的不全~!多谢了!

已经是完整的代码了啊
1 楼 u_lie 2012-05-18  
大侠你在吗? 出手相救一下行么!

能把解析HTML 的正则表达式完整的发出来吗?上面的不全~!多谢了!

相关推荐

    Delphi提取docx,doc,xls,xlsx,ppt,ppts,pdf,eml,html,等文件内容文本

    A: pdf文件 B: office word文件 ".doc", ".odt", ".docx", ".dotm", ".docm" C: wps文档 ".wps" D: office excel文件 ".xls", ".xlsx", ".xlsm", ".xltm" E: wps表格 ".et" F: office powerPoint文件 ".ppt", ".pptx...

    基于MATLAB GUI与CNN的模糊车牌识别系统:从图像预处理到字符识别全流程解析

    内容概要:本文详细介绍了基于MATLAB GUI界面和卷积神经网络(CNN)的模糊车牌识别系统。该系统旨在解决现实中车牌因模糊不清导致识别困难的问题。文中阐述了整个流程的关键步骤,包括图像的模糊还原、灰度化、阈值化、边缘检测、孔洞填充、形态学操作、滤波操作、车牌定位、字符分割以及最终的字符识别。通过使用维纳滤波或最小二乘法约束滤波进行模糊还原,再利用CNN的强大特征提取能力完成字符分类。此外,还特别强调了MATLAB GUI界面的设计,使得用户能直观便捷地操作整个系统。 适合人群:对图像处理和深度学习感兴趣的科研人员、高校学生及从事相关领域的工程师。 使用场景及目标:适用于交通管理、智能停车场等领域,用于提升车牌识别的准确性和效率,特别是在面对模糊车牌时的表现。 其他说明:文中提供了部分关键代码片段作为参考,并对实验结果进行了详细的分析,展示了系统在不同环境下的表现情况及其潜在的应用前景。

    嵌入式八股文面试题库资料知识宝典-计算机专业试题.zip

    嵌入式八股文面试题库资料知识宝典-计算机专业试题.zip

    嵌入式八股文面试题库资料知识宝典-C and C++ normal interview_3.zip

    嵌入式八股文面试题库资料知识宝典-C and C++ normal interview_3.zip

    开关磁阻电机技术参数与建模技术深度解析:4kW电机性能详述

    内容概要:本文深入探讨了一款额定功率为4kW的开关磁阻电机,详细介绍了其性能参数如额定功率、转速、效率、输出转矩和脉动率等。同时,文章还展示了利用RMxprt、Maxwell 2D和3D模型对该电机进行仿真的方法和技术,通过外电路分析进一步研究其电气性能和动态响应特性。最后,文章提供了基于RMxprt模型的MATLAB仿真代码示例,帮助读者理解电机的工作原理及其性能特点。 适合人群:从事电机设计、工业自动化领域的工程师和技术人员,尤其是对开关磁阻电机感兴趣的科研工作者。 使用场景及目标:适用于希望深入了解开关磁阻电机特性和建模技术的研究人员,在新产品开发或现有产品改进时作为参考资料。 其他说明:文中提供的代码示例仅用于演示目的,实际操作时需根据所用软件的具体情况进行适当修改。

    少儿编程scratch项目源代码文件案例素材-剑客冲刺.zip

    少儿编程scratch项目源代码文件案例素材-剑客冲刺.zip

    少儿编程scratch项目源代码文件案例素材-几何冲刺 转瞬即逝.zip

    少儿编程scratch项目源代码文件案例素材-几何冲刺 转瞬即逝.zip

    四象限直流电机速度驱动控制系统PID控制仿真模型设计与实现

    内容概要:本文详细介绍了基于PID控制器的四象限直流电机速度驱动控制系统仿真模型及其永磁直流电机(PMDC)转速控制模型。首先阐述了PID控制器的工作原理,即通过对系统误差的比例、积分和微分运算来调整电机的驱动信号,从而实现转速的精确控制。接着讨论了如何利用PID控制器使有刷PMDC电机在四个象限中精确跟踪参考速度,并展示了仿真模型在应对快速负载扰动时的有效性和稳定性。最后,提供了Simulink仿真模型和详细的Word模型说明文档,帮助读者理解和调整PID控制器参数,以达到最佳控制效果。 适合人群:从事电力电子与电机控制领域的研究人员和技术人员,尤其是对四象限直流电机速度驱动控制系统感兴趣的读者。 使用场景及目标:适用于需要深入了解和掌握四象限直流电机速度驱动控制系统设计与实现的研究人员和技术人员。目标是在实际项目中能够运用PID控制器实现电机转速的精确控制,并提高系统的稳定性和抗干扰能力。 其他说明:文中引用了多篇相关领域的权威文献,确保了理论依据的可靠性和实用性。此外,提供的Simulink模型和Word文档有助于读者更好地理解和实践所介绍的内容。

    嵌入式八股文面试题库资料知识宝典-2013年海康威视校园招聘嵌入式开发笔试题.zip

    嵌入式八股文面试题库资料知识宝典-2013年海康威视校园招聘嵌入式开发笔试题.zip

    少儿编程scratch项目源代码文件案例素材-驾驶通关.zip

    少儿编程scratch项目源代码文件案例素材-驾驶通关.zip

    小区开放对周边道路通行能力影响的研究.pdf

    小区开放对周边道路通行能力影响的研究.pdf

    冷链物流路径优化:基于NSGA-2遗传算法与软硬时间窗策略的研究

    内容概要:本文探讨了冷链物流车辆路径优化问题,特别是如何通过NSGA-2遗传算法和软硬时间窗策略来实现高效、环保和高客户满意度的路径规划。文中介绍了冷链物流的特点及其重要性,提出了软时间窗概念,允许一定的配送时间弹性,同时考虑碳排放成本,以达到绿色物流的目的。此外,还讨论了如何将客户满意度作为路径优化的重要评价标准之一。最后,通过一段简化的Python代码展示了遗传算法的应用。 适合人群:从事物流管理、冷链物流运营的专业人士,以及对遗传算法和路径优化感兴趣的科研人员和技术开发者。 使用场景及目标:适用于冷链物流企业,旨在优化配送路线,降低运营成本,减少碳排放,提升客户满意度。目标是帮助企业实现绿色、高效的物流配送系统。 其他说明:文中提供的代码仅为示意,实际应用需根据具体情况调整参数设置和模型构建。

    少儿编程scratch项目源代码文件案例素材-恐怖矿井.zip

    少儿编程scratch项目源代码文件案例素材-恐怖矿井.zip

    基于STM32F030的无刷电机高压FOC控制方案:滑膜无感FOC技术及保护机制

    内容概要:本文详细介绍了基于STM32F030的无刷电机控制方案,重点在于高压FOC(磁场定向控制)技术和滑膜无感FOC的应用。该方案实现了过载、过欠压、堵转等多种保护机制,并提供了完整的源码、原理图和PCB设计。文中展示了关键代码片段,如滑膜观测器和电流环处理,以及保护机制的具体实现方法。此外,还提到了方案的移植要点和实际测试效果,确保系统的稳定性和高效性。 适合人群:嵌入式系统开发者、电机控制系统工程师、硬件工程师。 使用场景及目标:适用于需要高性能无刷电机控制的应用场景,如工业自动化设备、无人机、电动工具等。目标是提供一种成熟的、经过验证的无刷电机控制方案,帮助开发者快速实现并优化电机控制性能。 其他说明:提供的资料包括详细的原理图、PCB设计文件、源码及测试视频,方便开发者进行学习和应用。

    基于有限体积法Godunov格式的管道泄漏检测模型研究.pdf

    基于有限体积法Godunov格式的管道泄漏检测模型研究.pdf

    嵌入式八股文面试题库资料知识宝典-CC++笔试题-深圳有为(2019.2.28)1.zip

    嵌入式八股文面试题库资料知识宝典-CC++笔试题-深圳有为(2019.2.28)1.zip

    少儿编程scratch项目源代码文件案例素材-几何冲刺 V1.5.zip

    少儿编程scratch项目源代码文件案例素材-几何冲刺 V1.5.zip

    Android系统开发_Linux内核配置_USB-HID设备模拟_通过root权限将Android设备转换为全功能USB键盘的项目实现_该项目需要内核支持configFS文件系统.zip

    Android系统开发_Linux内核配置_USB-HID设备模拟_通过root权限将Android设备转换为全功能USB键盘的项目实现_该项目需要内核支持configFS文件系统

    C# WPF - LiveCharts Project

    C# WPF - LiveCharts Project

    少儿编程scratch项目源代码文件案例素材-恐怖叉子 动画.zip

    少儿编程scratch项目源代码文件案例素材-恐怖叉子 动画.zip

Global site tag (gtag.js) - Google Analytics