`
zha_zi
  • 浏览: 597667 次
  • 性别: Icon_minigender_1
  • 来自: 西安
社区版块
存档分类
最新评论

nutch-1.0中文分词

阅读更多

如何跟换nutch1.0中文分词,我在网上基本把所有的办法都是试了一遍但是没有一个是可行的,真是怀疑这些人是纯转载别人的文章还是自己确实有试过,

这里把步骤详细给大家说一下下边是别人的文章,但是其中跟真实的情况有出入,我这里有所修改

前提nutch-1.0配置正常能正常的爬取

 

找到 src/java/org/apache/nutch/analysis/NutchAnalysis.jj 文件

line 130:

| <SIGRAM: <CJK> >


change to:

| <SIGRAM: (<CJK>)+ >


run “javacc”

cd nutch-1.0/src/java/org/apache/nutch/analysis
/usr/local/javacc-3.2/bin/javacc NutchAnalysis.jj


3 files will be regenerated:

这里会生成7个文件,这里列举3个

NutchAnalysis.java
NutchAnalysisTokenManager.java
NutchAnalysisConstants.java

把生成的7个文件全部替换/src/java/org/apache/nutch/analysis下的七个文件

其中会抛出一个异常,捕获一下就ok了

 

 

中文分析部分(查询和索引):

将analyzer更换为ik中文分析器

a 把 IKAnalyzer3.1.5GA.jar 放到lib文件夹

b  org.apache.nutch.analysis.NutchDocumentAnalyzer

 

修改TokenStream tokenStream(String fieldName, Reader reader)

 

修改后的代码 Analyzer analyzer;

    analyzer=new IKAnalyzer();

 

    return analyzer.tokenStream(fieldName, reader);

 

 

 

重新编译Nutch:

在build.xml添加一条指令(在第195行的下面加入一行),使的编译war文件的时候加入ik分词器的jar文件。

build.xml

<lib dir="${lib.dir}">
<include name="lucene*.jar"/>
<include name="taglibs-*.jar"/>
<include name="hadoop-*.jar"/>
<include name="dom4j-*.jar"/>
<include name="xerces-*.jar"/>
<include name="tika-*.jar"/>
<include name="apache-solr-*.jar"/>
<include name="commons-httpclient-*.jar"/>
<include name="commons-codec-*.jar"/>
<include name="commons-collections-*.jar"/>
<include name="commons-beanutils-*.jar"/>
<include name="commons-cli-*.jar"/>
<include name="commons-lang-*.jar"/>
<include name="commons-logging-*.jar"/>
<include name="log4j-*.jar"/>
<include name="IKAnalyzer3.1.5GA.jar"/> <!-- add this line -->
</lib>

用ant重新编译build.xml文件

使用新生成的含中文分词功能的模块:

只用到刚才编译生成build文件夹下面一个文件, 

build/nutch-1.0.job
把这个.job文件拿出来替换原来的nutch-1.0包里的.job文件
然后用把build下的classes文件夹打成nutch-1.0.jar文件 指令:jar cvf nutch-0.9.jar org 

最后把nutch-1.0.war重新生成的文件夹下lib中的nutch-1.0.jar跟换成你新生成的nutch-1.0.jar文件,还要放入ik分词器的jar文件
最后爬取,搜索的结果就是按ik分过的中文词

 

 

  • 描述: 123
  • 大小: 8.2 KB
  • 大小: 427.4 KB
分享到:
评论
8 楼 arsenepark 2010-10-27  
zha_zi 写道
arsenepark 写道
zha_zi 写道
arsenepark 写道
我用的Nutch-1.2,发现crawl的时候出错。楼主试过用Nutch-1.2配置么?

没有,我配置过nutch1.0+ik3.2和nutch0.9
但是nutch0.9导入web工程用web启动的时候会有问题
最后没有办法用的1.0,配置都不难,导入web工程非常麻烦,太长时间不做nutch现在都忘的差不多了,不知道1.0的bug在1.2中改掉了没有


建立索引的配置好了,分词效果也出来了。但通过NutchBean来检索的时候,还是通过单字分词的,比如“中国”被分成了“中”“国”。
我只改动了public TokenStream tokenStream(String fieldName, Reader reader)这个方法。
lz遇到过这样的问题么?

好像有,反正我当时就是按照我上边说的修改方法就可达到分词的效果,过程都差不多,都是反复出错,具体是怎么回事现在也记得不是太清楚了,我印象比较深的一个就是ant从新打包时会有一个异常让你catch,有个地方的代码好像要稍微修改一下就可以,估计1.2应该和1.0差不多



恩,是有一个Exception和IOException的问题,那个好解决,catch一下就好了。
我现在比较棘手的是搜索时的分词问题。lz没遇到过这个问题么?一步一步做,小心点别出错就好了?
7 楼 zha_zi 2010-10-27  
arsenepark 写道
zha_zi 写道
arsenepark 写道
我用的Nutch-1.2,发现crawl的时候出错。楼主试过用Nutch-1.2配置么?

没有,我配置过nutch1.0+ik3.2和nutch0.9
但是nutch0.9导入web工程用web启动的时候会有问题
最后没有办法用的1.0,配置都不难,导入web工程非常麻烦,太长时间不做nutch现在都忘的差不多了,不知道1.0的bug在1.2中改掉了没有


建立索引的配置好了,分词效果也出来了。但通过NutchBean来检索的时候,还是通过单字分词的,比如“中国”被分成了“中”“国”。
我只改动了public TokenStream tokenStream(String fieldName, Reader reader)这个方法。
lz遇到过这样的问题么?

好像有,反正我当时就是按照我上边说的修改方法就可达到分词的效果,过程都差不多,都是反复出错,具体是怎么回事现在也记得不是太清楚了,我印象比较深的一个就是ant从新打包时会有一个异常让你catch,有个地方的代码好像要稍微修改一下就可以,估计1.2应该和1.0差不多
6 楼 arsenepark 2010-10-26  
zha_zi 写道
arsenepark 写道
我用的Nutch-1.2,发现crawl的时候出错。楼主试过用Nutch-1.2配置么?

没有,我配置过nutch1.0+ik3.2和nutch0.9
但是nutch0.9导入web工程用web启动的时候会有问题
最后没有办法用的1.0,配置都不难,导入web工程非常麻烦,太长时间不做nutch现在都忘的差不多了,不知道1.0的bug在1.2中改掉了没有


建立索引的配置好了,分词效果也出来了。但通过NutchBean来检索的时候,还是通过单字分词的,比如“中国”被分成了“中”“国”。
我只改动了public TokenStream tokenStream(String fieldName, Reader reader)这个方法。
lz遇到过这样的问题么?
5 楼 zha_zi 2010-10-25  
arsenepark 写道
我用的Nutch-1.2,发现crawl的时候出错。楼主试过用Nutch-1.2配置么?

没有,我配置过nutch1.0+ik3.2和nutch0.9
但是nutch0.9导入web工程用web启动的时候会有问题
最后没有办法用的1.0,配置都不难,导入web工程非常麻烦,太长时间不做nutch现在都忘的差不多了,不知道1.0的bug在1.2中改掉了没有
4 楼 arsenepark 2010-10-20  
我用的Nutch-1.2,发现crawl的时候出错。楼主试过用Nutch-1.2配置么?
3 楼 zhizi120 2010-08-30  
按照这个弄完之后,用luke查看索引,发现还是nutch原来的单字的分词。。
2 楼 zha_zi 2010-08-27  
zhizi120 写道
这个是不是转的?我按照你的那么做了,但是没有效果
build文件夹下根本没有/nutch-1.0.job这个文件~~


哥们绝对没有问题,只要你的nutch版本正确,这是我们项目中用过滴
1 楼 zhizi120 2010-08-03  
这个是不是转的?我按照你的那么做了,但是没有效果
build文件夹下根本没有/nutch-1.0.job这个文件~~

相关推荐

    中文分词工具word-1.0,Java实现的中文分词组件多种基于词典的分词算法

    2、将中文分词库文件word-1.0.jar和依赖的日志库文件 slf4j-api-1.6.4.jar logback-core-0.9.28.jar logback-classic-0.9.28.jar 复制到刚创建的word目录 3、修改文件elasticsearch-1.1.0/config/elastic...

    Nutch_的配置文件

    在Nutch 1.0版本中,配置文件的加载过程如下: - 当执行`Crawl`类的`main`方法时,首先通过`NutchConfiguration.create()`创建一个配置对象。 - `NutchConfiguration.create()`方法内部,首先创建一个`...

    Nutch1.0:Nutch1.0修改版(整合中文分词)原始码修改,编译打包-修改

    在这个特定的“Nutch1.0修改版”中,开发者已经对原始代码进行了调整,以整合中文分词功能。这使得Nutch能够更有效地处理中文网页的抓取和索引,从而在中文搜索引擎应用中发挥更大的作用。 中文分词是中文信息处理...

    paoding(庖丁解牛)

    ### Paoding庖丁解牛:中文分词库与Nutch集成详解 #### 一、Paoding庖丁解牛概述 Paoding庖丁解牛是一款基于Java语言开发的中文分词库,它能够作为中文搜索引擎的一个关键组件进行部署,特别是在Lucene这样的搜索...

    《数据结构》(02331)基础概念

    内容概要:本文档《数据结构》(02331)第一章主要介绍数据结构的基础概念,涵盖数据与数据元素的定义及其特性,详细阐述了数据结构的三大要素:逻辑结构、存储结构和数据运算。逻辑结构分为线性结构(如线性表、栈、队列)、树形结构(涉及根节点、父节点、子节点等术语)和其他结构。存储结构对比了顺序存储和链式存储的特点,包括访问方式、插入删除操作的时间复杂度以及空间分配方式,并介绍了索引存储和散列存储的概念。最后讲解了抽象数据类型(ADT)的定义及其组成部分,并探讨了算法分析中的时间复杂度计算方法。 适合人群:计算机相关专业学生或初学者,对数据结构有一定兴趣并希望系统学习其基础知识的人群。 使用场景及目标:①理解数据结构的基本概念,掌握逻辑结构和存储结构的区别与联系;②熟悉不同存储方式的特点及应用场景;③学会分析简单算法的时间复杂度,为后续深入学习打下坚实基础。 阅读建议:本章节内容较为理论化,建议结合实际案例进行理解,尤其是对于逻辑结构和存储结构的理解要深入到具体的应用场景中,同时可以尝试编写一些简单的程序来加深对抽象数据类型的认识。

    【工业自动化】施耐德M580 PLC系统架构详解:存储结构、硬件配置与冗余设计

    内容概要:本文详细介绍了施耐德M580系列PLC的存储结构、系统硬件架构、上电写入程序及CPU冗余特性。在存储结构方面,涵盖拓扑寻址、Device DDT远程寻址以及寄存器寻址三种方式,详细解释了不同类型的寻址方法及其应用场景。系统硬件架构部分,阐述了最小系统的构建要素,包括CPU、机架和模块的选择与配置,并介绍了常见的系统拓扑结构,如简单的机架间拓扑和远程子站以太网菊花链等。上电写入程序环节,说明了通过USB和以太网两种接口进行程序下载的具体步骤,特别是针对初次下载时IP地址的设置方法。最后,CPU冗余部分重点描述了热备功能的实现机制,包括IP通讯地址配置和热备拓扑结构。 适合人群:从事工业自动化领域工作的技术人员,特别是对PLC编程及系统集成有一定了解的工程师。 使用场景及目标:①帮助工程师理解施耐德M580系列PLC的寻址机制,以便更好地进行模块配置和编程;②指导工程师完成最小系统的搭建,优化系统拓扑结构的设计;③提供详细的上电写入程序指南,确保程序下载顺利进行;④解释CPU冗余的实现方式,提高系统的稳定性和可靠性。 其他说明:文中还涉及一些特殊模块的功能介绍,如定时器事件和Modbus串口通讯模块,这些内容有助于用户深入了解M580系列PLC的高级应用。此外,附录部分提供了远程子站和热备冗余系统的实物图片,便于用户直观理解相关概念。

    某型自动垂直提升仓储系统方案论证及关键零部件的设计.zip

    某型自动垂直提升仓储系统方案论证及关键零部件的设计.zip

    2135D3F1EFA99CB590678658F575DB23.pdf#page=1&view=fitH

    2135D3F1EFA99CB590678658F575DB23.pdf#page=1&view=fitH

    agentransack文本搜索软件

    可以搜索文本内的内容,指定目录,指定文件格式,匹配大小写等

    Windows 平台 Android Studio 下载与安装指南.zip

    Windows 平台 Android Studio 下载与安装指南.zip

    Android Studio Meerkat 2024.3.1 Patch 1(android-studio-2024.3.1.14-windows-zip.zip.002)

    Android Studio Meerkat 2024.3.1 Patch 1(android-studio-2024.3.1.14-windows.zip)适用于Windows系统,文件使用360压缩软件分割成两个压缩包,必须一起下载使用: part1: https://download.csdn.net/download/weixin_43800734/90557033 part2: https://download.csdn.net/download/weixin_43800734/90557035

    4-3-台区智能融合终端功能模块技术规范(试行).pdf

    国网台区终端最新规范

    4-13-台区智能融合终端软件检测规范(试行).pdf

    国网台区终端最新规范

    【锂电池剩余寿命预测】Transformer-GRU锂电池剩余寿命预测(Matlab完整源码和数据)

    1.【锂电池剩余寿命预测】Transformer-GRU锂电池剩余寿命预测(Matlab完整源码和数据) 2.数据集:NASA数据集,已经处理好,B0005电池训练、B0006测试; 3.环境准备:Matlab2023b,可读性强; 4.模型描述:Transformer-GRU在各种各样的问题上表现非常出色,现在被广泛使用。 5.领域描述:近年来,随着锂离子电池的能量密度、功率密度逐渐提升,其安全性能与剩余使用寿命预测变得愈发重要。本代码实现了Transformer-GRU在该领域的应用。 6.作者介绍:机器学习之心,博客专家认证,机器学习领域创作者,2023博客之星TOP50,主做机器学习和深度学习时序、回归、分类、聚类和降维等程序设计和案例分析,文章底部有博主联系方式。从事Matlab、Python算法仿真工作8年,更多仿真源码、数据集定制私信。

    基于android的家庭收纳App的设计与实现.zip

    Android项目原生java语言课程设计,包含LW+ppt

    大学生入门前端-五子棋vue项目

    大学生入门前端-五子棋vue项目

    二手车分析完整项目,包含源代码和数据集,包含:XGBoost 模型,训练模型代码,数据集包含 10,000 条二手车记录的数据集,涵盖车辆品牌、型号、年份、里程数、发动机缸数、价格等

    这是一个完整的端到端解决方案,用于分析和预测阿联酋(UAE)地区的二手车价格。数据集包含 10,000 条二手车信息,覆盖了迪拜、阿布扎比和沙迦等城市,并提供了精确的地理位置数据。此外,项目还包括一个基于 Dash 构建的 Web 应用程序代码和一个训练好的 XGBoost 模型,帮助用户探索区域市场趋势、预测车价以及可视化地理空间洞察。 数据集内容 项目文件以压缩 ZIP 归档形式提供,包含以下内容: 数据文件: data/uae_used_cars_10k.csv:包含 10,000 条二手车记录的数据集,涵盖车辆品牌、型号、年份、里程数、发动机缸数、价格、变速箱类型、燃料类型、颜色、描述以及销售地点(如迪拜、阿布扎比、沙迦)。 模型文件: models/stacking_model.pkl:训练好的 XGBoost 模型,用于预测二手车价格。 models/scaler.pkl:用于数据预处理的缩放器。 models.py:模型相关功能的实现。 train_model.py:训练模型的脚本。 Web 应用程序文件: app.py:Dash 应用程序的主文件。 callback

    《基于YOLOv8的船舶航行违规并线预警系统》(包含源码、可视化界面、完整数据集、部署教程)简单部署即可运行。功能完善、操作简单,适合毕设或课程设计.zip

    资源内项目源码是来自个人的毕业设计,代码都测试ok,包含源码、数据集、可视化页面和部署说明,可产生核心指标曲线图、混淆矩阵、F1分数曲线、精确率-召回率曲线、验证集预测结果、标签分布图。都是运行成功后才上传资源,毕设答辩评审绝对信服的保底85分以上,放心下载使用,拿来就能用。包含源码、数据集、可视化页面和部署说明一站式服务,拿来就能用的绝对好资源!!! 项目备注 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、大作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.txt文件,仅供学习参考, 切勿用于商业用途。

    《基于YOLOv8的工业布匹瑕疵分类系统》(包含源码、可视化界面、完整数据集、部署教程)简单部署即可运行。功能完善、操作简单,适合毕设或课程设计.zip

    资源内项目源码是来自个人的毕业设计,代码都测试ok,包含源码、数据集、可视化页面和部署说明,可产生核心指标曲线图、混淆矩阵、F1分数曲线、精确率-召回率曲线、验证集预测结果、标签分布图。都是运行成功后才上传资源,毕设答辩评审绝对信服的保底85分以上,放心下载使用,拿来就能用。包含源码、数据集、可视化页面和部署说明一站式服务,拿来就能用的绝对好资源!!! 项目备注 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、大作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.txt文件,仅供学习参考, 切勿用于商业用途。

    CodeCount.exe

    此为代码审查工具 可查 文件数,字节数,总行数,代码行数,注释行数,空白行数,注释率等

Global site tag (gtag.js) - Google Analytics