基于HanLP,支持包括Solr(7.x)在内的任何基于Lucene(7.x)的系统。
Maven
<dependency>
<groupId>com.hankcs.nlp</groupId>
<artifactId>hanlp-lucene-plugin</artifactId>
<version>1.1.6</version>
</dependency>
Solr快速上手
1.将hanlp-portable.jar和hanlp-lucene-plugin.jar共两个jar放入${webapp}/WEB-INF/lib下。(或者使用mvn package对源码打包,拷贝target/hanlp-lucene-plugin-x.x.x.jar到${webapp}/WEB-INF/lib下)
2. 修改solr core的配置文件${core}/conf/schema.xml:
<fieldType name="text_cn" class="solr.TextField">
<analyzer type="index">
<tokenizer class="com.hankcs.lucene.HanLPTokenizerFactory" enableIndexMode="true"/>
</analyzer>
<analyzer type="query">
<!-- 切记不要在query中开启index模式 -->
<tokenizer class="com.hankcs.lucene.HanLPTokenizerFactory" enableIndexMode="false"/>
</analyzer>
</fieldType>
<!-- 业务系统中需要分词的字段都需要指定type为text_cn -->
<field name="my_field1" type="text_cn" indexed="true" stored="true"/>
<field name="my_field2" type="text_cn" indexed="true" stored="true"/>
· 如果你的业务系统中有其他字段,比如location,summary之类,也需要一一指定其type="text_cn"。切记,否则这些字段仍旧是solr默认分词器。
· 另外,切记不要在query中开启indexMode,否则会影响PhaseQuery。indexMode只需在index中开启一遍即可。
高级配置
目前本插件支持如下基于schema.xml的配置:
更高级的配置主要通过class path下的hanlp.properties进行配置,请阅读HanLP自然语言处理包文档以了解更多相关配置,如:
0.用户词典
1.词性标注
2.简繁转换
3.……
停用词与同义词
推荐利用Lucene或Solr自带的filter实现,本插件不会越俎代庖。 一个示例配置如下:
调用方法
在Query改写的时候,可以利用HanLPAnalyzer分词结果中的词性等属性,如
String text = "zhong hua ren min gong he guo很辽阔";
for (int i = 0; i < text.length(); ++i)
{
System.out.print(text.charAt(i) + "" + i + " ");
}
System.out.println();
Analyzer analyzer = new HanLPAnalyzer();
TokenStream tokenStream = analyzer.tokenStream("field", text);
tokenStream.reset();
while (tokenStream.incrementToken())
{
CharTermAttribute attribute = tokenStream.getAttribute(CharTermAttribute.class);
// 偏移量
OffsetAttribute offsetAtt = tokenStream.getAttribute(OffsetAttribute.class);
// 距离
PositionIncrementAttribute positionAttr = tokenStream.getAttribute(PositionIncrementAttribute.class);
// 词性
TypeAttribute typeAttr = tokenStream.getAttribute(TypeAttribute.class);
System.out.printf("[%d:%d %d] %s/%s\n", offsetAtt.startOffset(), offsetAtt.endOffset(), positionAttr.getPositionIncrement(), attribute, typeAttr.type());
}
在另一些场景,支持以自定义的分词器(比如开启了命名实体识别的分词器、繁体中文分词器、CRF分词器等)构造HanLPTokenizer,比如:
tokenizer = new HanLPTokenizer(HanLP.newSegment()
.enableJapaneseNameRecognize(true)
.enableIndexMode(true), null, false);
tokenizer.setReader(new StringReader("林志玲亮相网友:确定不是波多野结衣?"));
文章摘自:2019 github
相关推荐
汉纳拼音Lucene插件(hanlp-lucene-plugin)是一个专为中文处理设计的扩展工具,它将著名的HanLP中文分词库与流行的全文检索框架Lucene进行了集成,旨在提升在Lucene及其衍生产品(如Solr)中的中文处理能力。...
hanlp-lucene-pluginHanLP中文分词Lucene插件基于HanLP,支持包括Solr(7.x)在内的任何基于Lucene(7.x)的系统。Maven < dependency> < groupId>...
总的来说,"基于hanlp的elasticsearch分词插件"是提升Elasticsearch处理中文文本能力的有效解决方案,它结合了HanLP的强大功能,使得在Java开发环境中,可以更方便地进行中文全文检索和分析。对于需要处理大量中文...
为了更好地支持中文处理,社区开发了各种中文分词插件,其中HanLP(全称:High-performance Natural Language Processing)是来自科大讯飞的一款高性能的自然语言处理工具包,它在中文分词、词性标注、命名实体识别...
### 开发ElasticSearch的HanLP中文插件 #### 一、概述 ElasticSearch作为一款流行的搜索引擎,因其高效的数据处理能力,在大数据时代受到了广泛的关注与应用。然而,对于中文内容的支持,ElasticSearch默认提供的...
在2.4.1这个版本中,Lucene已经包含了对中文分词的支持,可以与各种分词器如jieba、IK、HanLP等配合使用,实现更精准的中文搜索。Je-Analysis可以作为Lucene的分词插件,提供对中文文本的预处理服务,使得Lucene能更...
2. HanLP:由百度开源的自然语言处理工具包,提供了强大的中文分词、词性标注等功能,准确度较高,尤其适合复杂语境下的分词。 3. SmartChinese Analyzer:专为Solr和Lucene设计的中文分词器,支持停用词、自定义...
这通常涉及到安装和配置一个支持中文的分词库,例如IK Analyzer、HanLP、jieba分词等。这些分词库能够将连续的中文字符序列切分成具有语义意义的词汇,以便进行索引和搜索。 描述中提到,我们需要将分词库解压并...
5. **IK Analyzer**:IK Analyzer是一个开源的、基于Java的中文分词组件,最初设计用于Lucene/Solr的中文分词,后来发展为独立的分词系统,支持自定义词典和扩展插件。 6. **Thulac**:由清华大学自然语言处理实验...
中文分词是将连续的汉字序列切分成具有实际语义的词语单元。IK Analyzer采用基于词典和正向最大匹配(Forward Maximum Matching, FMM)以及逆向最大匹配(Backward Maximum Matching, BMM)的混合策略。这种策略结合...
适配Elasticsearch 7.5.1~7.10.2版本,更新HanLP版本至1.7.8,更新日志这次就不在每个release上加了,直接看README(7.5.1重新打包订正)(陆续上传中)修改分词流程,完全采用hankcs提供的hanlp-lucene-plugin进行,...
7. **多语言支持**:除了英文,Lucene.NET 还支持其他多种语言,包括中文,有对应的分词器插件可供使用,如IK Analyzer、HanLP、jieba分词等。 8. **分布式搜索**:通过 Solr 或 Elasticsearch(它们都是基于 ...
该压缩包中还包括了IK中文分词插件,这是一款专门为Elasticsearch设计的中文分词器,支持复杂的中文词汇和短语分析,提高了中文文本的索引质量和搜索效果。IK分词器在7.8.0版本中可能已经更新了词库和算法,提升了对...
常用的中文分词插件有IK分词器、HanLP分词器等。这些分词器可以将中文文本切分成单字、词组甚至词义,从而提升中文内容的搜索准确度。 3. ES Stack架构: 一个基本的ES Stack架构通常包括几个关键组件,这些组件...
此外,它还提供了多个插件的源码,如IK分词器、Pinyin插件和HanLP自然语言处理库,这些插件为Elasticsearch增加了中文处理和分析的能力。 1. **Elasticsearch核心概念**:Elasticsearch是一个基于Lucene构建的...
Nutch支持多种中文分词工具,如HanLP、jieba和IK Analyzer等,这些工具能够将中文句子分割成有意义的词语,为后续的索引和查询提供基础。 4. **Nutch工作流程**:Nutch的工作流程主要包括URL发现(抓取种子URL并...
Solr支持多种中文分词插件,比如Hanlp、IK Analyzer等,它们可以帮助Solr更好地处理中文内容。 对于大型网站,尤其是像积分商城这样的电商平台,性能问题尤为突出。尤其是在年底高峰时段,性能瓶颈和问题会变得格外...
可以使用开源的中文分词库如HanLP、IK Analyzer或自定义分词算法对文本进行处理。 1.3 索引构建:索引是搜索引擎快速检索的基础,可采用倒排索引结构。ASP.NET可以使用内存数据库(如Redis)或文件系统(如Lucene...
21. **THULAC**:清华大学开发的中文词性标注和分词系统。 22. **HanLP**:由阿里云开发的高性能自然语言处理库,支持多种NLP任务。 23. **LTP (Language Technology Platform)**:哈工大提供的中文NLP平台,包含...