`

HanLP中文分词Lucene插件

阅读更多

 

 

基于HanLP,支持包括Solr(7.x)在内的任何基于Lucene(7.x)的系统。



 

Maven

    <dependency>

      <groupId>com.hankcs.nlp</groupId>

      <artifactId>hanlp-lucene-plugin</artifactId>

      <version>1.1.6</version>

    </dependency>

Solr快速上手

1.hanlp-portable.jar和hanlp-lucene-plugin.jar共两个jar放入${webapp}/WEB-INF/lib下。(或者使用mvn package对源码打包,拷贝target/hanlp-lucene-plugin-x.x.x.jar到${webapp}/WEB-INF/lib下)

2. 修改solr core的配置文件${core}/conf/schema.xml:

  <fieldType name="text_cn" class="solr.TextField">

      <analyzer type="index">

          <tokenizer class="com.hankcs.lucene.HanLPTokenizerFactory" enableIndexMode="true"/>

      </analyzer>

      <analyzer type="query">

          <!-- 切记不要在query中开启index模式 -->

          <tokenizer class="com.hankcs.lucene.HanLPTokenizerFactory" enableIndexMode="false"/>

      </analyzer>

  </fieldType>

  <!-- 业务系统中需要分词的字段都需要指定type为text_cn -->

  <field name="my_field1" type="text_cn" indexed="true" stored="true"/>

  <field name="my_field2" type="text_cn" indexed="true" stored="true"/>

· 如果你的业务系统中有其他字段,比如location,summary之类,也需要一一指定其type="text_cn"。切记,否则这些字段仍旧是solr默认分词器。

· 另外,切记不要在query中开启indexMode,否则会影响PhaseQuery。indexMode只需在index中开启一遍即可。

高级配置

目前本插件支持如下基于schema.xml的配置:



 

 

 

更高级的配置主要通过class path下的hanlp.properties进行配置,请阅读HanLP自然语言处理包文档以了解更多相关配置,如:

 

0.用户词典

1.词性标注

2.简繁转换

3.……

停用词与同义词

 

推荐利用Lucene或Solr自带的filter实现,本插件不会越俎代庖。 一个示例配置如下:



 

 

 

调用方法

Query改写的时候,可以利用HanLPAnalyzer分词结果中的词性等属性,如

 

String text = "zhong hua ren min gong he guo很辽阔";

for (int i = 0; i < text.length(); ++i)

{

    System.out.print(text.charAt(i) + "" + i + " ");

}

System.out.println();

Analyzer analyzer = new HanLPAnalyzer();

TokenStream tokenStream = analyzer.tokenStream("field", text);

tokenStream.reset();

while (tokenStream.incrementToken())

{

    CharTermAttribute attribute = tokenStream.getAttribute(CharTermAttribute.class);

    // 偏移量

    OffsetAttribute offsetAtt = tokenStream.getAttribute(OffsetAttribute.class);

    // 距离

    PositionIncrementAttribute positionAttr = tokenStream.getAttribute(PositionIncrementAttribute.class);

    // 词性

    TypeAttribute typeAttr = tokenStream.getAttribute(TypeAttribute.class);

    System.out.printf("[%d:%d %d] %s/%s\n", offsetAtt.startOffset(), offsetAtt.endOffset(), positionAttr.getPositionIncrement(), attribute, typeAttr.type());

}

在另一些场景,支持以自定义的分词器(比如开启了命名实体识别的分词器、繁体中文分词器、CRF分词器等)构造HanLPTokenizer,比如:

 

tokenizer = new HanLPTokenizer(HanLP.newSegment()

                                    .enableJapaneseNameRecognize(true)

                                    .enableIndexMode(true), null, false);

tokenizer.setReader(new StringReader("林志玲亮相网友:确定不是波多野结衣?"));

文章摘自:2019 github

 

 

 

  • 大小: 2.3 MB
  • 大小: 123.5 KB
  • 大小: 102.6 KB
分享到:
评论

相关推荐

    hanlp-lucene-plugin, HanLP中文分词Lucene插件,支持包括Solr在内的基于Lucene的系统.zip

    汉纳拼音Lucene插件(hanlp-lucene-plugin)是一个专为中文处理设计的扩展工具,它将著名的HanLP中文分词库与流行的全文检索框架Lucene进行了集成,旨在提升在Lucene及其衍生产品(如Solr)中的中文处理能力。...

    hanlp-lucene-plugin:HanLP中文分词Lucene插件,支持包括Solr内置的基于Lucene的系统

    hanlp-lucene-pluginHanLP中文分词Lucene插件基于HanLP,支持包括Solr(7.x)在内的任何基于Lucene(7.x)的系统。Maven &lt; dependency&gt; &lt; groupId&gt;...

    基于hanlp的elasticsearch分词插件

    总的来说,"基于hanlp的elasticsearch分词插件"是提升Elasticsearch处理中文文本能力的有效解决方案,它结合了HanLP的强大功能,使得在Java开发环境中,可以更方便地进行中文全文检索和分析。对于需要处理大量中文...

    elasticsearch的hanlp中文插件

    为了更好地支持中文处理,社区开发了各种中文分词插件,其中HanLP(全称:High-performance Natural Language Processing)是来自科大讯飞的一款高性能的自然语言处理工具包,它在中文分词、词性标注、命名实体识别...

    开发ElasticSearch的HanLP中文插件含截图

    ### 开发ElasticSearch的HanLP中文插件 #### 一、概述 ElasticSearch作为一款流行的搜索引擎,因其高效的数据处理能力,在大数据时代受到了广泛的关注与应用。然而,对于中文内容的支持,ElasticSearch默认提供的...

    je-analysis-1.5.3、lucene-core-2.4.1分词组件

    在2.4.1这个版本中,Lucene已经包含了对中文分词的支持,可以与各种分词器如jieba、IK、HanLP等配合使用,实现更精准的中文搜索。Je-Analysis可以作为Lucene的分词插件,提供对中文文本的预处理服务,使得Lucene能更...

    solr中文分词器

    2. HanLP:由百度开源的自然语言处理工具包,提供了强大的中文分词、词性标注等功能,准确度较高,尤其适合复杂语境下的分词。 3. SmartChinese Analyzer:专为Solr和Lucene设计的中文分词器,支持停用词、自定义...

    Solr5.4中文分词

    这通常涉及到安装和配置一个支持中文的分词库,例如IK Analyzer、HanLP、jieba分词等。这些分词库能够将连续的中文字符序列切分成具有语义意义的词汇,以便进行索引和搜索。 描述中提到,我们需要将分词库解压并...

    各类分词器合集!!!!!

    5. **IK Analyzer**:IK Analyzer是一个开源的、基于Java的中文分词组件,最初设计用于Lucene/Solr的中文分词,后来发展为独立的分词系统,支持自定义词典和扩展插件。 6. **Thulac**:由清华大学自然语言处理实验...

    IK Analyzer中文分词器

    中文分词是将连续的汉字序列切分成具有实际语义的词语单元。IK Analyzer采用基于词典和正向最大匹配(Forward Maximum Matching, FMM)以及逆向最大匹配(Backward Maximum Matching, BMM)的混合策略。这种策略结合...

    elasticsearch-analysis-hanlp:用于Elasticsearch的HanLP分析器

    适配Elasticsearch 7.5.1~7.10.2版本,更新HanLP版本至1.7.8,更新日志这次就不在每个release上加了,直接看README(7.5.1重新打包订正)(陆续上传中)修改分词流程,完全采用hankcs提供的hanlp-lucene-plugin进行,...

    Lucene.net

    7. **多语言支持**:除了英文,Lucene.NET 还支持其他多种语言,包括中文,有对应的分词器插件可供使用,如IK Analyzer、HanLP、jieba分词等。 8. **分布式搜索**:通过 Solr 或 Elasticsearch(它们都是基于 ...

    elasticsearch7.8.0.zip

    该压缩包中还包括了IK中文分词插件,这是一款专门为Elasticsearch设计的中文分词器,支持复杂的中文词汇和短语分析,提高了中文文本的索引质量和搜索效果。IK分词器在7.8.0版本中可能已经更新了词库和算法,提升了对...

    ES stack技术分享

    常用的中文分词插件有IK分词器、HanLP分词器等。这些分词器可以将中文文本切分成单字、词组甚至词义,从而提升中文内容的搜索准确度。 3. ES Stack架构: 一个基本的ES Stack架构通常包括几个关键组件,这些组件...

    elasticsearch7.14.0.zip

    此外,它还提供了多个插件的源码,如IK分词器、Pinyin插件和HanLP自然语言处理库,这些插件为Elasticsearch增加了中文处理和分析的能力。 1. **Elasticsearch核心概念**:Elasticsearch是一个基于Lucene构建的...

    nutch开发资料 搜索引擎

    Nutch支持多种中文分词工具,如HanLP、jieba和IK Analyzer等,这些工具能够将中文句子分割成有意义的词语,为后续的索引和查询提供基础。 4. **Nutch工作流程**:Nutch的工作流程主要包括URL发现(抓取种子URL并...

    积分商城基于Solr的搜索引擎优化

    Solr支持多种中文分词插件,比如Hanlp、IK Analyzer等,它们可以帮助Solr更好地处理中文内容。 对于大型网站,尤其是像积分商城这样的电商平台,性能问题尤为突出。尤其是在年底高峰时段,性能瓶颈和问题会变得格外...

    基于ASPNET搜索引擎设计与实现(20210809124818).pdf

    可以使用开源的中文分词库如HanLP、IK Analyzer或自定义分词算法对文本进行处理。 1.3 索引构建:索引是搜索引擎快速检索的基础,可采用倒排索引结构。ASP.NET可以使用内存数据库(如Redis)或文件系统(如Lucene...

    45个小众而实用的NLP开源工具.rar

    21. **THULAC**:清华大学开发的中文词性标注和分词系统。 22. **HanLP**:由阿里云开发的高性能自然语言处理库,支持多种NLP任务。 23. **LTP (Language Technology Platform)**:哈工大提供的中文NLP平台,包含...

Global site tag (gtag.js) - Google Analytics