IK Analyzer 分词器的使用Demo,也是看了我一个朋友的博客,自己理解了下,就放在这里了,代码稍微改了改,希望能对IK Analyzer感兴趣的朋友有帮助。
package com.eric.lucene;
import java.io.IOException;
import java.io.StringReader;
import org.wltea.analyzer.IKSegmentation;
import org.wltea.analyzer.Lexeme;
public class IKAnalyzerApp {
public static void main(String[] args) {
IKSegmentation seg = null;
String text = "苏轼不是圣人,他最可贵的地方是在痛苦彷徨挣扎中,"
+ "总能把自己的心灵置于更广阔的天地中,如同《赤壁后赋》中横飞而去的老鹤,"
+ "戛戛于星空夜月,长河大江之上,澄明清澈,皎然不滓。"
+ "苏轼是一个善于苦中找乐的人,这种乐观与真趣帮他度过了不少难关。"
+ "画家陈丹青说鲁迅是一个有趣的人,我想,拿来说苏东坡一样也行。";
StringReader reader = new StringReader(text);
seg = new IKSegmentation(reader);
Lexeme lex = null;
try {
while ((lex = seg.next()) != null) {
System.out.print(lex.getLexemeText() + "|");
}
} catch (IOException e) {
e.printStackTrace();
}
}
}
结果:
引用
苏轼|不是|圣人|他|最可|可贵|的|地方|是|在|痛苦|彷徨|挣扎|中|总能|能把|自己|的|心灵|置于|更广|广阔|的|天地|地中|如同|赤壁|后|赋|中|横飞|而去|的|老|鹤|戛戛|于|星空|夜|月|长河|大江|之上|澄明|明清|清澈|皎|然|不|滓|苏轼|是|一个|一|个|善于|于|苦|中|找乐|的人|这种|乐观|与|真|趣|帮|他|度过|过了|不少|难关|画家|陈|丹青|说|鲁迅|是|一个|一|个|有趣|的人|我|想|拿来|来说|苏东坡|东坡|一样|一|样|也行|
分享到:
相关推荐
IKAnalyzer非常易用的java分词工具。可以自定义扩展词汇。 这个是一个完整的java项目demo。直接可以用,不用再去google下载了。添加了几个自定义词汇,测试好用。 运行ika.java里的main方法即可
public class IKAnalyzerDemo { public static void main(String[] args) throws IOException { // 初始化Lucene Analyzer Analyzer analyzer = new IKAnalyzer(true); // 创建文档 Document doc = new ...
标题 "IKAnalyzer中文分词demo" 指的是一个基于IKAnalyzer的中文分词演示项目。IKAnalyzer是一款开源的、适用于Java平台的全文检索引擎工具,主要功能是对中文文本进行有效的分词处理,广泛应用于搜索引擎、信息检索...
IKAnalyzer_Demo可能是一个包含示例代码的压缩包,用于演示如何使用IKAnalyzer进行中文分词以及计算句子相似度。在实践中,开发者通常会先配置IKAnalyzer,加载词典,然后对输入的句子进行分词,接着选择一种相似度...
public class IKAnalyzerDemo { public static void main(String[] args) throws IOException { // 创建Analyzer实例 Analyzer analyzer = new IKAnalyzer(true); // 准备待分词文本 String text = "IK-...
"demo" 文件通常包含示例代码或可执行程序,展示了IKAnalyzer的基本用法和功能。通过运行这些示例,开发者可以直观地理解如何在实际项目中调用分词器,进行文本预处理。这有助于加速学习过程,降低应用门槛。 在...
public class IKAnalyzerDemo { public static void main(String[] args) { // 创建Lucene Analyzer对象 Analyzer analyzer = new IKAnalyzer(true); // 创建Lucene IndexWriter对象 Directory indexDir = ...
在这个"solr_5.0_tomcat7_IKAnalyzer中文分词安装及demo"的压缩包中,你将找到如何在Solr 5.0中集成IKAnalyzer并进行演示的详细步骤。 首先,我们需要了解Solr与IKAnalyzer的集成过程: 1. **下载和解压**:获取...
IKAnalyzer2012_u6 jar包 +IKAnalyzer中文分词器V2012_U5使用手册.pdf+IKAnalyzer中文分词器V2012使用手册.pdf PS: 中文文档,里面有详细使用demo。下载即用! 非常好用!
基于lucene与IKAnalyzer的中文搜索demo及学习记录 Lucene是apache下的一个开放源代码的全文检索引擎工具包。提供了完整的查询引擎和索引引擎,部分文本分析引擎。 Lucene的目的是为软件开发人员提供一个简单易用的...
在`IKAnalyzer_Demo`这个压缩包中,通常包含了IKAnalyzer的示例代码,可能包括以下内容: - `IKAnalyzer`类的使用方法,展示如何初始化、设置参数以及进行分词操作。 - `AnalyzerDemo.java`:演示如何使用IK...
你好页 一个非常简单的个人网站。 这是一个项目,因此请使用fork开始制作自己的项目。 请参阅的演示。 创建自己的 你需要: ☟ ... 现在,您在GitHub帐户上有了该存储库的副本!...分叉后,单击“设置”并重命名您的...
《深入理解Lucene 6.6.2 API与IKAnalyzer分词器》 在信息技术领域,搜索引擎技术扮演着至关重要的角色,而Lucene作为开源全文检索库,为开发者提供了强大的文本搜索功能。本文将深入探讨Lucene 6.6.2版本的API使用...
其中,IKAnalyzer(IK分词器)是一个广泛使用的开源中文分词组件,它具有良好的性能和较高的分词准确性。IKAnalyzer能够根据上下文信息动态调整词典,以适应不同场景的分词需求。在Lucene中,我们可以通过设置...
在这个“Lucene全文检索的各种例子”中,我们将探讨如何使用不同的分词器,如ikAnalyzer和smartChineseAnalyzer,来实现中文文本的索引和搜索。 首先,让我们深入理解一下Lucene。Lucene的核心功能包括文档的索引和...
在这个“ssh集成Lucene4.7demo”项目中,开发者将SSH框架与Lucene 4.7版本的全文搜索引擎进行了整合,同时还引入了IKAnalyzer作为中文分词器,以支持对中文文本的处理。这个示例项目不仅包含了基本的整合工作,还...
分词器的配置是灵活的,可以根据需求选择不同的分词策略,比如标准分词器(StandardAnalyzer)适用于大多数英文文本,而中文分词可能需要使用IKAnalyzer或SmartChineseAnalyzer等针对中文特性的分词器。 在运行这个...
2.通过IKAnalyzer搜索中文关键词 3.复杂的多字段搜索 4.多线程并发搜索,通过contiperf测试,详见:contiperf_百度百科 5.分页搜索 注意:lucene4.10.0需要jdk1.7以上版本,1.6版本以下明确不再支持。lucene支持...
在Java中,通常会使用IK Analyzer、HanLP、jieba分词等第三方分词库,这些库能够对中文文本进行有效的分词。在这个demo中,分词库可能被用于将新闻内容拆分为可索引的词汇。 "org"目录可能是项目中的源代码组织结构...