package com.ourdms.util;
import java.io.IOException;
import java.io.StringReader;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.Token;
import org.apache.lucene.analysis.TokenStream;
import org.wltea.analyzer.lucene.IKAnalyzer;
public class SegDemo {
public static void main(String[] args) throws IOException {
String text = "中华人民共和国 ";
Analyzer analyzer = new IKAnalyzer();
StringReader reader = new StringReader(text);
long startTime = System.currentTimeMillis(); // 开始时间
TokenStream ts = analyzer.tokenStream("", reader);
Token token = new Token();
token = ts.next(token);
while(token!=null){
System.out.println(token.term());
token = ts.next(token);
}
//System.out.println(ts.next(token).term());
long endTime = System.currentTimeMillis(); // 结束时间
System.out.println("IK分词耗时" + new Float((endTime - startTime)) / 1000
+ "秒!");
}
}
分享到:
相关推荐
ikanalyzer中文分词支持lucene7.1.0是为了解决旧版ikanalyzer与新Lucene版本的兼容性问题而推出的,它使得开发者能够充分利用Lucene的最新特性,同时保持ikanalyzer的优秀分词性能,对于处理中文内容的搜索引擎和...
由于林良益先生在2012之后未对IKAnalyzer进行更新,后续lucene分词接口发生变化,导致不可使用,所以此jar包支持lucene6.0以上版本
Luence 为应用主体的,结合词典分词和文法分析算法的中文分词组件。新版本的IK Analyzer 3.0 则发展为面向Java 的公用分词组件,独立于Lucene 项目,同时提供了对 Lucene 的默认优化实现。 该资源包涵用户手册,API...
IKAnalyzer3.1.6GA.jar IKAnalyzer3.1.6GA.jar
提示:IKAnalyzer中文分词器支持Lucene6.0以上,IKAnalyzer中文分词器支持Lucene6.0以上。
**IKAnalyzer中文分词** IKAnalyzer是一款开源的、基于Java实现的中文分词工具,它在中文信息处理领域有着广泛的应用。该工具最初由尹军平(IkGuo)开发,设计目标是提供一个轻量级、高效能的中文分词引擎,用于...
标题中的“IKanalyzer2012修复与Lucene3.6.2Jar及IK使用示例”指的是一项关于优化IKAnalyzer2012版本的活动,这是一款流行的中文分词器,常用于Java环境下的信息检索和文本分析。Lucene3.6.2Jar则是Apache Lucene的...
这个分词器最初是基于开源项目Lucene的词典分词和文法分析算法开发的,但到了3.0版本之后,IKAnalyzer发展成为了一个独立于Lucene的通用分词组件,并提供了对Lucene的默认优化实现。 IKAnalyzer2012的结构设计采用...
### IKAnalyzer中文分词器V3.1.6:深入解析与使用指南 #### 一、IKAnalyzer3.0概述 IKAnalyzer是一个基于Java语言开发的高性能中文分词工具包,自2006年发布以来,已历经多次迭代升级。起初作为开源项目Lucene的一...
IKAnalyzer非常易用的java分词工具。可以自定义扩展词汇。 这个是一个完整的java项目demo。直接可以用,不用再去google下载了。添加了几个自定义词汇,测试好用。 运行ika.java里的main方法即可
作为一个文本分析组件,它最初是作为开源项目Lucene的一部分,综合运用了词典分词和文法分析算法。IKAnalyzer从3.0版本开始独立于Lucene项目,成为了一个面向Java的通用分词组件,并提供了对Lucene的优化实现。到了...
在给定的标题和描述中,我们看到IKAnalyzer已经更新以支持Lucene的高版本,包括5.x、6.x以及最新的7.3.1版本,这表明它持续跟进了Lucene的发展,确保与主流搜索引擎框架的兼容性。 1. **IKAnalyzer详解**: - IK...
自那时起,IK Analyzer已经发展成为一个广泛使用的中文分词工具,被许多企业和个人开发者应用于搜索引擎、内容管理系统、日志分析等领域。 中文分词是自然语言处理中的关键步骤,因为中文句子不像英文那样有明显的...
请注意,选择与Lucene兼容的IK Analyzer源码包,因为不是所有版本都支持4.7。 在Eclipse中,创建一个新的Java项目,例如名为“lucenetest”。然后,将Lucene的所需jar包(例如核心库、查询解析库等)从解压后的...
来自牛人修改的IKAnalyzer,https://github.com/sea-boat/IKAnalyzer-Mirror,亲测Lucene7.2可用
在Lucene索引构建过程中,你可以将IKAnalyzer作为Analyzer,这样分词器会自动处理文本的分词工作,提升搜索精度。 总之,IKAnalyzer中文分词器以其高效、易用和可扩展性在Java领域的中文处理中占有一席之地。通过...
IKAnalyzer继承Lucene的Analyzer抽象类,使用IKAnalyzer和Lucene自带的分析器方法一样,将Analyzer测试代码改为IKAnalyzer测试中文分词效果。 如果使用中文分词器ik-analyzer,就需要在索引和搜索程序中使用一致的...
最初,它是以开源项目Luence 为应用主体的,结合词典分词和文法分析算法的中文分词组件。 从 3.0 版本开始,IK 发展为面向 Java 的公用分词组件,独立于 Lucene 项目,同时提供了对 Lucene 的默认优化实现。 在 2012...
7. **与其他框架的集成**:IKAnalyzer可以方便地与Lucene、Solr、Elasticsearch等全文检索框架集成,为这些系统提供强大的中文分词能力。 通过这个"IKAnalyzer中文分词demo",开发者不仅可以了解IKAnalyzer的基本...