`
wmj2003
  • 浏览: 100145 次
  • 来自: ...
文章分类
社区版块
存档分类
最新评论

IkAnalyzer3.1.6 分词 (兼容lucene2.4 和2.9)

 
阅读更多

package com.ourdms.util;

import java.io.IOException;
import java.io.StringReader;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.Token;
import org.apache.lucene.analysis.TokenStream;
import org.wltea.analyzer.lucene.IKAnalyzer;


public class SegDemo {

    public static void main(String[] args) throws IOException {
        String text = "中华人民共和国 ";
        Analyzer analyzer = new IKAnalyzer();
        StringReader reader = new StringReader(text);

        long startTime = System.currentTimeMillis(); // 开始时间
        TokenStream ts = analyzer.tokenStream("", reader);
        Token token = new Token();
        token = ts.next(token);
        while(token!=null){            
            System.out.println(token.term());
            token = ts.next(token);
        }
        //System.out.println(ts.next(token).term());

        long endTime = System.currentTimeMillis(); // 结束时间
        System.out.println("IK分词耗时" + new Float((endTime - startTime)) / 1000
                + "秒!");
    }
}

分享到:
评论

相关推荐

    ikanalyzer中文分词支持lucene7.1.0

    ikanalyzer中文分词支持lucene7.1.0是为了解决旧版ikanalyzer与新Lucene版本的兼容性问题而推出的,它使得开发者能够充分利用Lucene的最新特性,同时保持ikanalyzer的优秀分词性能,对于处理中文内容的搜索引擎和...

    IKAnalyzer中文分词支持lucene6.5.0版本

    由于林良益先生在2012之后未对IKAnalyzer进行更新,后续lucene分词接口发生变化,导致不可使用,所以此jar包支持lucene6.0以上版本

    IKAnalyzer3.1.6GA完整包

    Luence 为应用主体的,结合词典分词和文法分析算法的中文分词组件。新版本的IK Analyzer 3.0 则发展为面向Java 的公用分词组件,独立于Lucene 项目,同时提供了对 Lucene 的默认优化实现。 该资源包涵用户手册,API...

    IKAnalyzer3.1.6GA.jar下载

    IKAnalyzer3.1.6GA.jar IKAnalyzer3.1.6GA.jar

    IKAnalyzer中文分词器支持Lucene6.0以上

    提示:IKAnalyzer中文分词器支持Lucene6.0以上,IKAnalyzer中文分词器支持Lucene6.0以上。

    IKAnalyzer中文分词计算句子相似度

    **IKAnalyzer中文分词** IKAnalyzer是一款开源的、基于Java实现的中文分词工具,它在中文信息处理领域有着广泛的应用。该工具最初由尹军平(IkGuo)开发,设计目标是提供一个轻量级、高效能的中文分词引擎,用于...

    IKanalyzer2012修复与Lucene3.6.2Jar及IK使用示例

    标题中的“IKanalyzer2012修复与Lucene3.6.2Jar及IK使用示例”指的是一项关于优化IKAnalyzer2012版本的活动,这是一款流行的中文分词器,常用于Java环境下的信息检索和文本分析。Lucene3.6.2Jar则是Apache Lucene的...

    IKAnalyzer中文分词器V2012使用手册_20190806.pdf

    这个分词器最初是基于开源项目Lucene的词典分词和文法分析算法开发的,但到了3.0版本之后,IKAnalyzer发展成为了一个独立于Lucene的通用分词组件,并提供了对Lucene的默认优化实现。 IKAnalyzer2012的结构设计采用...

    IKAnalyzer中文分词器

    ### IKAnalyzer中文分词器V3.1.6:深入解析与使用指南 #### 一、IKAnalyzer3.0概述 IKAnalyzer是一个基于Java语言开发的高性能中文分词工具包,自2006年发布以来,已历经多次迭代升级。起初作为开源项目Lucene的一...

    IKAnalyzer 中文分词 完整java项目demo

    IKAnalyzer非常易用的java分词工具。可以自定义扩展词汇。 这个是一个完整的java项目demo。直接可以用,不用再去google下载了。添加了几个自定义词汇,测试好用。 运行ika.java里的main方法即可

    IKAnalyzer中文分词器v2012使用手册.pdf

    作为一个文本分析组件,它最初是作为开源项目Lucene的一部分,综合运用了词典分词和文法分析算法。IKAnalyzer从3.0版本开始独立于Lucene项目,成为了一个面向Java的通用分词组件,并提供了对Lucene的优化实现。到了...

    IKAnalyzer 支持高版本最新Lucene 5.x、6.x、7.x

    在给定的标题和描述中,我们看到IKAnalyzer已经更新以支持Lucene的高版本,包括5.x、6.x以及最新的7.3.1版本,这表明它持续跟进了Lucene的发展,确保与主流搜索引擎框架的兼容性。 1. **IKAnalyzer详解**: - IK...

    IK Analyzer 中文分词器下载

    自那时起,IK Analyzer已经发展成为一个广泛使用的中文分词工具,被许多企业和个人开发者应用于搜索引擎、内容管理系统、日志分析等领域。 中文分词是自然语言处理中的关键步骤,因为中文句子不像英文那样有明显的...

    Lucene4.7+IK Analyzer中文分词入门教程

    请注意,选择与Lucene兼容的IK Analyzer源码包,因为不是所有版本都支持4.7。 在Eclipse中,创建一个新的Java项目,例如名为“lucenetest”。然后,将Lucene的所需jar包(例如核心库、查询解析库等)从解压后的...

    IKAnalyzer 支持高版本Lucene 6.x及以上

    来自牛人修改的IKAnalyzer,https://github.com/sea-boat/IKAnalyzer-Mirror,亲测Lucene7.2可用

    IKAnalyzer中文分词器V3.2使用

    在Lucene索引构建过程中,你可以将IKAnalyzer作为Analyzer,这样分词器会自动处理文本的分词工作,提升搜索精度。 总之,IKAnalyzer中文分词器以其高效、易用和可扩展性在Java领域的中文处理中占有一席之地。通过...

    IKAnalyzer中文分词.rar

    IKAnalyzer继承Lucene的Analyzer抽象类,使用IKAnalyzer和Lucene自带的分析器方法一样,将Analyzer测试代码改为IKAnalyzer测试中文分词效果。 如果使用中文分词器ik-analyzer,就需要在索引和搜索程序中使用一致的...

    使用IK Analyzer实现中文分词之Java实现

    最初,它是以开源项目Luence 为应用主体的,结合词典分词和文法分析算法的中文分词组件。 从 3.0 版本开始,IK 发展为面向 Java 的公用分词组件,独立于 Lucene 项目,同时提供了对 Lucene 的默认优化实现。 在 2012...

    IKAnalyzer 中文分词demo

    7. **与其他框架的集成**:IKAnalyzer可以方便地与Lucene、Solr、Elasticsearch等全文检索框架集成,为这些系统提供强大的中文分词能力。 通过这个"IKAnalyzer中文分词demo",开发者不仅可以了解IKAnalyzer的基本...

Global site tag (gtag.js) - Google Analytics