`
NumbCoder
  • 浏览: 24747 次
  • 性别: Icon_minigender_1
  • 来自: 苏州
最近访客 更多访客>>
社区版块
存档分类
最新评论

IK Analyzer 中文分词器---小试牛刀

阅读更多
   最近在跟着导师做一个有关短信过滤的大学生实践项目,之中用到了导师已经发表的关于中文语义分词的算法。一直听说Java开源社区的Lucene搜索很强大,很想研究一下。没想到意外收获到了IK Analyzer,中国人自己也的开源分词器,自己用了下,真的是很好很强大呀。对作者是由衷的钦佩啊!

     看了他提供的API,写了个小例子试了,切词的精准度还是蛮高的。强力推荐。

import java.io.FileNotFoundException;
import java.io.FileReader;
import java.io.IOException;
import java.io.Reader;

import org.wltea.analyzer.IKSegmentation;
import org.wltea.analyzer.Lexeme;

public class SearchDemo {
	public static void main(String []args){
		Reader read= null;
		try {
			 read =new FileReader("D:/wz/workspace/SearchDemo/src/test.txt");
		} catch (FileNotFoundException e) {
			e.printStackTrace();
		}
		IKSegmentation iks = new IKSegmentation(read);
		
		while(true){
			Lexeme lex=null;
			try {
				lex = iks.next();
				if(lex != null)
				System.out.print(lex.getLexemeText()+"|");
				if(lex == null)
					return;
			} catch (IOException e) {
				e.printStackTrace();
			}
		}
	}

}

IK Analyzer作者:linliangyi2007 (林良益)  博客: http://linliangyi2007.iteye.com/
分享到:
评论

相关推荐

    ik-analyzer-8.5.0-jar

    ik-analyzer是一款在Java环境下广泛使用的开源中文分词器,专为满足Java开发者在信息检索、文本分析等领域的需求而设计。这个资源是ik-analyzer的8.5.0版本,包含了一个名为"ik-analyzer-8.5.0-jar"的JAR文件,它是...

    ik分词器ik-analyzer-5.3.0和ikanalyzer-solr6.5-2018

    标题 "ik分词器ik-analyzer-5.3.0和ikanalyzer-solr6.5-2018" 涉及的是两个不同版本的IK分词器,一个是ik-analyzer-5.3.0,适用于Solr 5.5.0,另一个是ikanalyzer-solr6.5-2018,适用于Solr 7.0.0。IK分词器是Java...

    ik-analyzer-solr5-5.x.jar

    中文分词器ik-analyzer-solr5-5.x.jar,已经打包好,直接用就可以 2积分不黑心

    IKAnalyzer中文分词计算句子相似度

    **IKAnalyzer中文分词** IKAnalyzer是一款开源的、基于Java实现的中文分词工具,它在中文信息处理领域有着广泛的应用。该工具最初由尹军平(IkGuo)开发,设计目标是提供一个轻量级、高效能的中文分词引擎,用于...

    IKAnalyzer中文分词器

    IKAnalyzer是一款专为中文处理设计的开源分词器,它主要应用于搜索引擎、信息检索系统、文本挖掘等领域。这款工具能够高效地对中文文本进行分词,使得计算机可以更好地理解和处理中文信息。IKAnalyzer的名字来源于...

    ik-analyzer-solr-master_ik分词器_pocket7ce_源码_

    在标题"ik-analyzer-solr-master_ik分词器_pocket7ce_源码_"中,ik-analyzer-solr-master表明这是一个针对Apache Solr优化的ik分词器版本,适合与Solr集成进行全文检索。 **Ik Analyzer简介** Ik Analyzer是由国人...

    IKAnalyzer中文分词器v2012使用手册.pdf

    标题:"IKAnalyzer中文分词器v2012使用手册" 所述的知识点包括: IKAnalyzer是一款开源的基于Java语言开发的轻量级中文分词工具包,最早版本于2006年12月发布。作为一个文本分析组件,它最初是作为开源项目Lucene的...

    ik-analyzer-solr7.zip

    在描述中提到的"ik-analyzer-solr7.zip"是一个专门为Apache Solr 7.x版本定制的IKAnalyzer分词器插件。Solr是Apache软件基金会的一个项目,它是一款强大的全文搜索服务器,提供了诸如索引、搜索、高亮显示、拼写检查...

    solr6的中文分词器ik-analyzer-solr-6.0.jar

    solr6的中文分词器ik-analyzer-solr-6.0.jar,在solr上亲测可用

    IKAnalyzer中文分词器V3.2使用

    **IKAnalyzer中文分词器V3.2使用详解** IKAnalyzer是一款开源的、适用于Java环境的中文分词器,主要用于解决在信息检索、文本挖掘等领域中遇到的中文处理问题。这款分词器的设计目标是提高分词的准确率,并且具有...

    solr5的中文分词器ik-analyzer-solr5-master.zip

    **Solr5中文分词器IK Analyzer详解** IK Analyzer是一个广泛使用的开源中文分词器,尤其在搜索引擎领域,如Apache Solr和Elasticsearch中,它扮演着关键的角色。本项目"ik-analyzer-solr5-master.zip"是IK Analyzer...

    IK Analyzer中文分词器

    **IK Analyzer中文分词器详解** IK Analyzer是一个在IT领域广泛应用的开源项目,它专注于Java平台上的中文分词处理。中文分词是自然语言处理(NLP)中的基础任务,对于信息检索、文本挖掘、机器翻译等领域至关重要...

    Java IKAnalyzer 中文分词器

    IK-Analyzer是一个开源的,基于java语言开发的轻量级的中文分词工具包,也就是可以将一串中文字符分割成一个个的词组或者字词 文件中包含分词工具 ikanalyzer-2012_u6.jar 中文分词配置 IKAnalyzer.cfg..xml

    IKAnalyzer中文分词器V2012使用手册_20190806.pdf

    IKAnalyzer是一个开源的中文分词器,基于Java语言开发,它是一个轻量级的中文分词工具包。IKAnalyzer自2006年12月推出1.0版本以来,已经发展到了2012版本。这个分词器最初是基于开源项目Lucene的词典分词和文法分析...

    ik-analyzer-7.6.0-jar

    ik-analyzer是一款开源的Java语言中文分词器,它最初是基于Lucene项目发展起来的,致力于提高中文文本处理的效率和准确性。7.6.0版本是ik-analyzer的一个重要里程碑,它包含了多项优化和改进,提高了对现代汉语词汇...

    IK Analyzer 中文分词器下载

    IK Analyzer 是一个开源的、基于Java实现的中文分词器,专为全文检索或信息提取等任务设计。它由尹力(Wu Li)在2006年发起,最初是为了改善Lucene的中文处理能力。自那时起,IK Analyzer已经发展成为一个广泛使用的...

    IKAnalyzer中文分词器 java

    IKAnalyzer是一款针对中文的开源分词器,专为Java平台设计。它在处理中文文本时,能够有效地进行词语切分,提升文本分析的准确性和效率。这个工具在信息检索、自然语言处理、文本挖掘等领域有着广泛的应用。 1. **...

    ik-analyzer-solr7-7.x.zip

    IK Analyzer,全称为“IntelligentKeyword Analyzer”,是一个为Java设计的高性能中文分词器。它最初是基于Lucene的Analyzer实现,现在也支持Solr等其他搜索框架。IK Analyzer以其优秀的分词效果和高度可扩展性著称...

Global site tag (gtag.js) - Google Analytics