猎兔分词

yahaitt

浏览: 760803 次
性别:
来自: 杭州

最近访客更多访客>>

akingde

xuriyunhai

llx156158574

sqllib

博主相关

博客

微博

相册

留言

关于我

文章分类

社区版块

存档分类

博客分类：

java底层应用

lucene Java Apache 算法企业应用

1、猎兔分词的特性：

l 可以作为lucene的一个模块调用，作为二元分词方法的替代。该组件直接扩展org.apache.lucene.analysis.Tokenizer和org.apache.lucene.analysis.Analyzer 类。

l 分词准确率98%以上。

l 同时支持分词和词性标注。

l 提供参数调节分词准确性和切分速度。

l 100%采用java实现的分词组件，无内存泄漏问题。可长期不间断运行。

l 采用多种分词方法结合，包括基于概率的n元切分方法，隐马尔科夫模型，未登录词识别算法，歧义识别算法和基于规则的方法等。

l 未登录词的识别包括：人名，地名，译名，企业机构名的完整识别。

l 采用多个大规模语料库训练概率词库。

l 针对多线程使用优化，占用内存少。

支持组合分词的方式。是针对合成词的特殊优化。例如，中华人民共和国是一个词，共和国也是一个词。

2、应用

CnAnalyzer.java

package com.feedsky;
import java.io.Reader;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.LowerCaseFilter;
import org.apache.lucene.analysis.PorterStemFilter;
import org.apache.lucene.analysis.TokenStream;
import com.lietu.seg.result.CnTokenizer;
import com.lietu.seg.result.PlaceFilter;
public class CnAnalyzer extends Analyzer {
//~ Static fields/initializers ---------------------------------------------
/**
* An array containing some common English words that are not usually
* useful for searching. and some double-byte interpunctions.....
*/
/*private static String[] stopWords = {
"www","的","和","与","时","在",
"是","被","所","那","这","有",
"将","会","为","对","了","过",
"去"};*/
//~ Instance fields --------------------------------------------------------
/** stop word list */
//private Set stopSet;
//~ Constructors -----------------------------------------------------------
/**
* Builds an analyzer which removes words in STOP_WORDS.
*/
public CnAnalyzer() {
//stopSet = StopFilter.makeStopSet(stopWords);
}
/**
* Builds an analyzer which removes words in the provided array.
*
* @param stopWords stop word array
*/
public CnAnalyzer(String[] stopWords) {
//stopSet = StopFilter.makeStopSet(stopWords);
}
//~ Methods ----------------------------------------------------------------
/**
* get token stream from input
*
* @param fieldName lucene field name
* @param reader input reader
*
* @return TokenStream
*/
public final TokenStream tokenStream(String fieldName, Reader reader) {
TokenStream result = new CnTokenizer(reader);
result = new LowerCaseFilter(result);
result = new PorterStemFilter(result);
result = new PlaceFilter(result);
return result;
}
}

testCnAnalyzer.java

package com.feedsky;
import java.io.StringReader;
import org.apache.lucene.analysis.Token;
import org.apache.lucene.analysis.TokenStream;
import com.lietu.seg.result.CnTokenizer;
public class testCnAnalyzer {
public static void main(String[] args) {
try {
testCnAnalyzer();
} catch (Exception e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
public static void testCnAnalyzer() throws Exception {
long startTime;
long endTime;
StringReader input;
CnTokenizer.makeTag = false;
String sentence ="其中包括兴安至全州、桂林至兴安、全州至黄沙河、阳朔至平乐、桂林至阳朔、桂林市国道过境线灵川至三塘段、平乐至钟山、桂林至三江高速公路。";
input = new java.io.StringReader(sentence);
startTime = System.currentTimeMillis();
TokenStream tokenizer = new com.lietu.seg.result.CnTokenizer(input);
endTime = System.currentTimeMillis();
System.out.println("first seg time cost:" + (endTime - startTime));
for (Token t = tokenizer.next(); t != null; t = tokenizer.next())
{
System.out.println(t.termText() + " " + t.startOffset() + " "
+ t.endOffset() + " " + t.type());
}
}
}

TestArray.java

package com.feedsky;
import java.util.ArrayList;
import com.lietu.seg.result.CnToken;
import com.lietu.seg.result.Tagger;
/**
* 以数组形式返回结果,ArrayList中保存的对象类型是seg.result.CnToken.
* TestArray.java
*java -Ddic.dir=/home/spider/luceneindex/dict -classpath .:/usr/java/jdk1.5.0_11/lib/tools.jar:/usr/java/jdk1.5.0_11/lib/dt.jar:/usr/java/jdk1.5.0_11/jre/lib/:/home/spider/luceneindex/classes:/home/spider/luceneindex/lib/seg.jar com.feedsky.TestArray
* @author
*/
public class TestArray {
public static void testFormatSegResult() throws Exception {
long startTime;
long endTime;
Tagger.makeTag= true;
String sentence ="上海雷天软件科技有限... 公司上海雷天软件科技有限公司是一家从事通信软件制作的公司，为适应市场的高速发展，组织有更具潜力的团队，现诚聘请有资深经验，渴望成就与新挑战并能承受快速发展压力的年轻才俊加盟。户籍不限，唯才是用。联系方式：电话：021-36030126 E-mail：zhujc@linghui.com 职位1：软件开发工程师职位描述： JAVA软件工程师（3-4人）责任：负责java软件程序编码工作，";
ArrayList result = Tagger.getFormatSegResult(sentence);
startTime = System.currentTimeMillis();
for (int i=0; i
{
CnToken t = (CnToken)result.get(i);
System.out.println(t.termText + " " + t.startOffset() + " "
+ t.endOffset() + " "+t.type);
}
endTime = System.currentTimeMillis();
System.out.println("first seg time cost:" + ( endTime - startTime));
}
public static void main(String[] args){
try{
testFormatSegResult();
}catch(Exception e){
e.printStackTrace();
}
}
}

TestSentence1.java

package com.feedsky;
import com.lietu.seg.result.Tagger;
/**
* 返回是个分割好的句子
* TestSentence1.java
*
* @author
*/
public class TestSentence1 {
public static void testSentence()
{
String sSentence="二桥工程指挥部指挥长王燮培告诉记者，";
String sSentenceResult;
long startTime = System.currentTimeMillis();
sSentenceResult= Tagger.getNormalSegResult(sSentence);
System.out.println("seg time cost:" + (System.currentTimeMillis() - startTime));
System.out.println(sSentenceResult);
sSentence="我看见一座座山。";
sSentenceResult= Tagger.getNormalSegResult(sSentence);
System.out.println(sSentenceResult);
sSentence="１９６９年，一个偶然的机会，他们受法国文化部艺术司司长安东尼奥先生之邀，";
sSentenceResult= Tagger.getNormalSegResult(sSentence);
System.out.println(sSentenceResult);
}
public static void main(String[] args){
testSentence();
}
}

TokenTest.java

package com.feedsky;
import java.util.ArrayList;
import com.lietu.seg.result.CnToken;
import com.lietu.seg.result.Tagger;
public class TokenTest {
/**
* @param args
*/
public static void main(String[] args) {
try {
testFormatSegResult();
} catch (Exception e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
public static void testFormatSegResult() throws Exception {
long startTime;
long endTime;
Tagger.makeTag = false;
String sentence ="其中包括兴安至全州、桂林至兴安、全州至黄沙河、阳朔至平乐、桂林至阳朔、桂林市国道过境线灵川至三塘段、平乐至钟山、桂林至三江高速公路。";
ArrayList result = Tagger.getFormatSegResult(sentence);
startTime = System.currentTimeMillis();
for (int i = 0; i < result.size(); i++) {
CnToken t = (CnToken) result.get(i);
System.out.println(t.termText() + " " + t.startOffset() + " "
+ t.endOffset() + " " + t.type());
}
endTime = System.currentTimeMillis();
System.out.println("first seg time cost:" + (endTime - startTime));
}
}

Item.java

package com.feedsky;
public class Item {
private String url;
private String docid;
private String content;
public String getContent() {
return content;
}
public void setContent(String content) {
this.content = content;
}
public String getDocid() {
return docid;
}
public void setDocid(String docid) {
this.docid = docid;
}
public String getUrl() {
return url;
}
public void setUrl(String url) {
this.url = url;
}
}

在运行这些程序前，需要设置环境，用以指定猎兔分词中需要用到的词库所在目录 -Ddic.dir=D:/wjlproject/lietuTest/dict

或者通过在eclipse中的Arguments标签中的VM arguments输入框中输入 -Ddic.dir=D:/wjlproject/lietuTest/dict

如果发现运行时内存溢出问题，可以设置内存的最小和最大值来避免这个情况的发生

-Ddic.dir=D:/wjlproject/httpclient/dict -Xms30m -Xmx512m

分享到：

用Cookie实现的购物车 | mysql数据库优化策略

2007-09-10 23:55
浏览 3320
评论(0)
查看更多

发表评论

您还没有登录,请您登录后再发表评论

最近访客更多访客>>

博主相关

文章分类

社区版块

存档分类

最新评论

猎兔分词

评论

发表评论

相关推荐

最近访客 更多访客>>

博主相关

文章分类

社区版块

存档分类

最新评论

猎兔分词

评论

发表评论

相关推荐

memcached for win32

最近访客更多访客>>