Lucene.net中文分词探究

xiangxingchina

浏览: 520221 次
性别:
来自: 北京

最近访客更多访客>>

WoKo_Jb

lanmubai

forfelicity

linktoyl22

博主相关

博客

微博

相册

留言

关于我

文章分类

社区版块

存档分类

博客分类：

开源组件

.net lucene 算法

一、中文分词方式：

中文分词几种常用的方式：

A．单字分词

单字分词，顾名思义，就是按照中文一个字一个字地进行分词。如：我们是中国人，效果：我 \ 们 \ 是 \ 中 \ 国 \ 人。

B．二分法

二分法，就是按两个字进行切分。如：我们是中国人，效果：我们 \ 们是 \ 是中 \ 中国 \ 国人。

C．词库分词

词库分词，就是按某种算法构造词然后去匹配已建好的词库集合，如果匹配到就切分出来成为词语。通常词库分词被认为是最理想的中文分词算法如：我们是中国人，通成效果为：我们 \ 是 \ 中国 \ 中国人。

二、 Lucene.net 中五种中文分词效果探究

在 Lucene.net 中有很多种分词器，不同分词器使用了不同的分词算法，有不同的分词效果，满足不同的需求！在这里主要是看看其中五中分词器用来对中文切词的效果。五中分词器分别为： StandardTokenizer ，CJKTokenizer ，ChinessTokenizer ，LowerCaseTokenizer ，WhitespaceTokenizer;

下面就来测试一下它们切词的效果：

测试目标：是否支持中文词语，英文单词，邮件，IP 地址，标点符号，数字，数学表达式的切割。
测试文字：“我们是中国人; 我们是人;we are chiness; 172.16.34.172;youpeizun@126.com;#$*;85*34;58 <st1:chmetcnv tcsc="0" hasspace="False" sourcevalue="69" numbertype="1" negative="False" unitname="”" w:st="on">69” </st1:chmetcnv>

测试StandardTokenizer 的分词情况如下：

我/ 们/ 是/ 中/ 国/ 人/ 我/ 们/ 是/ 人/ we/ are/ chiness/ 172.16.34.172/ youpeizun@126.com/ 85/ 34/ 58/ 69/

测试CJKTokenizer 的分词情况如下：

我们/ 们是/ 是中/ 中国/ 国人/ 我们/ 是/ 人/ we/ chiness/ 172/ 16/ 34/ 172/ youpe

izun/ 126/ com/ #/ 85/ 34/ 58/ 69/

测试ChinessTokenizer 的分词情况如下：

我/ 们/ 是/ 中/ 国/ 人/ 我/ 们/ 是/ 人/ we/ are/ chiness/ 172/ 16/ 34/ 172/ youp

eizun/ 126/ com/ 85/ 34/ 58/ 69/

测试LowerCaseTokenizer 的分词情况如下：

我们是中国人/ 我们/ 是/ 人/we/are/chiness/youpeizun/com/

测试WhitespaceTokenizer 的分词情况如下：

我们是中国人;/ 我们/ 是/ 人;we/are/chiness;/172.16.34.172;youpeizun@126.com;#$*;85*

34;58/69/

测试代码：
一、中文分词方式：

using System;

using System.Collections.Generic;

using System.Text;

using Lucene.Net.Analysis.Standard;

using Lucene.Net.Analysis;

using Lucene.Net.Index;

using Lucene.Net.Documents;

using System.IO;

using Lucene.Net.Analysis.Cn;

using Lucene.Net.Analysis.CJK;

// date：11－02－2007

// home page: http://www.cnblogs.com/xuanfeng

// author:peizunyou

namespace TokenizerTest

{

class TokenizerTest

{

static void Main( string [] args)

{

string testText = " 我们是中国人; 我们是人;we are chiness; 172.16.34.172;youpeizun@126.com;#$*;85*34;58 69 " ;

Console.WriteLine( " 测试文字： " + testText);

Console.WriteLine( " 测试StandardTokenizer的分词情况如下： " );

TestStandardTokenizer(testText);

Console.WriteLine( " 测试CJKTokenizer的分词情况如下： " );

TestCJKTokenizer(testText);

Console.WriteLine( " 测试ChinessTokenizer的分词情况如下： " );

TestChinessTokenizer(testText);

Console.WriteLine( " 测试LowerCaseTokenizer的分词情况如下： " );

TestLowerCaseTokenizer(testText);

Console.WriteLine( " 测试WhitespaceTokenizer的分词情况如下： " );

TestWhitespaceTokenizer(testText);

Console.Read();

}

static void TestStandardTokenizer( string text)

{

TextReader tr = new StringReader(text);

StandardTokenizer st = new StandardTokenizer(tr);

while (st.Next() != null )

{

Console.Write(st.token.ToString() + " / " );

}

Console.WriteLine();

}

static void TestCJKTokenizer( string text)

{

TextReader tr = new StringReader(text);

int end = 0 ;

CJKAnalyzer cjkA = new CJKAnalyzer();

TokenStream ts = cjkA.TokenStream(tr);

while (end < text.Length)

{

Lucene.Net.Analysis.Token t = ts.Next();

end = t.EndOffset();

Console.Write(t.TermText() + " / " );

}

Console.WriteLine();

}

static void TestChinessTokenizer( string text)

{

TextReader tr = new StringReader(text);

ChineseTokenizer ct = new ChineseTokenizer(tr);

int end = 0 ;

Lucene.Net.Analysis.Token t;

while (end < text.Length)

{

t = ct.Next();

end = t.EndOffset();

Console.Write(t.TermText() + " / " );

}

Console.WriteLine();

}

static void TestLowerCaseTokenizer( string text)

{

TextReader tr = new StringReader(text);

SimpleAnalyzer sA = new SimpleAnalyzer();

// SimpleAnalyzer使用了LowerCaseTokenizer分词器

TokenStream ts = sA.TokenStream(tr);

Lucene.Net.Analysis.Token t;

while ((t = ts.Next()) != null )

{

Console.Write(t.TermText() + " / " );

}

Console.WriteLine();

}

static void TestWhitespaceTokenizer( string text)

{

TextReader tr = new StringReader(text);

WhitespaceAnalyzer sA = new WhitespaceAnalyzer();

TokenStream ts = sA.TokenStream(tr);

Lucene.Net.Analysis.Token t;

while ((t = ts.Next()) != null )

{

Console.Write(t.TermText() + " / " );

}

Console.WriteLine();

}

中文分词几种常用的方式：

A．单字分词

单字分词，顾名思义，就是按照中文一个字一个字地进行分词。如：我们是中国人，效果：我 \ 们 \ 是 \ 中 \ 国 \ 人。

B．二分法

二分法，就是按两个字进行切分。如：我们是中国人，效果：我们 \ 们是 \ 是中 \ 中国 \ 国人。

C．词库分词

二、 Lucene.net 中五种中文分词效果探究

下面就来测试一下它们切词的效果：

测试StandardTokenizer 的分词情况如下：

我/ 们/ 是/ 中/ 国/ 人/ 我/ 们/ 是/ 人/ we/ are/ chiness/ 172.16.34.172/ youpeizun@126.com/ 85/ 34/ 58/ 69/

测试CJKTokenizer 的分词情况如下：

我们/ 们是/ 是中/ 中国/ 国人/ 我们/ 是/ 人/ we/ chiness/ 172/ 16/ 34/ 172/ youpe

izun/ 126/ com/ #/ 85/ 34/ 58/ 69/

测试ChinessTokenizer 的分词情况如下：

我/ 们/ 是/ 中/ 国/ 人/ 我/ 们/ 是/ 人/ we/ are/ chiness/ 172/ 16/ 34/ 172/ youp

eizun/ 126/ com/ 85/ 34/ 58/ 69/

测试LowerCaseTokenizer 的分词情况如下：

我们是中国人/ 我们/ 是/ 人/we/are/chiness/youpeizun/com/

测试WhitespaceTokenizer 的分词情况如下：

我们是中国人;/ 我们/ 是/ 人;we/are/chiness;/172.16.34.172;youpeizun@126.com;#$*;85*

34;58/69/

测试代码：
测试代代码下载

using System;

using System.Collections.Generic;

using System.Text;

using Lucene.Net.Analysis.Standard;

using Lucene.Net.Analysis;

using Lucene.Net.Index;

using Lucene.Net.Documents;

using System.IO;

using Lucene.Net.Analysis.Cn;

using Lucene.Net.Analysis.CJK;

// date：11－02－2007

// home page: http://www.cnblogs.com/xuanfeng

// author:peizunyou

namespace TokenizerTest

{

class TokenizerTest

{

static void Main( string [] args)

{

string testText = " 我们是中国人; 我们是人;we are chiness; 172.16.34.172;youpeizun@126.com;#$*;85*34;58 69 " ;

Console.WriteLine( " 测试文字： " + testText);

Console.WriteLine( " 测试StandardTokenizer的分词情况如下： " );

TestStandardTokenizer(testText);

Console.WriteLine( " 测试CJKTokenizer的分词情况如下： " );

TestCJKTokenizer(testText);

Console.WriteLine( " 测试ChinessTokenizer的分词情况如下： " );

TestChinessTokenizer(testText);

Console.WriteLine( " 测试LowerCaseTokenizer的分词情况如下： " );

TestLowerCaseTokenizer(testText);

Console.WriteLine( " 测试WhitespaceTokenizer的分词情况如下：

分享到：

jsp中EL表达式不能显示的解决方法 | Mysql 数据库缓存cache功能总结[转]

2010-12-03 10:40
浏览 1392
评论(0)
分类:编程语言
查看更多

发表评论

您还没有登录,请您登录后再发表评论

最近访客更多访客>>

博主相关

文章分类

社区版块

存档分类

最新评论