`
andyliuxs
  • 浏览: 139032 次
  • 性别: Icon_minigender_1
  • 来自: 武汉
社区版块
存档分类
最新评论

ICTCLAS2011_JNI接口之学习笔记-整体介绍

 
阅读更多

最近因为实验需要中文分词工具,所以就学习了下中科院的分词工具ICTCLAS(Institute of Computing Technology,Chinese Lexical Analysis System)2011版,汉语词法分析系统ICTCLAS主要功能包括中文分词;词性标注;命名实体识别;新词识别;同时支持用户词典;支持繁体中文;支持gb2312、GBK、UTF8等多种编码格式。 ICTCLAS分词速度单机500KB/s,分词精度98.45%,API不超过100kb,各种词典数据压缩后不到3M,是世界上最好的汉语词法分析器。 详细介绍可到ICTCLAS官网了解,同时可以下载到最新的版本。另外,也可以到张华平博士的百度空间里去下载。

在看官网提供的API文档的过程中,感觉该文档写得不是很好,估计并没有跟进最新的版本,里面有些接口的介绍以及示例程序不是很正确,现在我将学习过程中的写的示例程序放在这里以供大家讨论。

以下是JNI接口的声明及其个接口的功能介绍,另外,可点击此处查看ICTCLAS各个接口间的调用流程图。本图是基于C++接口绘制的,但由于本人在实验的过程中主要用Java语言开发程序,所以在示例程序方面的都是调用的JNI接口,不过,JNI接口和C++接口命名和功能上都基本一样,只是参数可能不同,但这不是主要问题。

 

package ICTCLAS.I3S.AC;

public class ICTCLAS50 {
	
	/***********************************************************************
	 * 各个接口中,字符编码参数的需按照如下设置,接口参数中不再详细说明, 若编码不确定,系统将会自动识别编码
	 * (0:编码未知,系统将会自动识别)
	 * (1:ASCII)
	 * (2:gb2312、GBK、gb18030)
	 * (3:UTF-8)
	 * (4:BIG5)
	*************************************************************************/

	/************************************************************************
	* Method:     ICTCLAS_Init<!读取配置文件,加载词典等>
	* Parameter:  byte[] sPath<!配置文件configure.xml,授权文件user.lic及data文件夹所在路径的字节编码 >
	* Returns:      bool<!初始化是否成功>
	* Description: 调用其它任何接口前,必须保证本接口调用成功!
	* Remark: 1.2010/06/03 17 : 34 created by x10n6y version 5.0 
	*************************************************************************/
	public native boolean ICTCLAS_Init(byte[] sPath);
	

	/************************************************************************
	* Method:     ICTCLAS_Exit<! 退出,释放相关资源>
	* Returns:     ICTCLAS_API bool<! 退出是否成功>
	* Description:	所有操作完成后,请调用本接口释放相关资源!
	* Remark: 1.2010/06/04 9 : 42 created by x10n6y version 5.0 
	*************************************************************************/
	public native boolean ICTCLAS_Exit();
	
	
	/************************************************************************
	* Method:     ICTCLAS_ImportUserDictFile<! 导入用户词典文件>
	* Parameter:  byte[] sPath<! 用户词典路径名称>
	* Parameter:  int eCodeType<!词典编码类型>
	* Returns:      ICTCLAS_API unsigned int<! 成功导入的词汇数量>
	* Description: 用户导入词汇文件格式如下:
	                        1.词语与词性用‘@@’间隔。例如:“中科院@@nr;
							2.一行一词;
							3.词性可省略

	* Remark: 1.2010/06/04 9 : 43 created by x10n6y version 5.0 
	************************************************************************/
	public native int ICTCLAS_ImportUserDictFile(byte[] sPath, int eCodeType);

	
	/************************************************************************
	* Method:     ICTCLAS_SaveTheUsrDic<!保存用户词典>
	* Description:1.本接口将会覆盖原有/data/文件夹用户相关词典。  
	                     2.用户可在配置文件中,指定下次是否使用该词典。
	*
	* Remark: 1.2010/07/05 16 : 16 created by x10n6y version 2.0 
	*************************************************************************/
	public native int ICTCLAS_SaveTheUsrDic();

	/************************************************************************
	* Method:     ICTCLAS_SetPOSmap<!指定词性标注集>
	* Parameter:  int nPOSmap<! 标注集ID>
						ICT_POS_MAP_SECOND 0 //计算所二级标注集
						ICT_POS_MAP_FIRST 1  //计算所一级标注集
						PKU_POS_MAP_SECOND 2 //北大二级标注集  
						PKU_POS_MAP_FIRST 3	//北大一级标注集

	* Returns:    ICTCLAS_API bool<! 指定成功与否>
	* Description: 
	* Remark: 1.2010/06/22 11 : 11 created by x10n6y version 5.0 
	*************************************************************************/
	public native int ICTCLAS_SetPOSmap(int nPOSmap);

	
	/************************************************************************
	* Method:     ICTCLAS_FileProcess<!文本文件分词>
	* Parameter:  byte[] sSrcFilename<!要分词的文件>
	* Parameter: int eCodeType<!要处理的文本编码类型>
	* Parameter:  int bPOSTagged<! 是否词性标准>
	* Parameter:  byte[] sDestFilename<! 结果文件存放位置>
	* Returns:      ICTCLAS_API bool<! 分词是否成功>
	* Description: 1.用户若不指定分词结果保存位置,系统将结果保存至
	                        当前目录下,test_result.txt 中。
						 2.pszDstFileName若该文件不存在, 则自动生成;
						    否则先清空已有内容。
	* Remark: 1.2010/06/22 11 : 11 created by x10n6y version 5.0 
	*************************************************************************/
	public native boolean ICTCLAS_FileProcess(byte[] sSrcFilename,
			int eCodeType, int bPOSTagged, byte[] sDestFilename);

	
	/************************************************************************
	* Method:     ICTCLAS_ParagraphProcess<! 分词,返回结果为字符串>
	* Parameter:  byte[] sSrc<!需要分词的文本内容>
	* Parameter:  int eCodeType<!字符编码类型>
	* Parameter:  int bPOSTagged<!是否词性标注 >
	* Returns:      byte[]<! 分词后的字符串的字节编码>
	* Description: 调用本接口,由用户分配内存,保存结果(pszResult)
	,建议内存大小strlen(pszText)*6!
	* Remark: 1.2010/06/22 11 : 11 created by x10n6y version 5.0 
	*************************************************************************/
	public native byte[] ICTCLAS_ParagraphProcess(byte[] sSrc, int eCodeType,
			int bPOSTagged);

	
	/************************************************************************
	* Method:     nativeProcAPara<! 分词,返回ICTCLAS_Result类对象对应的字节序列,需要按照一定的规则将其进行编码>
	* Parameter:  byte[] sSrc<! 需要分词的文本内容>
	* Parameter:  int bPOStagged<! 是否词性标注>
	* Returns:      byte[] <! ICTCLAS_Result类对象对应的字节序列>
	* Description:( ~_~这个接口现在还不是很明白怎么对其返回结果进行处理,希望各位网友赐教~_~)
	* Remark: 1.2010/06/22 11 : 11 created by x10n6y version 5.0 
	*************************************************************************/
	public native byte[] nativeProcAPara(byte[] sSrc, int eCodeType,
			int bPOStagged);

	/* Use static intializer */
	static {
		System.loadLibrary("ICTCLAS50");
//		System.out.println("load ictclas50...");
	}
}

  

  • 大小: 117.4 KB
2
1
分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics