`

通过BreakIterator调用Android的icu4c执行中日文的粗略“分词”

 
阅读更多

    发现Android自带的icu4c可以直接使用,不需要自己编译它。它的JNI接口可以用java.text包下的类间接调用。

    我感兴趣的是icu4c的范围分析功能,即所谓的分词,例如,可以用java.text.BreakIterator实现日文和中文粗略分词(前提是需要事先指定其语言区域,不过后来实测发现日文的分词效果并不如专门的分词库那么好)。官方文档中有一个使用示例,用起来也非常方便:

 

package com.iteye.weimingtom.icutest;

import java.text.BreakIterator;
import java.util.Locale;

import android.app.Activity;
import android.os.Bundle;

public class ICUTestActivity extends Activity {
    /** Called when the activity is first created. */
    @Override
    public void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.main);
        
        final String testStr = "残忍で破壊的な性格がチャームポイントな本作の主人公[6][7]。" + 
            	"真尋にひと目惚れし、それ以来、" + 
            	"下心を隠そうともせず猛アタックを続けている。";
        System.out.println("日文范围划分");
        test(Locale.JAPAN, testStr);
        System.out.println("中文范围划分");
        test(Locale.CHINA, testStr);
/*

08-15 19:05:24.825: I/System.out(9011): 日文范围划分
08-15 19:05:24.835: I/System.out(9011): 残忍
08-15 19:05:24.835: I/System.out(9011): で
08-15 19:05:24.845: I/System.out(9011): 破壊的
08-15 19:05:24.845: I/System.out(9011): な
08-15 19:05:24.845: I/System.out(9011): 性格
08-15 19:05:24.845: I/System.out(9011): が
08-15 19:05:24.845: I/System.out(9011): チャームポイント
08-15 19:05:24.845: I/System.out(9011): な
08-15 19:05:24.845: I/System.out(9011): 本作
08-15 19:05:24.845: I/System.out(9011): の
08-15 19:05:24.845: I/System.out(9011): 主人公
08-15 19:05:24.845: I/System.out(9011): [
08-15 19:05:24.845: I/System.out(9011): 6
08-15 19:05:24.845: I/System.out(9011): ]
08-15 19:05:24.855: I/System.out(9011): [
08-15 19:05:24.855: I/System.out(9011): 7
08-15 19:05:24.855: I/System.out(9011): ]
08-15 19:05:24.855: I/System.out(9011): 。
08-15 19:05:24.855: I/System.out(9011): 真尋
08-15 19:05:24.855: I/System.out(9011): にひと
08-15 19:05:24.855: I/System.out(9011): 目惚
08-15 19:05:24.855: I/System.out(9011): れし
08-15 19:05:24.865: I/System.out(9011): 、
08-15 19:05:24.865: I/System.out(9011): それ
08-15 19:05:24.865: I/System.out(9011): 以来
08-15 19:05:24.865: I/System.out(9011): 、
08-15 19:05:24.865: I/System.out(9011): 下心
08-15 19:05:24.865: I/System.out(9011): を
08-15 19:05:24.865: I/System.out(9011): 隠
08-15 19:05:24.865: I/System.out(9011): そうともせず
08-15 19:05:24.865: I/System.out(9011): 猛
08-15 19:05:24.865: I/System.out(9011): アタック
08-15 19:05:24.865: I/System.out(9011): を
08-15 19:05:24.865: I/System.out(9011): 続
08-15 19:05:24.865: I/System.out(9011): けている
08-15 19:05:24.865: I/System.out(9011): 。




08-15 19:05:24.865: I/System.out(9011): 中文范围划分
08-15 19:05:24.885: I/System.out(9011): 残
08-15 19:05:24.885: I/System.out(9011): 忍
08-15 19:05:24.885: I/System.out(9011): で
08-15 19:05:24.885: I/System.out(9011): 破
08-15 19:05:24.885: I/System.out(9011): 壊
08-15 19:05:24.885: I/System.out(9011): 的
08-15 19:05:24.885: I/System.out(9011): な
08-15 19:05:24.885: I/System.out(9011): 性
08-15 19:05:24.885: I/System.out(9011): 格
08-15 19:05:24.885: I/System.out(9011): が
08-15 19:05:24.885: I/System.out(9011): チャームポイント
08-15 19:05:24.885: I/System.out(9011): な
08-15 19:05:24.885: I/System.out(9011): 本
08-15 19:05:24.885: I/System.out(9011): 作
08-15 19:05:24.885: I/System.out(9011): の
08-15 19:05:24.885: I/System.out(9011): 主
08-15 19:05:24.885: I/System.out(9011): 人
08-15 19:05:24.885: I/System.out(9011): 公
08-15 19:05:24.885: I/System.out(9011): [
08-15 19:05:24.885: I/System.out(9011): 6
08-15 19:05:24.885: I/System.out(9011): ]
08-15 19:05:24.885: I/System.out(9011): [
08-15 19:05:24.885: I/System.out(9011): 7
08-15 19:05:24.885: I/System.out(9011): ]
08-15 19:05:24.885: I/System.out(9011): 。
08-15 19:05:24.885: I/System.out(9011): 真
08-15 19:05:24.885: I/System.out(9011): 尋
08-15 19:05:24.885: I/System.out(9011): に
08-15 19:05:24.885: I/System.out(9011): ひ
08-15 19:05:24.885: I/System.out(9011): と
08-15 19:05:24.885: I/System.out(9011): 目
08-15 19:05:24.895: I/System.out(9011): 惚
08-15 19:05:24.895: I/System.out(9011): れ
08-15 19:05:24.895: I/System.out(9011): し
08-15 19:05:24.895: I/System.out(9011): 、
08-15 19:05:24.895: I/System.out(9011): そ
08-15 19:05:24.895: I/System.out(9011): れ
08-15 19:05:24.895: I/System.out(9011): 以
08-15 19:05:24.905: I/System.out(9011): 来
08-15 19:05:24.905: I/System.out(9011): 、
08-15 19:05:24.905: I/System.out(9011): 下
08-15 19:05:24.905: I/System.out(9011): 心
08-15 19:05:24.905: I/System.out(9011): を
08-15 19:05:24.905: I/System.out(9011): 隠
08-15 19:05:24.905: I/System.out(9011): そ
08-15 19:05:24.905: I/System.out(9011): う
08-15 19:05:24.905: I/System.out(9011): と
08-15 19:05:24.905: I/System.out(9011): も
08-15 19:05:24.905: I/System.out(9011): せ
08-15 19:05:24.905: I/System.out(9011): ず
08-15 19:05:24.905: I/System.out(9011): 猛
08-15 19:05:24.905: I/System.out(9011): アタック
08-15 19:05:24.905: I/System.out(9011): を
08-15 19:05:24.905: I/System.out(9011): 続
08-15 19:05:24.905: I/System.out(9011): け
08-15 19:05:24.905: I/System.out(9011): て
08-15 19:05:24.915: I/System.out(9011): い
08-15 19:05:24.915: I/System.out(9011): る
08-15 19:05:24.915: I/System.out(9011): 。

 */
        
    }
    
    /**
     * @see http://developer.android.com/reference/java/text/BreakIterator.html
     * @param where
     * @param stringToExamine
     */
    private static void test(Locale where, String stringToExamine) {
        BreakIterator boundary = BreakIterator.getWordInstance(where);
        boundary.setText(stringToExamine);
        int start = boundary.first();
        for (int end = boundary.next(); 
        	end != BreakIterator.DONE; 
        		start = end, end = boundary.next()) {
            System.out.println(stringToExamine.substring(start, end));
        }
    }
}

 

 

PS:可能缺少一些区域,需要事先作判断。

 

 

				boolean hasJapanLocal = false;
				Locale[] locales = BreakIterator.getAvailableLocales();
				if (locales != null) {
					for (Locale locale : locales) {
						if (D) {
							Log.d(TAG, "locale: " + locale.toString());
						}
						if (locale != null && locale.equals(Locale.JAPAN)) {
							hasJapanLocal = true;
							break;
						}
					}
				}
 

 

参考资料:

1.  Android官方文档

http://developer.android.com/reference/java/text/BreakIterator.html

 

2. icu4c的官方文档

http://userguide.icu-project.org/boundaryanalysis

 

3. Android源代码中的测试代码

http://www.oschina.net/code/explore/android-2.2-froyo/org/apache/harmony/text/tests/java/text/BreakIteratorTest.java

 

4. chrome使用的开源工程介绍

http://my.oschina.net/yaraja/blog/32521

 

 

 

 

 

 

 

 

分享到:
评论

相关推荐

    icu4c-52_1-src

    ICU4C是ICU在C/C++平台下的版本, ICU(International Component for Unicode)是基于"IBM公共许可证"的,与开源组织合作研究的, 用于支持软件国际化的开源项目。ICU4C提供了C/C++平台强大的国际化开发能力,软件开发者...

    icu4c-4_2_1-src(icu4c库)

    在项目中使用ICU4C,通常需要通过链接器将ICU库链接到你的程序中,并且在源代码中包含对应的头文件。例如,如果需要使用字符串操作,可以这样引入: ```cpp #include ``` 然后就可以使用ICU提供的API进行操作了。...

    icu4c-4_8-Win32-msvc10

    ICU4C,全称是International Components for Unicode for C,是一个强大的开源库,主要用于处理Unicode字符集和全球化的任务。这个“icu4c-4_8-Win32-msvc10”压缩包包含了ICU4.8版本在Windows 32位平台上,使用...

    icu4c-68_2-Win32_64-MSVC2019.zip

    接着,通过包含头文件来引入ICU4C的API。例如,如果需要进行字符串转换,可以使用`#include <unicode/unistr.h>`。然后,可以调用如`UnicodeString`类的方法来处理字符串。同时,为了运行时支持,32位应用需要链接32...

    icu4c-56_1-Win64-msvc10.zip

    总结来说,icu4c-56_1-Win64-msvc10.zip是专为Tesseract OCR与Windows 64位环境下的Visual Studio 2010设计的ICU库,通过它,开发者可以轻松地在项目中引入ICU,从而增强Tesseract的文本识别能力,实现更复杂、更...

    icu4c-56_1-Win32-msvc10.zip

    在这个场景中,尽管标签中提到了cmake,但在描述中并未直接提到其使用,但可以推断,在实际的编译流程中,用户可能需要使用cmake来集成icu4c库到Tesseract项目中。 【压缩包子文件的文件名称列表】中仅列出了"icu...

    日文分词系统mecab的中文讲解

    Python和Java的使用方式类似,都是通过对应语言的API调用mecab的分词功能。 在获取每个词条的详细信息时,可以使用parseToNode方法,它返回句首的特殊词条,该词条是一个双向链表的节点,通过next和prev属性可以...

    JS调用Android方法,向Android方法传递json数据

    这个API允许我们在Android的Java代码中创建一个对象,并暴露给JavaScript环境,使得JavaScript可以直接调用这个对象的方法。为了安全起见,从Android 4.2(API级别17)开始,所有通过`addJavascriptInterface()`暴露...

    康博嘉java笔试题-platform_external_icu4c:icu4c的静态版本,从gingerbead-release分支分叉出来

    对于应聘者来说,理解ICU4C在Android系统中的作用,熟悉Unicode处理和国际化策略,掌握如何在代码中正确调用ICU4C API,以及对特定Android版本的系统结构和API有深入理解,都是必要的技能。此外,如果提到“静态版本...

    android通过USB调用摄像头

    android通过USB外接摄像头这是一个例子,通过C调用底层驱动。在网上找过了例子总出现select timeout异常,改造解决了。有问题可以发邮件505738005.

    delphi调用结巴分词DLL接口

    2. 获取函数指针:通过`GetProcAddress`获取DLL中分词函数的地址。 3. 初始化:调用初始化函数,准备分词环境。 4. 分词操作:传入待分词的文本,调用分词函数,获取分词结果。 5. 错误处理:检查返回值,处理可能...

    Qt JNI调用Android系统功能

    在Android开发中,JNI通常用来调用系统的低级功能或库,这些功能可能在Java层无法直接访问。 本文将深入探讨如何使用Qt的JNI功能来调用Android系统的特定功能,如震动、保持屏幕常亮、切换应用的横竖屏模式、调整...

    Android 下通过反射调用加载/卸载(mount/unmount) 外置SD卡

    要通过反射调用加载和卸载外置SD卡,我们需要访问Android系统的私有API,因为这些操作不在官方的SDK中公开。具体来说,我们关注的核心类是`MountService`,它是负责设备挂载和卸载的核心组件。 1. **`IMountService...

    Qt on Android调用Jar包

    【Qt on Android调用Jar包】是一个重要的技术实践,它涉及到跨平台开发和Java与C++的交互。在Android平台上,Qt提供了一种强大的方式来创建原生应用程序,但有时我们可能需要集成已经存在的Java库(以.jar文件形式)...

    android中Webview与javascript的交互(互相调用)

    总之,Android中的WebView与JavaScript的交互是通过暴露Java对象和调用JavaScript函数实现的,这种方式极大地丰富了Android应用的功能。在实际开发中,我们需要合理利用这一特性,同时注意安全性和性能优化。

    android调用第三方so库

    通过以上步骤,我们就成功地在Android应用中调用了第三方.so库。需要注意的是,由于.so库可能依赖其他库,因此在部署到不同设备时,需要确保包含了所有必要的库。同时,为了提高应用的兼容性和性能,需要针对不同的...

    Android通过Java接口调用OpenCV2.4示例

    本文将深入探讨如何在Android应用中通过Java接口调用OpenCV 2.4版本,以实现将图片转换为灰度图的功能。 首先,我们需要理解OpenCV的基本概念。OpenCV(Open Source Computer Vision Library)是一个跨平台的计算机...

    QT通过QProcess调用外部可执行程序,并将其嵌入到主窗口中

    让我们深入探讨如何在QT中通过QProcess调用外部可执行程序并将其嵌入到主窗口中。 首先,了解QProcess的基本用法。QProcess允许我们启动一个外部进程,监控它的状态,读取其标准输出和错误输出,甚至可以向进程发送...

    Android和Unity3d互相调用的Demo

    调用时,通过Unity的DllImport函数调用Android插件的方法,从而执行Android端的功能。 本Demo中的“中间件”可能是实现这种交互的关键组件。它可能是一个封装了调用逻辑的库,帮助简化Android和Unity3D之间的通信...

    android 调用系统自带录音机

    在Android平台上,调用系统自带的录音机是开发者经常遇到的需求,这可以帮助用户方便地录制音频并集成到应用中。本文将深入探讨如何在Android应用中实现这一功能,并结合"AutoRecoder"这个示例来讲解相关知识点。 ...

Global site tag (gtag.js) - Google Analytics