`

通过BreakIterator调用Android的icu4c执行中日文的粗略“分词”

 
阅读更多

    发现Android自带的icu4c可以直接使用,不需要自己编译它。它的JNI接口可以用java.text包下的类间接调用。

    我感兴趣的是icu4c的范围分析功能,即所谓的分词,例如,可以用java.text.BreakIterator实现日文和中文粗略分词(前提是需要事先指定其语言区域,不过后来实测发现日文的分词效果并不如专门的分词库那么好)。官方文档中有一个使用示例,用起来也非常方便:

 

package com.iteye.weimingtom.icutest;

import java.text.BreakIterator;
import java.util.Locale;

import android.app.Activity;
import android.os.Bundle;

public class ICUTestActivity extends Activity {
    /** Called when the activity is first created. */
    @Override
    public void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.main);
        
        final String testStr = "残忍で破壊的な性格がチャームポイントな本作の主人公[6][7]。" + 
            	"真尋にひと目惚れし、それ以来、" + 
            	"下心を隠そうともせず猛アタックを続けている。";
        System.out.println("日文范围划分");
        test(Locale.JAPAN, testStr);
        System.out.println("中文范围划分");
        test(Locale.CHINA, testStr);
/*

08-15 19:05:24.825: I/System.out(9011): 日文范围划分
08-15 19:05:24.835: I/System.out(9011): 残忍
08-15 19:05:24.835: I/System.out(9011): で
08-15 19:05:24.845: I/System.out(9011): 破壊的
08-15 19:05:24.845: I/System.out(9011): な
08-15 19:05:24.845: I/System.out(9011): 性格
08-15 19:05:24.845: I/System.out(9011): が
08-15 19:05:24.845: I/System.out(9011): チャームポイント
08-15 19:05:24.845: I/System.out(9011): な
08-15 19:05:24.845: I/System.out(9011): 本作
08-15 19:05:24.845: I/System.out(9011): の
08-15 19:05:24.845: I/System.out(9011): 主人公
08-15 19:05:24.845: I/System.out(9011): [
08-15 19:05:24.845: I/System.out(9011): 6
08-15 19:05:24.845: I/System.out(9011): ]
08-15 19:05:24.855: I/System.out(9011): [
08-15 19:05:24.855: I/System.out(9011): 7
08-15 19:05:24.855: I/System.out(9011): ]
08-15 19:05:24.855: I/System.out(9011): 。
08-15 19:05:24.855: I/System.out(9011): 真尋
08-15 19:05:24.855: I/System.out(9011): にひと
08-15 19:05:24.855: I/System.out(9011): 目惚
08-15 19:05:24.855: I/System.out(9011): れし
08-15 19:05:24.865: I/System.out(9011): 、
08-15 19:05:24.865: I/System.out(9011): それ
08-15 19:05:24.865: I/System.out(9011): 以来
08-15 19:05:24.865: I/System.out(9011): 、
08-15 19:05:24.865: I/System.out(9011): 下心
08-15 19:05:24.865: I/System.out(9011): を
08-15 19:05:24.865: I/System.out(9011): 隠
08-15 19:05:24.865: I/System.out(9011): そうともせず
08-15 19:05:24.865: I/System.out(9011): 猛
08-15 19:05:24.865: I/System.out(9011): アタック
08-15 19:05:24.865: I/System.out(9011): を
08-15 19:05:24.865: I/System.out(9011): 続
08-15 19:05:24.865: I/System.out(9011): けている
08-15 19:05:24.865: I/System.out(9011): 。




08-15 19:05:24.865: I/System.out(9011): 中文范围划分
08-15 19:05:24.885: I/System.out(9011): 残
08-15 19:05:24.885: I/System.out(9011): 忍
08-15 19:05:24.885: I/System.out(9011): で
08-15 19:05:24.885: I/System.out(9011): 破
08-15 19:05:24.885: I/System.out(9011): 壊
08-15 19:05:24.885: I/System.out(9011): 的
08-15 19:05:24.885: I/System.out(9011): な
08-15 19:05:24.885: I/System.out(9011): 性
08-15 19:05:24.885: I/System.out(9011): 格
08-15 19:05:24.885: I/System.out(9011): が
08-15 19:05:24.885: I/System.out(9011): チャームポイント
08-15 19:05:24.885: I/System.out(9011): な
08-15 19:05:24.885: I/System.out(9011): 本
08-15 19:05:24.885: I/System.out(9011): 作
08-15 19:05:24.885: I/System.out(9011): の
08-15 19:05:24.885: I/System.out(9011): 主
08-15 19:05:24.885: I/System.out(9011): 人
08-15 19:05:24.885: I/System.out(9011): 公
08-15 19:05:24.885: I/System.out(9011): [
08-15 19:05:24.885: I/System.out(9011): 6
08-15 19:05:24.885: I/System.out(9011): ]
08-15 19:05:24.885: I/System.out(9011): [
08-15 19:05:24.885: I/System.out(9011): 7
08-15 19:05:24.885: I/System.out(9011): ]
08-15 19:05:24.885: I/System.out(9011): 。
08-15 19:05:24.885: I/System.out(9011): 真
08-15 19:05:24.885: I/System.out(9011): 尋
08-15 19:05:24.885: I/System.out(9011): に
08-15 19:05:24.885: I/System.out(9011): ひ
08-15 19:05:24.885: I/System.out(9011): と
08-15 19:05:24.885: I/System.out(9011): 目
08-15 19:05:24.895: I/System.out(9011): 惚
08-15 19:05:24.895: I/System.out(9011): れ
08-15 19:05:24.895: I/System.out(9011): し
08-15 19:05:24.895: I/System.out(9011): 、
08-15 19:05:24.895: I/System.out(9011): そ
08-15 19:05:24.895: I/System.out(9011): れ
08-15 19:05:24.895: I/System.out(9011): 以
08-15 19:05:24.905: I/System.out(9011): 来
08-15 19:05:24.905: I/System.out(9011): 、
08-15 19:05:24.905: I/System.out(9011): 下
08-15 19:05:24.905: I/System.out(9011): 心
08-15 19:05:24.905: I/System.out(9011): を
08-15 19:05:24.905: I/System.out(9011): 隠
08-15 19:05:24.905: I/System.out(9011): そ
08-15 19:05:24.905: I/System.out(9011): う
08-15 19:05:24.905: I/System.out(9011): と
08-15 19:05:24.905: I/System.out(9011): も
08-15 19:05:24.905: I/System.out(9011): せ
08-15 19:05:24.905: I/System.out(9011): ず
08-15 19:05:24.905: I/System.out(9011): 猛
08-15 19:05:24.905: I/System.out(9011): アタック
08-15 19:05:24.905: I/System.out(9011): を
08-15 19:05:24.905: I/System.out(9011): 続
08-15 19:05:24.905: I/System.out(9011): け
08-15 19:05:24.905: I/System.out(9011): て
08-15 19:05:24.915: I/System.out(9011): い
08-15 19:05:24.915: I/System.out(9011): る
08-15 19:05:24.915: I/System.out(9011): 。

 */
        
    }
    
    /**
     * @see http://developer.android.com/reference/java/text/BreakIterator.html
     * @param where
     * @param stringToExamine
     */
    private static void test(Locale where, String stringToExamine) {
        BreakIterator boundary = BreakIterator.getWordInstance(where);
        boundary.setText(stringToExamine);
        int start = boundary.first();
        for (int end = boundary.next(); 
        	end != BreakIterator.DONE; 
        		start = end, end = boundary.next()) {
            System.out.println(stringToExamine.substring(start, end));
        }
    }
}

 

 

PS:可能缺少一些区域,需要事先作判断。

 

 

				boolean hasJapanLocal = false;
				Locale[] locales = BreakIterator.getAvailableLocales();
				if (locales != null) {
					for (Locale locale : locales) {
						if (D) {
							Log.d(TAG, "locale: " + locale.toString());
						}
						if (locale != null && locale.equals(Locale.JAPAN)) {
							hasJapanLocal = true;
							break;
						}
					}
				}
 

 

参考资料:

1.  Android官方文档

http://developer.android.com/reference/java/text/BreakIterator.html

 

2. icu4c的官方文档

http://userguide.icu-project.org/boundaryanalysis

 

3. Android源代码中的测试代码

http://www.oschina.net/code/explore/android-2.2-froyo/org/apache/harmony/text/tests/java/text/BreakIteratorTest.java

 

4. chrome使用的开源工程介绍

http://my.oschina.net/yaraja/blog/32521

 

 

 

 

 

 

 

 

分享到:
评论

相关推荐

    icu4c-4_2_1-src(icu4c库)

    在项目中使用ICU4C,通常需要通过链接器将ICU库链接到你的程序中,并且在源代码中包含对应的头文件。例如,如果需要使用字符串操作,可以这样引入: ```cpp #include ``` 然后就可以使用ICU提供的API进行操作了。...

    icu4c-4_8_1_1-src.zip_ICU4C_bms_hindi_icu4c-4

    3. 头文件(h文件):定义了ICU4C的API,供开发者在自己的项目中调用。 4. 数据文件:可能包含Unicode数据,如字符映射表、区域设置信息等。 5. 示例和测试代码:帮助开发者理解如何使用ICU4C库进行实际开发。 总的...

    icu4c-4_8-Win32-msvc10

    ICU4C,全称是International Components for Unicode for C,是一个强大的开源库,主要用于处理Unicode字符集和全球化的任务。这个“icu4c-4_8-Win32-msvc10”压缩包包含了ICU4.8版本在Windows 32位平台上,使用...

    icu4c-56_1-Win64-msvc10.zip

    总结来说,icu4c-56_1-Win64-msvc10.zip是专为Tesseract OCR与Windows 64位环境下的Visual Studio 2010设计的ICU库,通过它,开发者可以轻松地在项目中引入ICU,从而增强Tesseract的文本识别能力,实现更复杂、更...

    icu4c-68_2-Win32_64-MSVC2019.zip

    接着,通过包含头文件来引入ICU4C的API。例如,如果需要进行字符串转换,可以使用`#include <unicode/unistr.h>`。然后,可以调用如`UnicodeString`类的方法来处理字符串。同时,为了运行时支持,32位应用需要链接32...

    icu4c-56_1-Win32-msvc10.zip

    在这个场景中,尽管标签中提到了cmake,但在描述中并未直接提到其使用,但可以推断,在实际的编译流程中,用户可能需要使用cmake来集成icu4c库到Tesseract项目中。 【压缩包子文件的文件名称列表】中仅列出了"icu...

    日文分词系统mecab的中文讲解

    Python和Java的使用方式类似,都是通过对应语言的API调用mecab的分词功能。 在获取每个词条的详细信息时,可以使用parseToNode方法,它返回句首的特殊词条,该词条是一个双向链表的节点,通过next和prev属性可以...

    Android 中文分词 2.2以上真机测试成功!

    在Android平台上进行中文分词是移动应用开发中的一个重要环节,特别是在处理用户输入、搜索功能或者进行文本分析时。本文将详细解析"Android中文分词 2.2以上真机测试成功"这一主题,涵盖相关技术点及其实现过程。 ...

    android 与 lua 相互调用

    总结来说,Android与Lua的相互调用是通过集成Lua引擎,注册Java方法供Lua调用,以及在Lua中调用Java方法来实现的。这种混合编程模式在保持开发效率的同时,也能充分利用Lua的灵活性和性能优势。通过分析AndroLua-...

    android通过USB调用摄像头

    android通过USB外接摄像头这是一个例子,通过C调用底层驱动。在网上找过了例子总出现select timeout异常,改造解决了。有问题可以发邮件505738005.

    如何让Android系统或Android应用执行shell脚本

    Android 系统或 Android 应用执行 shell 脚本是 Android 开发中的一项重要技术,通过执行 shell 脚本,可以实现一些复杂的操作,例如设置网络参数、启动服务等。下面我们将介绍两种让 Android 系统或 Android 应用...

    Qt on Android调用Jar包

    【Qt on Android调用Jar包】是一个重要的技术实践,它涉及到跨平台开发和Java与C++的交互。在Android平台上,Qt提供了一种强大的方式来创建原生应用程序,但有时我们可能需要集成已经存在的Java库(以.jar文件形式)...

    android 浏览器 调用系统下载功能

    3. **JavaScript接口调用**:在JavaScript中,我们可以通过`window.androidFunctionName()`这样的方式调用Android端定义的方法。需要注意的是,为了安全起见,从JavaScript调用Android方法时,应使用`@...

    android中Webview与javascript的交互(互相调用)

    总之,Android中的WebView与JavaScript的交互是通过暴露Java对象和调用JavaScript函数实现的,这种方式极大地丰富了Android应用的功能。在实际开发中,我们需要合理利用这一特性,同时注意安全性和性能优化。

    Android通过Java接口调用OpenCV2.4示例

    本文将深入探讨如何在Android应用中通过Java接口调用OpenCV 2.4版本,以实现将图片转换为灰度图的功能。 首先,我们需要理解OpenCV的基本概念。OpenCV(Open Source Computer Vision Library)是一个跨平台的计算机...

    QT通过QProcess调用外部可执行程序,并将其嵌入到主窗口中

    让我们深入探讨如何在QT中通过QProcess调用外部可执行程序并将其嵌入到主窗口中。 首先,了解QProcess的基本用法。QProcess允许我们启动一个外部进程,监控它的状态,读取其标准输出和错误输出,甚至可以向进程发送...

    Android和Unity3d互相调用的Demo

    调用时,通过Unity的DllImport函数调用Android插件的方法,从而执行Android端的功能。 本Demo中的“中间件”可能是实现这种交互的关键组件。它可能是一个封装了调用逻辑的库,帮助简化Android和Unity3D之间的通信...

    android调用webservice接口实现登陆源码

    在Android开发中,调用Web Service接口是常见的数据交互方式,尤其在实现用户登录功能时。Web Service通常采用SOAP或RESTful API的形式提供服务,允许客户端应用程序(如Android应用)发送请求并接收响应。本教程将...

    android 通过usb调用UVC摄像头

    android USB调用摄像头,经过半月时间终于搞定了, 在网上找了好多,还有日文注释的 希望段友多多包涵,首先手机支持uvc 测试机 荣耀8. 我也是在网上找啊找,如何谁在学习接触这方面,共同学习,

    Android webview调用摄像头扫描二维码

    本文将详细讲解如何在Android Webview中调用摄像头进行二维码扫描,并结合ZXing(Zebra Crossing)解析包进行二维码的解析。 首先,让我们了解Android Webview的基本用法。Webview是Android SDK提供的一种视图组件...

Global site tag (gtag.js) - Google Analytics