中文分词 mmseg4j

C版本，2.6M/s
python版本惨不忍睹。。。。。T_T
但是如果不对结果进行字符串拷贝的话。
python wrapper是1.16M/s

都是complex算法

如果对结果拷贝, 是多少? 你机器怎么样?

我测试的都是分出词的, 近10M的几篇小说进行,5次测试的平均值.

python的太慢了。。。没办法，我的核心库只负责计算下一个分词词的长度，Python的[:]来substring实在开销太大了。。。现在正在把以前的换成StringIO。。。然后再测试看看，以前比较土，不知道有StringIO这东西。。。T_T

C的和以前差不多。。。2.36M/s
我的测试环境P4 3.06G, 1.5GDDR2, debian Linux2.6.26

或许是搜狗词库？
我用的就是mmseg-cpp那个词库的。。。

刚才改成了StringIO。
Python拷贝词结果能到1.16M/s。竟然能和以前一样。。。

词库基本没影响, 可能是还有不必要的数组复制.

1.7 beta 版的可能能与你的pk, 我机子上 complex 是 1200kb/s左右

啊，我明天测试一下。。。  

囧，为什么出来的结果都是乱码啊。。。。。。

===========================MMSEG4J=============================
mikeandmore% time java -cp build/mmseg4j-1.7-beta.jar:. Performance /mnt/source/workspace/segc > /dev/null 2>/dev/null
java -cp build/mmseg4j-1.7-beta.jar:. Performance /mnt/source/workspace/segc   8.68s user 0.30s system 100% cpu 8.912 total

=============================SEGC==============================
C Version:
mikeandmore% time ./test > /dev/null 2>/dev/null
./test > /dev/null 2> /dev/null  5.57s user 0.28s system 99% cpu 5.871 total

Python Version:
mikeandmore% time python test_per.py >/dev/null 2>/dev/null
python test_per.py > /dev/null 2> /dev/null  17.32s user 0.26s system 99% cpu 17.593 total