GIZA++运行报告zz

GIZA++运行报告zz

一。工作目标

1.构建汉英对齐语料库。

2.下载并编译GIZA++，CMU-Cambridge Statistical Language Modeling toolkit，（以下简称CMU toolkit）获得实验所需的可执行文件。

3.利用目标1所构建的语料库，通过GIZA++进行IBM Model 1-5的训练。

4.利用目标1所构建的语料库，通过mkcls构建word classes。

5.利用目标1所构建的语料库的英文语料，通过CMU toolkit生成英语的语言模型。

二。实验环境

Ubuntu 8.04 LTS Server

gcc version 4.2.4

三。工作步骤

以下按工作目标分节。

3.1构建汉英对齐语料库

1.从以下链接下载双语句对齐语料库：

http://www.nlp.org.cn/docs/docredirect.php?doc_id=991。

该语料库共有1500个英汉对照句对，但某中文句占据了两行，导致整个文件共3001行。需将该中文句找出合并成一行。

2.分离出英文句和中文句，分别保存为english和chinese。

某些中文句中含有英文，某些英文句含有全角标点符号，在分离时需注意。使用如下命令找出所有的英文句，并保存到english：

grep '[aeiou]' 1500.txt > english

然后将english中含有英文的中文句手工删除。

使用如下命令找出所有的中文句，并保存到chinese：

grep -v '^[[:alnum:][:space:][:punct:]]*$' 1500.txt > chinese

然后将chinese中含有全角标点的英文句手工删除。完毕。

本节的输入输出文件可以从这里下载：3000行的1500.txt，english，chinese。

3.2下载并编译程序
3.2.1 GIZA++

1.从这里下载最新的GIZA++：

http://code.google.com/p/giza-pp/downloads/list

该版本在gcc version 3.4.6下无法通过编译。我使用的gcc是4.2.4版本的。注意，解压后修改giza-pp/GIZA++-v2/Makefile，找到-DBINARY_SEARCH_FOR_TTABLE选项，将其删除。原因请看这里。

2.在giza-pp下运行make。make正常结束后，在GIZA++-v2和mkcls-v2目录下各生成了一些可执行文件。完毕。

3.2.2 CMU toolkit

1.从这里下载最新的CMU toolkit：

http://svr-www.eng.cam.ac.uk/~prc14/toolkit.html

2.解压后make即可。完毕。

本节生成的全部可执行文件可以从这里下载：bin.tar.gz。注意，如果你的libc版本与我的不同，你可能无法运行它们。


/////////////////////////////////////
语料预处理

目的:将各种格式不同的生语料进行加工,形成格式统一的语料库,以便进行词语对齐
步骤:
汉语分词
• 工具:ICTCLAS
汉语全半角转换
• 功能: 将A3区的全角字符转换为半角字符
• 程序:A2B
• 命令行: A2B input output
英语分词
• 工具:Brill
英语首字母小写还原
• 功能:将英语语料库中的句首字母进行大小写转换。如果首单词在语料库中出现的次数小写多于大写,则将首字母变为小写。
• 程序:Truecase
• 命令行:Truecase input output

plain2snt:统计单词数,格式转换

命令行 ./plain2snt.out chinese english

/**/
2 上海 738
3 浦东 76
4 开发 389
5 与 3724
chinese.vcb
Format:
单词编号 单词 单词出现次数

/**/
1
2345678
s2 3 4 5 6 7 8 9 10 11 2 12 4 13 14 15
chinese_english.snt
Format: 每个句对占3行
句子出现次数
汉语句子
英语句子

 

mkcls:单词聚类

命令行 ./mkcls -n1 -pchinese -Vchinese.vcb.classes opt
-n:表示训练迭代的次数,一般迭代1次
-p:要聚类的文本,一行一句(已分词)
-V:输出信息
opt:优化运行

/**/
1925年 17          
1925日 47          
chinese.vcb.classes           
Format:                        
单词 词类                          

/**/
2:1月份,83%,AmocoCadiz,_,iii,百分之三十九点四
3:+,TC,百二十万,百六十万,百五十万
chinese.vcb.classes.cats
Format:
词类:单词ss,单词

GIZA++:词语对齐

命令行  ./GIZA++ -S chinese.vcb -T english.vcb -C chinese_english.snt -O c2e
-S:源语言单词表
-T:目标语言单词表
-C:源语言—〉目标语言句子对
-O:输出文件夹
运行结束后,输出很多文件到c2e/文件夹中,主要是产生的对齐文件:

# Sentence pair (1) source length 7 target length 16 alignment score : 4.99368e-28
the development of Shanghai 's Pudong is in step with the establishment of its legal system
NULL ({ 1 3 8 11 13 }) 上海 ({ 4 }) 浦东 ({ 5 6 }) 开发 ({ 2 }) 与 ({ 10 }) 法制 ({ 15 16 }) 建设 ({ }) 同步 ({ 7 9 12 14 })

*.A3.final,每句对3行:
对齐概率
目标句子
源语言句子