cyzhang999
- 浏览: 26757 次
- 性别:
- 来自: 北京
-
最新评论
-
num89751：
你好，我最近也在接触crf++，你说的我也有同感，我想知道怎么 ...
maxent 和CRF++使用中遇到的两个问题
文章列表
CRF 相比于 maximum entropy Markov models一个很重要的特点就是避免了标注偏置问题。
什么是标注偏置问题?
在Conditional Random fields: Probabilistic Models for Segmenting and Labeling Sequence Data (http://www.cis.upenn.edu/~pereira/papers/crf.pdf)这篇论文中，有解释。
我对这个问题的理解是：
有三个状态a,b,c,
在训练语料中，a转移b的概率，大于a转移到c的概率，造成在进行测试时，始终只能出现a到b状态。
...
从来都记不住这个东西，在这写写。
两个方法：
（1）String.formant("%.4f",1.23234355);
(2) System.out.printf(""%.4f",1.23234355);
需要注意一点，后面对应的类型，一定要和格式化字符串一致，否者，会出错，耽误时间。
下面是转载过来的。
用于printf的转换符如下表：
转换符 类型 举例
d 十进制整数 159
x 十六进制整数 9f
o 八进制整数 237
f 定点浮点数 15.9
e 指数浮点数 1.59e+01
g 通常浮点数 ...
dom4j对于java的xml处理还是非常好用的，今天先写个文件的创建。
Document xmlDoc=DocumentHelper.createDocument();
Element root=xmlDoc.addElement(XmlConfig.root);
root.addNamespace(XmlConfig.rootPrefix, XmlConfig.rootUri);
for(Statistics eachSta : staArray)
{
...
Maxent
使用张乐博士的软件包时，要注意：
1. 空格和table都是分隔符，同时出现在语料中，会造成错误，但信息会打印出来。
2. 在8G内存的情况下，可容纳最大量，大约为1200万*5。
3. 注意最大熵不能识别，同一个event中，相同的feature，要加以区分。
CRF++
在使用CRF++时要注意：
1. segment fault错误，可能是由于连续两个空行做成的。
2. 在小数量的特征很多时，-f参数对于提高训练速度，有很大的作用。
3. -p 后面最好接奇数，否则，跑不起来。
都是最近遇到的问题，随便写写。