扩展词库构建设计方案

背景：

我们可以看到蓝天和白云几乎是同时出现的，那么他们的关联就比较强，这样我们就认为蓝天是白云的扩展词，这样在做文本计算的时候可以强关联替换，类似同义词一样，来弥补文本挖掘的不足。

 

技术背景：

基于Hadoop的MR

 

分析：

1.基于常用文本进行切词从而组建扩展词；

2.基于tf计算的时候要考虑词频的影响；

3.扩展词库是否需要考虑支持度和置信度；

4.约定每个文本切词完成之后为一个事务；

 

 

方案：

1.基于文本切词计算tf；

2.计算任意两词之间的距离，计算公式为：d(w1,w2)=|tf1-tf2|;

3.扫描所有的事务，累加距离；

4.只考虑支持度和距离阀值，低于支持度阀值的忽略，高于距离阀值的忽略；

5.基于w1，统计其扩展词库，并基于距离排序；