数据挖掘-数据预处理

（1）数据预处理

    对于建立数据仓库和数据挖掘都是一个重要的问题，因为现实世界中的数据多半是不完整的、有噪音的和不一致的。数据预处理包括数据清理、数据集成、数据变换和数据归约。

 

（2）数据清理

    可以用于填充遗漏的值，平滑数据，找出局外者并纠正数据的不一致性。

 

（3）数据集成

    将来自不同数据源的数据整合成一致的数据存储。元数据、相关分析、数据冲突检测和语义异种性的解决都有助于数据集成。

 

（4）数据变换

   将数据变换成适于挖掘的形式。例如，属性数据可以规范化，使得它们可以落入小区间，如0.0 到1.0。

 

（5）数据归约技术

    如数据方聚集、维归约、数据压缩、数值归约和离散化都可以用来得到数据的归约表示，而使得信息内容的损失最小。

 

（6）数值数据的概念分层

    数值数据的概念分层自动产生可能涉及诸如分箱、直方图分析、聚类分析、基于熵的离散化和根据自然划分分段。对于分类数据，概念分层可以根据定义分层的属性的不同值个数自动产生。