数据挖掘导论-数据

1.数据集的一般特征

（1）维度， dimensionality ，是数据集中的对象具有的属性数目。

（2）稀疏性，sparsity

（3）分辨率 resolusion

2.数据质量

噪声、伪像、偏倚、精度、准确率、离群点、遗漏、不一致的值、重复数据

（1）测量误差和数据收集错误

测量误差，measurement error，测量过程中导致的问题，测量值与实际值的差称为误差。

（2）噪声和伪像

噪声，通常用语包含时间或者空间分量的数据。

（3）精度、偏倚、准确率

精度，precision，同一个量的重复测量值之间的接近程度

偏倚，bias，测量值和被测量之间的系统的变差

准确率，accuracy，被测量的测量值和实际值之间的接近度

（4）离群点 outlier

（5）遗漏值

（6）不一致的值

（7）重复数据

3.数据预处理

（1）聚集，aggregation

将两个或多个对象合并成单个对象。

（2）抽样 

有效抽样的主要原理：如果样本是有代表性的，则使用样本与使用整个数据集的效果几乎是一样的。

选择样本的方法：

简单随机抽样 simple random sampling 包括无放回抽样和有放回抽样

分层抽样 stratified sampling ，预先从指定的组开始抽样