数据归一化和两种常用的归一化方法

数据标准化（归一化）处理是数据挖掘的一项基础工作，不同评价指标往往具有不同的量纲和 量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要进行数据标准化处理，以解决数据指标之间的可比性。原始数据经过数据标准 化处理后，各指标处于同一数量级，适合进行综合对比评价。以下是两种常用的归一化方法：

一、min-max标准化（Min-Max Normalization）

也称为离差标准化，是对原始数据的线性变换，使结果值映射到[0 - 1]之间。转换函数如下：

其中max为样本数据的最大值，min为样本数据的最小值。这种方法有个缺陷就是当有新数据加入时，可能导致max和min的变化，需要重新定义。

二、Z-score标准化方法

这种方法给予原始数据的均值（mean）和标准差（standard deviation）进行数据的标准化。经过处理的数据符合标准正态分布，即均值为0，标准差为1，转化函数为：

其中为所有样本数据的均值，为所有样本数据的标准差。

 

一、 归一化的作用是：将数据去掉量纲的影响。简单的讲，由于数据单位不一致，故需将不同的数据进行格式化，使之在指定的范围内  （比如在0~1之间）。

二、归一化方法：

1、线性函数转换：y=(x-MinValue)/(MaxValue-MinValue)
说明：x、y分别为转换前、后的值，MaxValue、MinValue分别为样本的最大值和最小值。
2、对数函数转换:y=lg(x)
说明：以10为底的对数函数转换。
3、反余切函数转换：y=atan(x)*2/pi

 

_score * (1d / (1d + exp(-log(doc['saleCount'].value+1d)/10)))

参考文献：

http://webdataanalysis.net/data-analysis-method/data-normalization/

 

http://www.cnblogs.com/chaosimple/archive/2013/07/31/3227271.html