归一化 标准化 正则化 区别

 

归一化：一种简化计算的方式，将有量纲的表达式，经过变换，化为无量纲的表达式，成为纯量，避免具有不同物理意义和量纲的输入变量不能平等使用。在统计学中，归一化的具体作用是归纳统一样本的统计分布性。归一化在0-1之间是统计的概率分布，归一化在-1--+1之间是统计的坐标分布。这里需要注意的是归一化需要对训练集和测试集进行归一化，而不是仅仅对训练集进行归一化，如果数据是慢慢加入的，加入一部分就更新一次很浪费时间也很没必要，可以记录下当前数据集的最大值和最小值进行处理，最后能不用归一化的时候尽量不要用。

 

标准化：数据的标准化是将数据按比例缩放，使之落入一个小的特定区间

 

正则化：在求解最优化问题中，调节拟合程度的，参数一般称为正则项，越大表明欠拟合，越小表明过拟合，推荐中主要用在矩阵分解中。