规范化、标准化、归一化、正则化，网上搜了一下，这几种概念在不同的地方叫法各有不同。因此，现做一个初步整理，便于后期进一步理解。
比较好的参考1
比较好的参考2
比较好的参考3
比较好的参考4
为解释清晰，下文统一为：规范化包含标准化、归一化和正则化
一、规范化的目的
通常情况下是为了消除量纲的影响。譬如一个百分制的变量与一个5分值的变量在一起怎么比较？只有通过数据标准化，都把它们标准到同一个标准时才具有可比性，将数据标准化为没有单位的纯数量。
二、使用情况（引用）
- 看模型是否具有伸缩不变性。
- 不是所有的模型都一定需要标准化，有些模型对量纲不同的数据比较敏感,譬如SVM等。当各个维度进行不均匀伸缩后，最优解与原来不等价，这样的模型，除非原始数据的分布范围本来就不叫接近，否则必须进行标准化，以免模型参数被分布范围较大或较小的数据主导。
- 但是如果模型在各个维度进行不均匀伸缩后，最优解与原来等价，例如logistic regression等，对于这样的模型，是否标准化理论上不会改变最优解。但是，由于实际求解往往使用迭代算法，如果目标函数的形状太“扁”，迭代算法可能收敛得很慢甚至不收敛。所以对于具有伸缩不变性的模型，最好也进行数据标准化。
三、规范化的三种不同方法
- 标准化：如zero-mean normalization,经过处理的数据符合标准正态分布
- 归一化：如区间缩放法(Min-max normalization)，将数据特征缩放至某一范围，通常是0-1
- 正则化：通常是指除以向量的范数。例如：将一个向量的欧氏长度等价于1 。在神经网络中，“正则化”通常是指将向量的范围重缩放至最小化或者一定范围，使所有的元素都在[0,1]范围内。通常用于文本分类或者文本聚类中。
3.1 z-score标准化
- 公式：（X-X_mean）/X_std #计算时对每个属性/每列分别进行。
- 目的：将数据按其属性（按列进行）减去其均值，然后除以其方差。又叫标准差标准化，经过处理的数据符合标准正态分布，即均值为0，标准差为1。
方法一：使用preprocessing.scale()函数对指定数据进行转换
sklearn.preprocessing.scale(X,axis=0,with_mean=True,with_std=True,copy=True)
X:数组或者矩阵
axis:int类型，初始值为0，如果是0，则单独的标准化每个特征（列）；如果是1，则标准化每个观测样本（行）。
with_mean：boolean类型，默认为true，表示将数据均值规范到0
with_std:boolean类型，默认为true,表示将数据方差规范到1
from sklearn import preprocessing
import numpy as np
X=np.array([[1,-1,2],[2,0,0],[0,1,-1]])
#calculate mean
X_mean=X.mean(axis=0)
X_std=X.std(axis=0)
print('raw data mean:',X_mean)
print('raw data variance:',X_std)
#standardize X
X1=(X-X_mean)/X_std
print('standardize result1:',X1)
#use function preprocessing.scale to standardize X
X_scale=preprocessing.scale(X)
print('standardize result2-sklearn:',X_scale)
print(X_scale.mean(axis=0))
print(X_scale.std(axis=0))
#最后X_scale与X1的值相同
方法二：使用preprocessing.StandardScaler类实现对训练集和测试集的拟合和转换
代码举例
from sklearn import preprocessing
import numpy as np
X=np.array([[1,-1,2],[2,0,0],[0,1,-1]])
scaler=preprocessing.StandardScaler()
X_scaled=scaler.fit_transform(X)
print('standardize result3-sklearn:',X_scaled)
print(X_scaled.mean(axis=0))
print(X_scaled.std(axis=0))
#scale与standardscaler结果相同
#scale与standardscaler的区别在于standardscaler可以直接使用训练集对测试集数据进行转换
print(scaler.transform([-1,1,0]))
3.2 区间缩放归一化——将属性缩放到一个指定的Max和Min
- 公式：（X-Min）/(Max-Min) #计算时对每个属性/每列分别进行。
- 目的：
1、对于方差非常小的属性可以增强其稳定性；
2、维持稀疏矩阵中为0的条目。
方法：使用preprocessing的MinMaxScaler函数
from sklearn import preprocessing
import numpy as np
X=np.array([[1,-1,2],[2,0,0],[0,1,-1]])
X_minmax=(X-X.min(axis=0))/(X.max(axis=0)-X.min(axis=0))
print('scaling result1:',X_std)
min_max_scaler = preprocessing.MinMaxScaler()
X_minMax = min_max_scaler.fit_transform(X)
print('scaling result2-sklearn:',X_minMax)
#公式计算与函数计算结果相同
#测试用例
X_test = np.array([[ -3., -1., 4.]])
X_test_minmax = min_max_scaler.transform(X_test)
print(X_test_minmax)
3.3 正则化
- 公式：正则化其实和“带约束的目标函数”是等价的，二者可以互相转换。
数学模型如下：
通过熟悉的拉格朗日乘子法（注意这个方法的名字），可以变为如下形式：
正则化因子，也就是里面的那个lamda，如果它变大了，说明目标函数的作用变小了，正则化项的作用变大了，对参数的限制能力加强了，这会使得参数的变化不那么剧烈（仅对如上数学模型），直接的好处就是避免模型过拟合。。 - 目的：约束要优化的参数，防止过拟合
方法一：使用preprocessing的normalize()函数对指定数据进行转换
X=np.array([[1,-1,2],[2,0,0],[0,1,-1]])
X_normalized=preprocessing.normalize(X,norm='l2')
print('normalize result1:',X_normalized)
方法二：使用preprocessing的Normalizer()类实现对训练集和测试集的拟合和转换
normalizer=preprocessing.Normalizer().fit(X)
normalizer.transform(X)
normalizer.transform([[-1,1,0]])
以上是为规范化（标准化、归一化、正则化），后期还有二值化、稀疏矩阵这些概念。总体感受，还是需要通过具体事例进一步理解和运用。
网友评论