一、归一化
对原始数据缩放到 0-1 之间，是线性变换。也叫最大最小标准化，离散标准化。
区间也可以设置为其他，一般为 0 - 1。
公式：
$$ X = \frac{x-min}{max-min } $$
min 为数据最小值，max 为数据最大值，x 为原始数据值，X 为归一化后的值。
$$ x = X^{\prime}(max-min)+min $$
特点
虽然归一化可以保留原始数据中存在的关系，但是计算用到的最大值与最小值非常容易受异常点影响，所以只适合精确小数据量。
实现
使用 sklearn 包来实现归一化：
from sklearn.preprocessing import MinMaxScaler
preprocess = MinMaxScaler()
raw_data = [[10, 10, 100, 1000],
[5, 1, 21, 5],
[1, 2, 15, 1]]
data = preprocess.fit_transform(raw_data)
|
会输出 array 数据格式，可以看到最后一列中的 1000 由于数据值太大，导致 5 相对其来说只能得到 0.004，在实际数据中，如果 1000 为噪声数据就会极大的影响最终的分析结果。当然，如果数据准确且数据较少的情况下，推荐使用该方法。
Out[3]:
array([[1. , 1. , 1. , 1. ],
[0.44444444, 0. , 0.07058824, 0.004004 ],
[0. , 0.11111111, 0. , 0. ]])
|
使用 pandas 包
import pandas as pd
df = pd.DataFrame([[10, 10, 100, 1000],
[5, 1, 21, 5],
[1, 2, 15, 1]])
# 方法一：
df1 = df.apply(lambda x: (x - np.min(x)) / (np.max(x) - np.min(x)), axis=0)
# 方法二：
df2 = (df - df.min()) / (df.max() - df.min())
|
方法一输出，与 sklearn 结果一致，格式为 dataframe
0 1 2 3
0 1.000000 1.000000 1.000000 1.000000
1 0.444444 0.000000 0.070588 0.004004
2 0.000000 0.111111 0.000000 0.000000
|
方法二输出，与 sklearn 结果一致，格式为 dataframe
0 1 2 3
0 1.000000 1.000000 1.000000 1.000000
1 0.444444 0.000000 0.070588 0.004004
2 0.000000 0.111111 0.000000 0.000000
|
二、z-score 标准化
标准化方法很多，今天先介绍使用最多的 z-score 标准化。
这种方法是将原始数据变换到均值为 0，方差为 1 的范围内。
公式
$$ X=\frac{x-mean}{\sigma} $$
$$ \sigma=\sqrt{std}=\sqrt{\frac{(x_1-mean)^2+(x_2-mean)^2+{\cdots}+(x_n-mean)^2}{n}} $$
特点
对于大数据样本量，如果出现异常点，少量异常点对于平均值影响小，方差也小，对最终结果影响不大。因此，该方法适合样本量大，数据噪点多的数据集
from sklearn.preprocessing import StandardScaler
preprocess = StandardScaler()
raw_data = [[10, 10, 100, 1000],
[5, 1, 21, 5],
[1, 2, 15, 1]]
data = preprocess.fit_transform(raw_data)
data.mean_
data.std_
# 标准差
df.std()
|
输出
array([[ 1.26750044, 1.40693001, 1.41138272, 1.41420503],
[-0.09053575, -0.82760589, -0.62823743, -0.70284713],
[-1.1769647 , -0.57932412, -0.78314529, -0.71135789]])
|
微信
支付宝
