Scikit-learn提供了预处理模块，即sklearn.preprocessing模块，能够将原始的特征向量转换为更适合机器学习算法的形式。该preprocessing模块支持机器学习中常用的数据预处理功能，包括数据缩放、数据转换、归一化以及离群数据的处理等。
标准化
对于Scikit-learn中实现的很多机器学习算法，将数据集进行标准化是常见的需求。许多目标函数都是假定所有特征的均值为零且方差在同一阶数上，如果个别数据特征不服从标准正态分布，如方差数量级较大，则会影响学习过程，降低模型的准确度。标准化是机器学习中非常重要的一种数据预处理手段，下面是通过scale函数进行标准化的例子：
In [1]: from sklearn import preprocessing
In [2]: import numpy as np
In [3]: data = np.random.randint(1, 10, (4, 4))
In [4]: data
Out[4]:
array([[8, 8, 3, 8],
[9, 9, 2, 7],
[5, 1, 6, 2],
[8, 5, 1, 7]])
In [5]: data_scaled = preprocessing.scale(data)
In [6]: data_scaled
Out[6]:
array([[ 0.33333333, 0.7228974 , 0. , 0.85280287],
[ 1. , 1.04418513, -0.53452248, 0.42640143],
[-1.66666667, -1.52611672, 1.60356745, -1.70560573],
[ 0.33333333, -0.2409658 , -1.06904497, 0.42640143]])处理后的数据，均值为0，方差为
n [7]: data_scaled.mean(axis=0).round(2)
Out[7]: array([-0., -0., 0., -0.])
In [8]: data_scaled.std(axis=0).round(2)
Out[8]: array([1., 1., 1., 1.])
有监督学习中我们需要同时处理训练集和测试集，预处理模块提供的StandardScaler可以先适配训练集的数据，然后对测试集应用相同的转换操作。StandardScaler类在适配过程中会计算训练集的平均值和标准差，以便能够在测试集上应用相同的变换：
In [9]: x_data = np.random.randint(1, 10, (8, 4))
In [10]: x_train, x_test = x_data[0:4, :], x_data[4:8, :]
In [11]: scaler = preprocessing.StandardScaler()
In [12]: scaler.fit(x_train)
Out[12]: StandardScaler(copy=True, with_mean=True, with_std=True)
In [13]: scaler.mean_
Out[13]: array([3.75, 5.75, 5.25, 3. ])
In [14]: scaler.var_
Out[14]: array([5.6875, 1.1875, 8.1875, 5.5 ])适配后的转换器可以用transform接口对训练集进行标准化：
In [15]: x_train_scaled = scaler.transform(x_train)
In [16]: x_train_scaled.mean(axis=0)
Out[16]: array([ 0.00000000e+00, 5.55111512e-17, 0.00000000e+00, -1.38777878e-17])
In [17]: x_train_scaled.std(axis=0)
Out[17]: array([1., 1., 1., 1.])调用转换接口，可以将同样的转换操作应用在测试集上：
In [18]: scaler.transform(x_test)
Out[18]:
array([[ 2.20139816, 1.14707867, -0.43685203, -0.42640143],
[-0.31448545, -1.60591014, -1.4852969 , -0.42640143],
[ 2.20139816, -4.35889894, -0.43685203, 1.70560573],
[ 0.52414242, 0.22941573, -0.43685203, 1.2792043 ]])归一化
归一化是将特征数据缩放到限定范围内，通常是0-1之间。不同的特征之间可能具有量纲和数量级上的差异，归一化可以避免这种差异带来的负面影响，加速优化过程。预处理模块中，normalize函数提供了快速、便捷的归一化操作：
In [1]: from sklearn import preprocessing
In [2]: import numpy as np
In [3]: data = np.random.randint(1, 10, (4, 4))
In [4]: data
Out[4]:
array([[6, 4, 2, 4],
[9, 6, 9, 9],
[2, 4, 1, 7],
[3, 6, 7, 1]])
In [5]: data_normalized = preprocessing.normalize(data, norm="l2")
In [6]: data_normalized
Out[6]:
array([[0.70710678, 0.47140452, 0.23570226, 0.47140452],
[0.53881591, 0.3592106 , 0.53881591, 0.53881591],
[0.23904572, 0.47809144, 0.11952286, 0.83666003],
[0.30779351, 0.61558701, 0.71818485, 0.10259784]])其中，norm参数用来指定归一化所使用的范数类型，支持L1和L2范数，对应的参数值分别为l1和l预处理模块还提供了Normalizer转换器，类似于标准化的StandardScaler转换器，它在数据适配后可以对所有输入对象进行统一的归一化操作。下面是该转换器的用法示例：
In [7]: normalizer = preprocessing.Normalizer(norm="l2")
In [8]: normalizer.fit(data)
Out[8]: Normalizer(copy=True, norm="l2")
In [9]: data2 = np.random.randint(1, 10, (1, 4))
In [10]: normalizer.transform(data2)
Out[10]: array([[0.08873565, 0.26620695, 0.53241391, 0.79862086]])初始化转换器时，可以通过norm参数指定范数类型，默认值为l执行归一化转换前，需要调用fit接口进行数据适配。归一化转换的接口为transform，输入参数是待转换的数组。
正态化
在很多机器学习的建模场景下，都期望特征变量服从正态分布。幂变换是一类参数化的单调变换，旨在将原数据分布尽可能地映射到高斯分布中，以达到稳定方差、降低偏度的目的。预处理模块的PowerTransformer转换器支持两种幂变换，分别是Yeo-Johnson幂变换和Box-Cox幂变换，通过method参数来指定。例如，使用Box-Cox幂变换：
In [1]: from sklearn import preprocessing
In [2]: import numpy as np
In [3]: data = np.random.RandomState(616).lognormal(size=(4, 4))
In [4]: transformer = preprocessing.PowerTransformer(method="box-cox", standardize=False)
In [5]: data
Out[5]:
array([[1.28331718, 1.18092228, 0.84160269, 0.94293279],
[1.60960836, 0.3879099 , 1.35235668, 0.21715673],
[1.09977091, 0.98751217, 3.10856524, 1.64193898],
[0.88024529, 0.21202234, 4.17198777, 0.46721295]])
In [6]: transformer.fit_transform(data)
Out[6]:
array([[ 0.24840307, 0.1711119 , -0.16980009, -0.05849047],
[ 0.47219482, -0.80902253, 0.3101936 , -1.35809287],
[ 0.09494971, -0.01253951, 1.25813603, 0.51566077],
[-0.12782912, -1.20392375, 1.62867338, -0.7173335 ]])PowerTransformer类默认会将标准化操作应用到转换后的输出结果上，可以在初始化时通过指定standardize为False来关闭这个默认选项。
文章为作者独立观点，不代表股票配资公司观点
相关文章
股民评论