机器学习——数据特征预处理
归一化以及标准化
归一化
特定:通过对原始数据进行变换把数据映射到(默认为[0,1])之间
公式:X'=(x-min)/(max-min) X''=X'*(mx-mi)+mi
注意:作用于每一列,max为一列的最大值,min为一列的最小值,那么X''为最终结果,mx,mi分别为指定区间值默认mx为1,mi为0
sklearn归一化API:sklearn.preprocessing.MinMaxScaler
- MinMaxScaler(feature_range=(0,1)...)
每个特征缩放到给定范围(默认[0,1])
MinMaxScalar.fit_transform(X)
- X:numpy array格式的数据[n_samples,n_features]
返回值:转换后的形状相同的array
下面代码实现:
from sklearn.preprocessing import MinMaxScaler
def mm():
"""
归一化处理
:return:None
"""
mm=MinMaxScaler(feature_range=(2,3))
data=mm.fit_transform([[90,2,10,40],[60,4,15,45],[75,3,13,46]])
print(data)
if __name__=="__main":
mm()
运行结果如下所示:
目的:使得一个特征对最早结果不会造成更大影响
总结:注意在特定场景下最大值最小值是变化的,另外,最大值与最小值非常容易受异常点影响,所有这种方法鲁棒性较差,只适合传统精确小数据场景。
标准化
特点:通过对原始数据进行变换把数据变换到均值为0,方差为1范围内
公式:X'=(x-mean)/C
注意:作用于每一列,mean为平均值,C为标准差
结合归一化来谈标准化
对于归一化来说:如果出现异常点,影响了最大值和最小值,那么结果显然会发生改变
对于标准化来说:如果出现异常点,由于具有一定数据量,少量的异常点对于平均值的影响并不大,从而方差改变较小。
Sklearn特征化API:skikit-learn:scikit-learn.preprocessing.StandardScaler
StandardScaler(...)
处理之后每列来说所有数据都聚集在均值0附近标准差差为1
- standardScaler.fit_transform(X)
X:numpy array格式的数据[n_samples,n_features]
返回值:转换后的形状相同的array
- StandardScaler.mean_
原始数据中每列特征的平均值
- StandardScaler.std_
原始数据每列特征的方差
下面用代码实现:
from sklearn.preprocessing import StandardScaler
def stand():
"""
标准化缩放
:return:
"""
std=StandardScaler()
data=std.fit_transform([[1.,-1.,3.],[2.,4.,2.],[4.,6.,-1.]])
print(data)
return None
if __name__=="__main":
stand()
实现结果如下所示:
标准化总结:在已有样本足够多的情况下比较稳定,适合现在嘈杂大数据场景。
数值型数据:标准缩放:
1、归一化
2、标准化
3、缺失值
类别型数据: one-hot编码
时间类型: 时间的切分
缺失值
缺失值处理方法:
1.删除:如果每列或者行数据缺失值达到一定的比例,建议放弃整行或者整列
插补:可以通过缺失值每行或者每列的平均值、中位数来填充
2、sklearn缺失值API:sklearn.preprocessing.Imputer
Imputer(missing_values='NaN',strategy='mean',axis=0)
完成缺失值插补
- Imputer.fit_transform(X)
X:numpy array格式的数据[n_samples,n_features]
返回值:转换后的形状相同的array
下面用代码实现:
from sklearn.preprocessing import Imputer
import numpy as np
def im():
"""
缺失值处理
:return:
"""
im=Imputer(missing_values='NaN',strategy='mean',axis=0)
data=im.fit_transform([[1,2],[np.nan,3],[7,6]])
print(data)
return None
if __name__=="__main":
im()
运行结果如下:
Imputer流程
1.初始化Imputer,指定“缺失值",指定填补策略,指定行或列
注:缺失值也可以是别的指定要替换的值
2.调用fit_transform