机器学习--手推逻辑回归

机器学习–逻辑回归

逻辑回归Lodistic Regression
解决问题：一种分类方法，处理因变量为分类变量的回归问题，主要为二分类或二项分布问题。利用已知的自变量来预测一个离散因变量的发生概率值。
基本思想：将线性回归基本函数+sigmoid函数，参数theta在线性回归中；
数学分析：sigmoid函数将数据二值化，即目标变量只取0或1；将联合密度函数基础上应用最大似然估计；
损失函数：对数损失
流程：1、假设；2、优化目标；3、梯度下降
优缺点：实现简单，但不能拟合非线性数据，选取合适的多项式阶数对于回归模型拟合程度会产生重要影响。多项式阶数越高越容易产生过拟合现象。
模型训练：
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import cross_val_predict
cols = loans.columns
train_cols = cols.drop(“loan_status”)
features = loans[train_cols] #特征矩阵
target = loans[“loan_status”] #标签矩阵
lr = LogisticRegression()
predictions = cross_val_predict(lr,features,target,cv=10) #交叉验证10组Kfold =10
lr.fit(features,target) #模型训练
predictions = lr.predict(features) #模型预测