2.1 线性回归算法学习——简单线性回归算法的原理及推导过程
机器学习中的参数模型(线性回归、逻辑回归、SVM、神经网络等)学习过程:
通过建模找到一个最大程度拟合数据的模型,通过确定损失函数(或效用函数,统称为目标函数),最优化目标函数来获得机器学习模型的参数。
回归分析:
利用已知的数据,(线性回归中需要找到一条直线)最大程度的拟合样本与输出标记,即产生拟合方程,从而对未知的数据进行预测。
如何判断是否选用线性模型处理问题?
使用相关系数r衡量特征与标记之间的相关性强弱,判断是否适合用直线进行拟合,r为0到1的值,越接近1,相关性越强
如果x与y有较强的相关的模型,则有y=ax+b
寻找合适的参数a,b,使得误差即损失最小
效果最好如何评估?
误差最小——>所有y到直线的距离最小,距离需要开方,开方不是处处可导——>转换为y与y(预测值)的差最小,但有可能正负抵消——>加绝对值,绝对值求导也不好求——>距离差的平方,即残差平方和(误差平方和)
通过最小二乘法求解最小值
求解过程:
求解b
求解a
再优化