机器学习-线性回归之最小二乘与梯度下降;

这两天,翻了下以前的笔记材料,顺便把机器学习中经典的线性回归 最小二乘 和 梯度下降复习用一下;

在机器学习中,我们分为两大类, ①监督学习;②无监督学习;

如何理解 监督学习和 无监督学习呢, 很简单, 

有监督学习, 我们让计算机,将 所有的 车进行分类,并告诉其指标: 产地,车型,价格,重量,承客量...等等来分,这就是 有监督学习; 

无监督学习: 相对的, 什么指标都不告诉计算机, 让它自行 将 所有车辆进行分类; 计算机会更具 所有提供的车辆样本间的差异;常用到的算法是聚类算法;利用聚类结果，可以提取数据集中隐藏信息，对未来数据进行分类和预测。应用于数据挖掘，模式识别，图像处理等。PCA和很多deep learning算法都属于无监督学习,今天不说这些;

有监督学习的过程中, 计算机更具我们提供的"产地,车型,价格...."等 这些指标,来对 车辆样本进行分类;这个计算过程,并且在训练过程中,已人为标注数据样本类别, 告诉计算机, 什么产地, 什么车型,价格的 车  属于哪一类; 计算机通过学习到这些数据的 指标关系; 当你 不知道 一辆车属于什么类; 只要 把车的 各个指标告诉它,变能将其准确的 分类;

转化成数学问题: 就是一个多元回归; 如下;

 

我们在训练的过程中,想要方程拟合的更好,那就需要 误差最小, 就是要 平方误差最小;

计算 平方误差最小, 我们常有用的方法就是 最小二乘和 梯度下降;

最小二乘,常用的 数据思维,请求极值,换导数; 高数只要学过的 都应该熟悉; 求偏导, 令其等于0,

我们先列出 所有的 系数方程;

我们最终的目的就是也要求得 所有的 a系数,用来组合为一个方程;

用线性方程组,我们列出 下列表达式:

到此,我们的 目标函数就得出来了:

也就 相当于 我们是求得 两个 线性矩阵的 平方绝对值,让其最小;

最小二乘法,就是要 找到; X1,X2,X3.....Xn,使得  Y-B的绝对值最小;

上述 化简过程,基本都是 线程方程组的 一些基本定理,在这就不细说了;

在得到我们化简的 试子后,我们开始求导;

最后我们要使得式子成立 变有了下面的结果:

这是有一个线性方程组,系数举证就是 A^T*A , 常数项就是 A^T * B;

在得到  系数矩阵和 常数项后,便自然求得出 一个方程了;

说的 通俗一点, 让计算机预估 某一地方的房价, 我们先训练一些数据样本, 告诉它, 一环某楼盘,面积多大,楼层多少,户型是什么,小区绿化率多少等,再告诉它 这个价格;同样的,,再告诉它 二环的楼盘的房子,,面积多大,楼层多少,户型是什么...等等,,它在学习到这些数据中,各个指标系数,在得到 误差最小的 系数后;

你 现在 想知道 B点的房价,  将这个B楼盘该房子的 地理位置,面积,楼层,绿化率,,,,等等数据 告诉它, 它便能给你 一个合理的价格;

不知道 这一样的 解释,,你们肯定能懂;

今天太晚了,,先睡了,,改天继续写;