机器学习第一周(二)--模型引入
回顾监督学习的流程
假设函数–Hypothesis
以预测房价作为问题的引入:
X轴为房子面积,Y轴为价格
这里X可看作数据的输入,也就是一个feature;Y看做输出,也就是房价。(这个例子只有一个特征)
我们要做的就是针对给定一个输入X,也就是房子面积。通过学习算法得到的最优模型也就是h来预测房子的价格。
显而易见,预测的结果与房子的真实价格越逼近越好,所以h的选择(其实就是参数theta的选择)尤为重要。
h我们称之为假设函数(也就是图中的绿线),这里我们用如下表示
损失函数–Cost function
我们用预测结果与真实价格的误差评判h的优劣。即(h-y)
我们用损失函数来表示这一结果:
要误差越小越好,当然我们要找到损失函数的全局最小值
调整参数找到损失函数的全局最小,由此引入梯度下降
(这里放上理解的关系图,画的不是十分恰当)
梯度下降
梯度下降:
j=0,1表示特征索引,应该同步更新参数
X,Y轴表示
不断地改变
学习速率
学习速率
学习速率保持不变时,梯度下降也能收敛到局部最小(前提是学习速率合理,不能过大过小),因为当得到一个局部最小时,梯度下降会自动take smaller steps,所以不需要去减小学习速率。
梯度下降应用到线性回归:
当单变量(m = 1)时,我们做如下化简:
梯度下降表达式
推广到一般的,对梯度下降有以下:
这里提到的梯度下降是批量梯度下降,每一步更新参数时都要用到所有的样本数据。
涉及到的计算
有时候会涉及到一些计算,如上,只要分出预测得到的值和实际值俩个不同。知晓假设函数。
如题: