斯坦福机器学习笔记(二)

linear regression线性回归

机器学习大致流程

Created with Raphaël 2.2.0traning set(训练集)learning algorithm(学习算法)hypothesis h(函数or假设)

H是已知 X到目的 Y的映射
假设
Hθxi=θ0+θ1xiH_\theta(x^i)= \theta_0 + \theta_1x^i
选择θ0\theta_0θ1\theta_1使得代价函数也即平方误差代价函数最小
代价函数
minmizei=1mhθxiyi/2mminmize\sum_{i=1}^{m}(h_\theta(x^i)- y^i)/2m

gradient descent梯度下降算法
梯度下降是一个用来求函数最小值的算法。
斯坦福机器学习笔记(二)
其中α\alpha被称作learning rate(学习速率),之后视频中讲到α\alpha不可以过大,否则可能无法收敛或者发散,而梯度下降是通过不断重复计算直到θj\theta_j收敛。

斯坦福机器学习笔记(二)
要注意的是θ0\theta_0θ1\theta_1需要同时更新

梯度下降算法和线性回归对比:
斯坦福机器学习笔记(二)
通过计算可以得到结果:
斯坦福机器学习笔记(二)
由于使用到了所有变(求和),所以也成为批量梯度下降函数

Day 2!加油!