机器学习入门笔记1：梯度下降法
梯度是一个向量，表示某一函数在该点处的方向导数沿着该方向取得最大值，大小为方向导数最大值，方向为函数增长最快方向。
假设一个函数
的极值点，就是它的导数为零的那个点。因此我们可以通过解方程
求得函数的极值点。
假设上图为函数图像，首先我们随便选择一个点开始，经过一次次迭代，不断根据我们定的步长更新x的值，最终到达最小值点，每次迭代都朝着梯度方向的反方向，梯度下降算法公式可表示为：
其中为函数在
处的梯度
为设定的步长。
在机器学习中，我们的目的是找到最合适的参数，当我们输入第i个Features 的数据（即矩阵的第i行)时，得到的classes的结果
与真实classes值
之间的方差最小，即损失函数最小：
所以问题就转化为了：不断优化直到找到使得损失函数最小的
为止。
下面推导损失函数在任意一点的梯度：
所以通过不断迭代计算直到损失函数接近0.