Shallow Learning—Linear Regression

Regression(回归)：通过训练输出一个数值。（训练是指寻找合适的function的过程）

eg: 股票预测，无人车预测驾驶角度，购买可能性预测

step1:Model  定义一系列可能满足条件的function set

Linear Model：注意是指function中的参数跟结果满足线性关系

step2:Goodness of function 用一个定量标准刻画function的误差程度

标准：Loss Function(损失函数)：输入一个function，输出它有多差

下一步就是要找到smallest点的w和b，进而确定函数

step3:Best Function  找到使损失函数取最小值的w,b

方法：Gradient Descent(梯度下降法)

其实就是通过求各个参数的偏导，找到极小值点。偏导为正就要往左移，偏导为负就要往右移，直到达到预先设计的精度范围里，（learning rate）是指左右移动的速率。

存在问题：有可能找到的w是局部最小值而非全局最小，还有可能是非极值点。

有多个参数的话要写成gradient向量（所有参数对L的偏微分所形成的向量）的形式。

我们真正关心的是确定好的function在testing data上的误差，因此模型需要不断的去修正，找到真正合适的，并不是越复杂的模型越好，有可能会出现overfitting（过拟合）的情况。

解决过拟合的方法是使用更多的training data，可能会有hidden factor，找到hidden factor之后Redesign the model+Regularization。