线性回归

回归就是找到一个函数，通过输入特征，输出一个数值。线性回归输出是一个连续值，如预测房屋价格、气温、销售额等连续值的问题。

应用体现

股市预测（股市预测）
输入：过去10年股票的变动，新闻咨询，公司并购咨询等
输出：预测股市明天的预期
房屋价格（价格预测）
输入：输入房屋的大小，地段，房间数
输出：房屋价格

模型步骤

step1：模型假设，选择模型框架（线性模型）
step2：模型评估，如何判断众多模型的好坏（损失函数）
step3：模型优化，如何选择最优的模型（梯度下降）

我们以一个简单的房屋价格预测作为例子来解释线性回归

模型假设

设房屋的面积为$x_1$x1​ ，房龄为$x_2$x2​ ，售出价格为 $y$y。我们需要建立基于输入$x_1$x1​ 和$x_2$x2​来计算输出$y$y的表达式:$\hat{y}=w_1*x_1+w_2*x_2$y^​=w1​∗x1​+w2​∗x2​
其中$w_1,w_2$w1​,w2​是对应输入的权重，b是偏差，$\hat{y}$y^​则是该模型输出的预测和估计。

模型评估

在线性回归中，我们需要衡量价格预测值与真实值之间的误差，一般我们使用一个损失函数来评估模型的好坏。
我们使用的损失函数为MSE(均方误差)函数：

模型优化

详见各种梯度下降法
在深度学习中我们对模型优化使用的方法为小批量梯度下降对模型进行优化得到使得损失函数MSE的最小值的一组参数$w_1,w_2,b$w1​,w2​,b

模型预测

模型训练完成后，我们将模型参数$w_1,w_2,b$w1​,w2​,b在优化算法停止时的值分别记作 $\hat{w_1},\hat{w_2},\hat{b}$w1​^​,w2​^​,b^。
注意，这里我们得到的并不一定是最小化损失函数的最优解$w_1^*,w_2^*,b^*$w1∗​,w2∗​,b∗，而是对最优解的一个近似。
然后，我们就可以使用学出的线性回归模型来估算训练数据集以外任意一栋面积（平方米）为$x_1$x1​ 、房龄（年）为$x_2$x2​的房屋的价格了