1 基本形式

2 回归任务

2.1线性回归模型

1 适用场景："线性回归" (linear regression)试图学得一个线性模型以尽可能准确地预测实值输出标记.
 

2 形式：

3 性能度量：均方误差。

 

均方误差有非常好的几何意义.它对应了常用的欧几里得距离或简称"欧氏距离" (Euclidean distance). 基于均方误差最小化来进行模型求解的方法称为"最小二乘法" (least square method).在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线上的欧氏距离之和最小.

4 线性回归模型的最小二乘"参数估计":求解 ω 和 b 使 最小化的过程，称为线性回归
模型的最小二乘"参数估计" 

5 参数估计矩阵形式：

则最终学习的线性模型为

6 广义线性模型：

g为联系函数，一般为单调可微函数。

2.2对数几率回归（logistic regression）模型

1 适用场景： 分类任务。用线性回归模型的预测结果去逼近真实标记的对数几率，其对应的模型称为"对数几率回归"。

 

2 形式：。

Sigmoid函数是一个在生物学中常见的S型函数，也称为S型生长曲线，泛指s型函数。

将y视为正例的概率，几率定义为，反应x作为正例的可能性。再取对数则称为对数几率

 

3 性能度量：

4 极大似然法参数估计：即令每个样本属于其真实标记的概率越大越好.对率回归模型最大化"对数似然".

（似然函数：统计学中，似然函数是一种关于统计模型参数的函数。给定输出x时，关于参数θ的似然函数L(θ|x)（在数值上）等于给定参数θ后变量X的概率：L(θ|x)=P(X=x|θ)。）

2.3线性判别分析

1 适用场景：在二分类问题上因为最早由 [Fisher ， 1936] 提出 ， 亦称 "Fisher 判别分析。

投影后类内方差最小，类间方差最大。