该系列笔记内容是楼主在观看课程时记录的，其中图片是视频中ppt的截图，内容仅供参考，有问题欢迎大家指出。

1. 回归问题模型

• 回归问题如股价预测、房价预测等，是预测连续数量的任务，旨在找到对应的发展趋势

1）线性回归模型（Linear Regression）

a. 单变量线性回归（Univariate Linear Regression）

如何描述线性回归假设函数

• h（hypothesis）表示线性假设函数，是找出数据集线性最佳符合的函数
• 上图右侧绘制除了仅有单变量x的线性曲线，其中θ₀是偏置，θ₁是权值，该回归模型就是简单的一元一次方程

多个单变量线性回归假设函数求预测值

• 如上图所示，当有众多单变量回归假设函数时，可以将特征值以及假设权值向量化，进行矩阵的乘法运算，最终得到的矩阵即为三种预测值

b. 多元线性回归模型（Multivariable Linear Regression）

多元线性回归假设函数

• 一般情况下，同时会有多个特征导致最终趋势的走向，因此可以通过线性的添加向量及权值形成多元一次方程，进而提供更好的预测
• 多元假设函数可以看作权值向量Θ的置换与特征向量X的乘积，其中x₀可以视为值为1的特征

2）多项式回归模型（Polynomial Regression）

多项式回归示例

• 相比起单线性回归模型，多项式假设函数用于拟合复杂趋势（非线性函数）

2. 分类问题模型

• 分类问题如图像识别、垃圾邮件识别等，是预测离散类标签的任务，旨在找到类别间的边界
  

线性回归模型在分类问题中的缺陷

• 如上图所示，线性回归算法用于分类问题上结果不稳定，且预测值可能会出现给定分类范围外的值，因此需要引入新的假设函数进行学习

逻辑回归模型（Logistic Regression）

以下介绍使用sigmoid函数作为假设函数

a. 二分类问题

二分类假设函数

• 逻辑回归模型中的假设函数与线性回归模型的相比，公式中多了个g函数（即sigmoid函数），该函数里的参数z可以是线性回归或多项式回归函数

二分类预测值解释

• 假设函数的输出结果是某个分类的概率值，在二分类中属于[0, 1]区间内的实数

b. 多分类问题

• 对于多分类问题，则利用一对多思想（one-versus-all）——将多分类问题转化为二分类
  

一对多思想

• 最终生成n个分类器（每个分类器可以极大程度识别一个类），当进行测试时，将每个分类器都跑一遍，并选出效率最好的那个分类器作为该预测的类
• 于二分类不同的是，多分类是由向量形式表示最终的类别，如用[0, 1, 0, 0]表示总共4类的第2类，而二分类直接用0或1表示

c. 决策边界（decision boundary）

线性边界

多边形边界

• 根据θ值可以确定决策边界
• 决策边界是逻辑回归模型假设函数的属性，与数据集无关

d. 非线性分类器

参数为多项式的缺陷

• 假设函数参数为多项式时：当特征数量过多后，选择多项式参数的搭配成指数增长，容易出现过拟合问题，即使使用正则化方式也很复杂
• 如在CV应用领域下，像素特征组合过多（普通50*50的图片最后组合接近3万种特征），由此引入了神经网络，该方式可以很好的解决此类问题