1、二元分类

要尝试分类，一种方法是使用线性回归，并将所有大于0.5的预测值映射为1，将小于0.5的所有预测值映射为0

二元分类问题，其中y只能取两个值0和1

Sigmoid Function（逻辑回归函数）

因为只能取两个值0和1

hθ(x)=P(y=1|x;θ)=1−P(y=0|x;θ)P(y=0|x;θ)+P(y=1|x;θ)=1

决策边界

当

等价于

 g(z) (e.g. \theta^T XθTX) 就是逻辑回归的决策边界

简化的逻辑回归的代价函数

代价函数如下：

因为y等于1或0；

代价函数也可以表示成

完整形式如下：

通过向量和矩阵表达：

简化的逻辑回归梯度下降

梯度下降的一般表达式

微积分计算得到

向量输出

2、更高级的代价函数算法

梯度下降法并不是唯一的算法，共轭梯度法、BFGS (变尺度法) 和  L-BFGS (限制变尺度法)更加高级优化算法来优化代价函数，能够更快的使代价函数收敛，更适合大型的机器学习（有很多的特征变量）

这三种算法的特点：

举例

需要编写函数

3、一对多分类

多元分类问题可以转化为多个二元分类问题

如下图

一个样本最终的预测分类为在所有分类器中概率最大的类别

4、正则化解决过度拟合问题

hθ(x)=P(y=1|x;θ)=1−P(y=0|x;θ)P(y=0|x;θ)+P(y=1|x;θ)=1

欠拟合或高偏倚是当我们的假设函数h的形式很难与数据的趋势作图时。 它通常是由一个特征太简单或功能太少造成的

 过度拟合或高度方差是由适合现有数据的假设函数引起的，但不能很好地预测新数据。 它通常是由一个复杂的函数造成的，它会产生大量与数据无关的不必要的曲线和角度

举例如下图

解决过度拟合

1.减少特征的数量。 - 手动选择要保留的功能。 - 模型选择算法

 2.规范化。 - 保留所有功能，但减少参数的大小/值。 - 当我们有很多功能时很有效，每个功能都有助于预测

正则化

在正则线性回归中，我们选择最小化θ，代价函数如下：

其中正则项是：

λ 要做的就是控制在两个不同的目标中的平衡关系

第一个目标就是我们想要训练，使假设更好地拟合训练数据。我们希望假设能够很好的适应训练集。

第二个目标是我们想要保持参数值较小。（通过正则化项）

λ过大，这种假设有过于强烈的"偏见" 或者过高的偏差 (bais)，θ1到θn都接近于0，对于数据来说这只是一条水平线

λ过小，对于目标函数约束不足，正则项的接近于0，正则项接近于0，没有达到避免过拟合的约束目的

在正则化线性回归中的应用

梯度下降法

针对变量进行正则化，所以θ0不没有进行正规化

正则化式子转化成如下形式，1-α*λ/m值区间位于（0,1），每次迭代更新θj就一定程度上减小

正规化方程

正规化方程计算方程如下：

如果x'x不存在，x'x+λL就变成可逆的矩阵

正则化在逻辑回归中的应用

未进行正规化的方程的代价函数是：

通过正则项即可实现正则化

使用梯度下降法计算正则化之后的θ计算如下：

需要定义方程如下：