1. 逻辑回归中需要用到的函数：

 

2.逻辑回归的原理

 

逻辑回归：解决分类问题

回归问题怎么解决分类问题？

将样本的特征和样本发生的概率联系起来，概率是一个数。

逻辑回归既可以看作是回归算法，也可以看作是分类算法，通常作为分类算法用，只可以解决二分类问题。

(1)逻辑回归的原理及损失函数的由来

 

(2)利用梯度下降法，找到参数theta，使得损失函数最小。

 

(3)线性回归与逻辑回归损失函数梯度的比较：

 

3.绘制决策边界，感性的来看一下我们的分类模型的好坏

(1) 规则的决策边界

 

决策边界还有可能是下边的类型：

 

 

(2) 不规则的决策边界

通常情况下我们的决策边界肯能是不规则的，不能用简单的表达式很好的进行表示。

如下图所示：

在这里就不详细的介绍原理，sklearn中绘制决策边界就是用此种方法，具体的见程序

 

4.逻辑回归中使用正则化，防止过拟合

L2，L1分别表示L2正则和L1正则。

 

5.逻辑回归解决多分类问题：

（1）OVR

Sklearn 中LogisticRegression之多以能够解决多分类问题，用的就是OVR。

 

 

（2）OVO

很显然，解决多分类问题时，OVO的复杂度要比OVR的复杂度高，因为在OVO中，n个类别需要进行C(n,2)次分类，明显多于 OVR中进行的n次分类。但是由于OVR每次只拎出一个类别，混淆了其它类别，所以分类的准确度没有用OVO分类的准确度高。

6.未完待续

用逻辑回归对手写识别数字进行识别

自己编写代码实现ovr和ovo