多分类问题的逻辑回归解决

多元分类

    在我们生活中有很多多分类事件，如邮件分类、给文件加上标签、垃圾分类等，下面举一个例子来说明如何使用逻辑回归来解决多分类问题。

    上图中有三类数据，即三角形、正方形和叉，由于逻辑回归是用来处理二分类问题，于是我们可以将这个三种类别的训练集转换为三个独立的二元分类问题。

1、先从三角形开始

    创建一个伪训练集，将三角形设定为正类，正方形和叉设定为负类，接着拟合一个分类器$h^1_\theta(x)$hθ1​(x),这样就成了一个逻辑回归问题，可以找出一条决策界限将这两类数据分开。

2、再从正方形开始

    创建一个伪训练集，将正方形设定为正类，三角形和叉设定为负类，接着拟合一个分类器$h^2_\theta(x)$hθ2​(x)，找出决策边界将两种数据分开。

3、最后从叉开始

    创建一个伪训练集，将叉设定为正类，三角形和正方形设定为负类，接着拟合一个分类器$h^3_\theta(x)$hθ3​(x)，通过逻辑回归找出决策边界将两种数据分开。

    我们一共拟合了3个分类器： $~h^i_\theta(x)=p(y=i|x;\theta)~~~~~(i=1,2,3)$ hθi​(x)=p(y=i∣x;θ)     (i=1,2,3),每个分类器分别计算预测当前类别的成功概率。

    最后我们选择预测概率最大的分类器，因为它的成功率最高，即$~max h^i_\theta(x)~$ maxhθi​(x)