线性模型

• 线性回归
• 对数几率回归
• 线性判别

线性回归

给定由d个特征描述的示例???? = (x1; x2; … ; xd)，其中，xi是????在第i个特征上的取值，线性模型试图学得一个通过特征的线性组合来进行预测的函数，即

也可写成向量形式：

其中????= (w1; w2; …; wd)。通过学习算法学到????和b后，模型就确定了。
线性回归的矩阵推导，如下图所示：

对数几率回归

逻辑回归也被称为广义线性回归模型，它与线性回归模型的形式基本上相同，都具有 ax+b，其中a和b是待求参数，其区别在于他们的因变量不同，多重线性回归直接将ax+b作为因变量，即y = ax+b，而logistic回归则通过函数g将ax+b对应到一个隐状态p，p = g(ax+b)，然后根据p与1-p的大小决定因变量的值，转换函数为sigmoid
推导过程如下：

线性判别分析

线性判别分析(LDA)的思想非常朴素：给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近，异类样本点尽可能远离，对新样本进行分类时，同样将其投影到这条直线上，根据投影点的位置可确定新样本的类别。如下图所示

LDA算法既可以用来降维，又可以用来分类，但是目前来说，主要还是用于降维。在进行图像识别相关的数据分析时，LDA是一个有力的工具。下面总结下LDA算法的优缺点。

优点

1）在降维过程中可以使用类别的先验知识经验，而像PCA这样的无监督学习则无法使用类别先验知识。

2）LDA在样本分类信息依赖均值而不是方差的时候，比PCA之类的算法较优。

缺点

1）LDA不适合对非高斯分布样本进行降维，PCA也有这个问题。

2）LDA降维最多降到类别数k-1的维数，如果我们降维的维度大于k-1，则不能使用LDA。当然目前有一些LDA的进化版算法可以绕过这个问题。

3）LDA在样本分类信息依赖方差而不是均值的时候，降维效果不好。

4）LDA可能过度拟合数据。