高斯判别分析（GDA）
概率判别模型与概率生成模型的区别
概率判别模型
首先用sigmoid函数求出
然后通过极大似然估计，求出P（Y|X）的似然来估计预测值
概略判别模型精确的求出概率值
概率生成模型
生成模型不直接计算而是借助贝叶斯定理
而P（x）与Y的概率无关则
类似与判别模型我们需要求出的似然
概率生成模型不会精确的求出概率值，而是通过判断p(Y=1|X)和p(Y=0|X)
这就是生成模型的思路
高斯判别模型
将设y服从二项分布
服从高斯马尔可夫假定
即服从同一方差的高斯分布
记为
求高斯判别模型中的参数
矩阵的定理
直观的等于y=1出现的频率
对初始样本进行分类 y=0为一类，y=1为一类
那么可以把1+2式化简为
我们考虑如下的式子
由于的维数是1*p p*p p*1=1*1维的，所以这是一个实数
而实数的迹等于它本身 即
而由于矩阵迹的性质
可以化简上面右边的式子
而这个式子可以写成样本方差的形式
则可以化简上面的式子为
有了这个结论，我们可以化简1+2式为
这里写错了 N1那个S应该写成S1、N2的S应写成S2 因为是不同的样本的样本方差
进行求导
总结：
是实数 借助tr（）转化为样本方差进行求导跟方便