如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~

0. 前言

线性判别分析LDA的思想非常朴素：给定数据集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近，异类样例的投影点尽可能远离。在分类时，同样将样例投影到直线上，根据位置确定类别。

如下图所示（图源：机器学习）：

1. 线性判别分析参数求解方法

定义$X_i\ \mu_i\ \Sigma_i$Xi​ μi​ Σi​分别为第$i$i类的样例集合、均值向量、协方差矩阵。

两类样本的中心在直线上的投影表示为：$w^T\mu_i$wTμi​。

投影到直线上，两类样本的协方差表示为：$w^T\Sigma_iw$wTΣi​w。

使同类样本尽可能接近，最小化：$w^T\Sigma_0w+w^T\Sigma_1w$wTΣ0​w+wTΣ1​w。

使异类样本尽可能远离，最大化：$\left\|w^T\mu_0-w^T\mu_1\right\|_2^2$∥∥​wTμ0​−wTμ1​∥∥​22​。

则可得最大化目标：
$\begin{aligned} J&=\frac{\left\|w^T\mu_0-w^T\mu_1\right\|_2^2}{w^T\Sigma_0w+w^T\Sigma_1w}\\ &=\frac{w^T(\mu_0-\mu_1)(\mu_0-\mu_1)^Tw}{w^T(\Sigma_0+\Sigma_1)w} \end{aligned}$J​=wTΣ0​w+wTΣ1​w∥∥​wTμ0​−wTμ1​∥∥​22​​=wT(Σ0​+Σ1​)wwT(μ0​−μ1​)(μ0​−μ1​)Tw​​

定义类内散度矩阵：$S_w=\Sigma_0+\Sigma_1$Sw​=Σ0​+Σ1​。

定义类间散度矩阵：$S_b=(\mu_0-\mu_1)(\mu_0-\mu_1)^T$Sb​=(μ0​−μ1​)(μ0​−μ1​)T

则最大化目标重写为，即广义瑞利商：
$J=\frac{w^TS_bw}{w^TS_ww}$J=wTSw​wwTSb​w​

根据拉格朗日乘子法：
$w=S_w^{-1}(\mu_0-\mu_1)$w=Sw−1​(μ0​−μ1​)
其中，奇异值分解$S_w=U\Sigma V^T$Sw​=UΣVT，则$S_w^{-1}=V\Sigma^{-1}U^T$Sw−1​=VΣ−1UT。

---

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~