PCA和单位球面上二次型的极大化

PCA的推导有两个方向，一种是极大化投影后数据的方差（信息），另一种是极小化投影的均方误差。

极大化投影后方差

直观来讲，数据一开始就含有一定数量的方差/信息 ，在这个思路下，我们希望找到一些方向，使得把数据往这些方向投影后，能最大限度地保留原有信息（方差），又能比原数据稍显精简。


图上这两个方向，很明显$u_1$u1​比$u_2$u2​保存了更多信息，数据点的方差更大，$u_1$u1​就是我们更想要的。
在继续推导之前，先引入一个定理：
单位球面上点的二次型的极大化（《实用多元统计分析》p62）
令$B_{p\times p}$Bp×p​是正定矩阵，特征值为$\lambda_1\geq \lambda_2\geq\cdots\geq\lambda_p\geq0$λ1​≥λ2​≥⋯≥λp​≥0，对应特征向量为$e_1,e_2,\cdots,e_p$e1​,e2​,⋯,ep​，则
$\max_{x\neq0}\frac{x'Bx}{x'x}=\lambda_1,\qquad(x=e_1)$x​=0max​x′xx′Bx​=λ1​,(x=e1​)
$\min_{x\neq0}\frac{x'Bx}{x'x}=\lambda_p,\qquad(x=e_p)$x​=0min​x′xx′Bx​=λp​,(x=ep​)
$\max_{x\perp e_1,\cdots,e_k}\frac{x'Bx}{x'x}=\lambda_{k+1},\qquad(x=e_{k+1})$x⊥e1​,⋯,ek​max​x′xx′Bx​=λk+1​,(x=ek+1​)
下面回到PCA，以二维为例，PCA想要做的，就是找到一个单位向量$u$u，使各数据点$x_i$xi​在$u_1$u1​上的投影$x_i^T u$xiT​u达到最大
$\max \frac{1}{m}\sum_{i=1}^m (x_i^Tu)^2=\frac{1}{m}\sum_{i=1}^mu^Tx_ix_i^Tu\\ =u^T(\frac{1}{m}\sum_{i=1}^mx_ix_i^T)u=u^T\Sigma u$maxm1​i=1∑m​(xiT​u)2=m1​i=1∑m​uTxi​xiT​u=uT(m1​i=1∑m​xi​xiT​)u=uTΣu
其中$\Sigma$Σ为协方差阵。这个形式是不是和上面定理中一模一样（$u$u为单位向量，$u'u=\|u\|^2=1$u′u=∥u∥2=1）？
所以由定理，我们可以直接知道，选取$u=e_1$u=e1​是，上式得到最大化，值为$\lambda_1$λ1​。
另一种推导方法是用拉格朗日乘子法，我们想要
$\max u^T\Sigma u,\quad \text{subject to } u'u=1$maxuTΣu,subject to u′u=1
将其改写为拉格朗日乘子的形式
$L=u^T\Sigma u-\lambda (u'u-1)\\ \frac{\partial L}{\partial u}=2\Sigma u-\lambda(2u)=0\\ \Rightarrow \Sigma u=\lambda u$L=uTΣu−λ(u′u−1)∂u∂L​=2Σu−λ(2u)=0⇒Σu=λu
这就意味着$u$u是$\Sigma$Σ对应特征值为$\lambda$λ的特征向量，$\lambda$λ最大可以取成$\lambda_1$λ1​。