Hulu机器学习问题与解答系列 | 二十：PCA 最小平方误差理论

PCA携一大波公式回归~

今天的内容是

【PCA 最小平方误差理论】

场景描述

经历了强化学习、深度学习、集成学习一轮轮面试题的洗礼，我们是否还记得心底对宇宙，对世界本源的敬畏与探索之心？时间回溯到40多天前，我们曾经从宇宙空间出发，讨论维度，从维度引到机器学习，由PCA探寻降维之道，传送门：Hulu机器学习与问答系列第六弹-PCA算法。彼日，我们从最大方差的角度解释了PCA的原理、目标函数和求解方法。今夕，我们将从最小平方误差之路，再次通向PCA思想之核心。

问题描述

观察到其实PCA求解的是最佳投影方向，即一条直线，这与数学中线性回归问题的目标不谋而合，能否从回归的角度定义PCA的目标并相应地求解问题呢？

背景知识：线性代数

解答与分析

我们还是考虑二维空间这些样本点，最大方差角度求解的是一条直线，使得样本点投影到这条直线上的方差最大。从求解直线的思路出发，很容易联想到数学中的线性回归问题，其目标也是求解一个线性函数使得对应直线能够更好地拟合样本点集合。如果我们从这个角度定义PCA的目标，那么问题就会转化为一个回归问题。

顺着这个思路，在高维空间中，我们实际上是要找到一个d维超平面，使得数据点到这个超平面的距离平方和最小。对于一维的情况，超平面退化为直线，即把样本点投影到最佳直线，最小化的就是所有点到直线的距离平方之和，如下图所示。

第一项x_k^Tx_k与我们选取的W无关，是个常数。我们利用刚才求出的投影向量表示将第二项和第三项分别继续展开  

其中ω_i^Tx_k和ω_j^Tx_k表示投影长度，都是数字。且i≠j时，ω_i^Tω_j＝0，因此上式的交叉项中只剩下d项。 

我们要最小化的式子即对所有的k求和，可以写成

如果我们对W中的d个基ω₁, ω₂, ..., ω_d依次求解，就会发现和上一节中方法完全等价。比如当d＝1时，我们实际求解的问题是

这个最佳直线ω与最大方差法求解的最佳投影方向一致，即协方差矩阵的最大特征值所对应的特征向量，差别仅是协方差矩阵∑的一个倍数，以及一个常数偏差，但这并不影响我们对最大值的优化。

总结与扩展

至此，我们从最小平方误差的角度解释了PCA的原理、目标函数和求解方法，不难发现，这与最大方差角度殊途同归，从不同的目标函数出发，得到相同的求解方法。

下一题预告

【分类、排序、回归模型的评估】

场景描述

在模型评估过程中，分类问题、排序问题、回归问题往往需要使用不同的评估指标进行评估。但在诸多的评估指标中，大部分指标只能片面的反映模型一部分的能力，如果不能合理的综合运用评估指标，不仅不能发现模型本身的问题，甚至会得出错误的结论。下面以hulu的业务为背景，假想了几个模型评估的场景，看看大家能否管中窥豹，发现指标选择或者模型本身的问题。

问题描述

1. 准确率（Accuracy）的局限

2. 精确率（Precision）和召回率（Recall）的权衡

3. 均方根误差（Root Mean Square Error，RMSE）的“意外”

欢迎留言提问或探讨

关注“Hulu”微信公众号

点击菜单栏“机器学习”获得更多系列文章