NMF非负矩阵分解初探

简介

数据可以表示为一个矩阵 V$V$，列 vn$v_n$ 是采样点而行代表特征features。我们想把这个矩阵V$V$因式分解为两个未知的矩阵 W$W$ 和 H$H$

这里面 W$W$ 是一个经常性出现的patterns的字典(比如音乐中的鼓点)，而 H$H$ 中的每一列 hn$h_n$ 表示每一个采样点 vn$v_n$ 中估测存在的patterns。我们可以把 W$W$ 称为字典(dictionary)而 H$H$ 成为**矩阵(activation matrix)。同时我们也约定 V$V$ 的维度是F ×$\times$ N。 W$W$ 为 F ×$\times$ K，H$H$ 为 K ×$\times$ N。

上面的式子中的因式分解在其他的领域里面也叫做字典学习(dictionary learning)低维估计(low-rank approximation)等等。最有名的方法是PCA，通过最小化V$V$和WH$WH$的二次距离。别的方法有PCA的变体ICA，稀疏编码(sparse coding)，而NMF则用在非负的数据上，并限制W$W$和H$H$为非负矩阵。

NMF信号分解

下图是一个NMF工作的模式图，首先把音频转化为时频图，然后我们可以把他分解为特征字典和**矩阵。

NMF 同样可以用在图像中，我们可以发现经过NMF分解，人脸可以分为各个部分（眼睛、鼻子、嘴巴），而PCA分解后的结果是特征脸(eigenfaces)。可以看出来，NMF一个很大的优势在于它的可解释性。

Lee D D, Seung H S. Learning the parts of objects by non-negative matrix factorization[J]. Nature, 1999, 401(6755): 788.
https://www.nature.com/articles/44565

最优化问题NMF

NMF 的因式分解可以看作一个最小化问题

d(x|y)$d(x|y)$ 是cost function，在别的应用中比较流行的选择是二次成本函数(quadratic cost function) dQ(x|y)=12(x−y)2$d_Q(x|y)=\frac{1}{2}(x-y{)}^2$。但它并不是很适合NMF。在音频信号处理应用中比较成功的cost function是 β-divergence。

根据β-divergence导出的更新的公式如下：

每次迭代，更新W$W$和H$H$。

总体的流程如下：

1. 输入一段音频，将音频通过短时傅里叶变换转化到时频谱（V$V$）
2. 选择一个W$W$H$H$的共有维度K，初始化W$W$和H$H$，注意其中所有元素都要是非负的。
3. 使用上面的公式更新W$W$和H$H$。