Deep Unsupervised Clustering Using Mixture of Autoencoders(2017)

Abstract
我们的模型由两个部分组成：1)a collection of autoencoders,每个都会学习相似数据的潜在manifold，2)a mixture neural network,接受来自autoencoders的concatenated vectors，推断在聚类上的分布。通过同时优化这两个部分，我们可以同时将数据分配给聚类，学习每个聚类的潜在流形。
1 Introduction
K-means和Gaussian mixture models(GMMs)由于其简洁性仍然是许多应用的workhorses。然后，它们的距离衡量受限于数据空间总的局部关系，在处理高维数据时会趋于无效。
许多方法在autoencoders学到的潜在表示上进行聚类，尽管效果不错，但有一个弱点：它们仅仅使用一个低维的流形来表示数据，因此对于复杂的数据，潜在表示很难被分离开来。我们的潜在假设是每个数据聚类都和一个分离的流形有关，因此将不同类别生成的数据建模为低维非线性流形的混合体是很自然且promising的框架。
本文我们探索了新型的用于多流形聚类的深度结构。流形学习与聚类有参数估计的方法，谱方法。这些方法需要参数模型或者距离矩阵来捕捉数据点间的关系。而autoencoder不需要任何metric可以学习到高维数据点向低维潜在表示的潜在表示，在某种意义上是parametric。
3 Clustering with Mixture of Autoencoders

几个类就有几个autoencoders，每个autoencoders学习一个类的潜在流形。
对于每个样本$x_i\in R^n$xi​∈Rn，mixture assignment network接受每个自编码器的潜在表示的拼接作为输入：$\boldsymbol z^{(i)}=(z_1^{(i)},...,z_K^{(i)})=(\boldsymbol\epsilon_1(x^{(i)}),...,\boldsymbol\epsilon_K(x^{(i)})\in R^{dK}$z(i)=(z1(i)​,...,zK(i)​)=(ϵ1​(x(i)),...,ϵK​(x(i))∈RdK
输出一个概率化的向量$\boldsymbol p^{(i)}=[p_1^{(i)},...,p_K^{(i)}]$p(i)=[p1(i)​,...,pK(i)​],表示$x_i$xi​在每个聚类上的分布。
三个部分的损失函数
加权重建损失：

样本级交叉熵：

batch级交叉熵：

总损失函数：