【论文笔记】Joint Unsupervised Learning of Deep Representations and Image Clusters
Joint Unsupervised Learning of Deep Representations and Image Clusters
Abstract
提出了JULE model for deep representations and image clusters共同学习的framework。
在这个framework中,在聚类算法中连续地处理被处理成重复的步骤。 并再连接一个CNN
(核心原句:In our framework, successive operations in a clustering algorithm are expressed as steps in a recurrent process, stacked on top of representations output by a Convolutional Neural Network (CNN))
看完paper应该就懂了。
Introduction
给定个images , 全局优化目标应为:
其中:
- 是损失函数
- 是所有image中cluster 的id (笔者:既然是unsupervised,为什么说会有cluster ids?如果只是image id,那上面已经说明了这一问题)
- 是可训练参数
优化过程可以被分为如下两步:
很自然的 公式2a是一个简单的聚类问题,公式2b是一个有监督的表征学习问题。
因此本文提出一种两种公式之间的选项。通过表征学习优化聚类id,通过聚类id来优化参数。(怎么感觉又是self-supervised的那一套。
使用HAC聚类的原因:
- 从过度聚类开始(也就是每一个sample都代表一个聚类类别。 这在表征学习不好的情况下是比较良好的—这个时候CNN还没有被良好的学习。错怪他了,他是重新训练一个CNN的,不是用pretrained)
- 随着更好的表征学习,后续聚类过程中的可以合并。
- HAC是一个迭代循环的过程,很好的适应迭代循环的框架。
基本流程就是这样,simple but effective end to end learning framework.
重点是:
- end to end
- Unlabeled data
具体流程就是这样,可以看图中轮, 合并了红色和黄色的image。然后bp进行优化CNN,然后进入下一个step合并了两个绿色和一个粉红色,然后在bp优化CNN。。这个过程迭代进行。就做完了。
很容易懂的一个workflow。