李宏毅机器学习课程12~~~半监督学习


Semi-supervised Learning


李宏毅机器学习课程12~~~半监督学习

李宏毅机器学习课程12~~~半监督学习

The distribution of the unlabeled data tell us something. Usually with some assumptions.


Semi-Supervised Generative Model


对比学习见 李宏毅机器学习课程4~~~分类:概率生成模型

李宏毅机器学习课程12~~~半监督学习

李宏毅机器学习课程12~~~半监督学习

李宏毅机器学习课程12~~~半监督学习

李宏毅机器学习课程12~~~半监督学习

EM算法思路来最大化似然函数。


Self-training


李宏毅机器学习课程12~~~半监督学习
李宏毅机器学习课程12~~~半监督学习

李宏毅机器学习课程12~~~半监督学习

Self-training 是采用的Hard label, Semi-supervised learning是采用的soft label.

非黑即白的世界

李宏毅机器学习课程12~~~半监督学习

定义新的目标函数,损失函数加上unlabel的熵,相当于加上正则化。


Smoothness Assumption


李宏毅机器学习课程12~~~半监督学习

李宏毅机器学习课程12~~~半监督学习

李宏毅机器学习课程12~~~半监督学习

Deep Autoencoder 抽取Feature,然后进行聚类,这样才有可能将unlabel 图像聚类出好的结果。单纯的对原始图像的像素进行聚类,一般对图像来说,都不是一个好的聚类结果。

李宏毅机器学习课程12~~~半监督学习

李宏毅机器学习课程12~~~半监督学习

Graph-based 定性构造:相似度采用高斯径向基函数来度量。

李宏毅机器学习课程12~~~半监督学习

李宏毅机器学习课程12~~~半监督学习

Wij代表i与j的位置关系(距离)

李宏毅机器学习课程12~~~半监督学习

Graph上的label的smoothness定量刻画的简写

李宏毅机器学习课程12~~~半监督学习

目标函数上加上smoothness项。


Better Representation


李宏毅机器学习课程12~~~半监督学习

李宏毅机器学习课程12~~~半监督学习

找到本质核心因素用来作为表示。


参考文献


《Semi-Supervised Learning_Olivier Chapelle》

李宏毅机器学习课程4~~~分类:概率生成模型

http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17.html