自编码内容学习

自编码网络抽象结构: 

自编码内容学习

欠完备自编码:

编码维度小于输入维度的自编码器称为欠完备(undercomplete)自编码器。可以强制自编码器捕捉训练数据中最显著的特征。

学习过程可以简单的描述为最小化一个损失函数:

L(x,g(f(x)))

自编码内容学习

正则自编码器

隐藏编码的维数允许与输入相等或者大于输入

自编码内容学习

 

  1. 稀疏自编码器
  2. 去躁自编码

自编码内容学习

自编码内容学习

变分自编码