元学习gradient descent as LSTM（2）--李宏毅老师课程学习笔记

我们发现meta learning中的结构与RNN比较相似，具体看下面两篇论文是讲这个的。

RNN是用同一个单元去处理很长的句子，因为每次只吃一个单词。

现在基本用LSTM，通过结构发现Ct的特殊，同时由于它改变较慢，因此LSTM能够储存较长之间之前的词。

复习一下LSTM：


这个图和上面的图进行对比，是LSTM的简化版。

如果把sita t-1 的loss用来更新zi，那么可以多样地调整学习率。

实际的时候，一个LSTM用在所有的参数中。


以前的方法都会用以前的梯度，那我们是不是也能这样。下面的结构在论文中是没有的，在learning to learn by gradient descent by gradient descent论文中，有下面的关于保留之前梯度的内容，但是在sita的时候，只是简单地做了一下更新。

下面看一下实验结果，看下图中，因为minist数据集的话，做meta learning 意义不大。因此train 20个unit test 40个unit 的对比，以及test 2 layer 的对比，效果都很好。但是当train 是sigmoid ,test是relu函数时，效果就差了。