【NLP复习】CNN（TextCNN）、RNN、LSTM、GRU
一、CNN（TextCNN）
TextCNN跟传统CNN的区别：卷积核不是正方形的，宽度跟词向量维度相等。
二、RNN
缺陷：长期依赖不大行；反向传播时前面梯度为后面梯度联乘，依赖于**函数和网络初始参数，可能会梯度消失（sigmoid）或者爆炸（relu）。
三、LSTM
第一步：忘记门，决定细胞状态需要丢弃哪些信息。ft输出0-1的数。极端情况，0表示不保留，1表示都保留。
第二步，输入门，决定给细胞状态添加哪些新的信息。
第三步，将前两步信息结合。
第四步，输出门。
四、GRU（LSTM的变种）
【参考资料】