人工智能学习笔记7
以下内容来自百度，他人博客等，用于学习，并记录笔记，若有侵犯到版权，联系博主，将立刻删除
注：不断加深网络，也会使准确率先上升，然后达到饱和，在持续增加会导致准确率下降，这和过拟合无关，而是数据集上误差放大了。
就是把某一层（A层）的输入直接传到后面的某一层（D），并让D的输出减去A的这个输入，对这个残值进行学习。相当于将学习目标改变了，F(XD) -> F(XD)-XA
这种学习残值的结构，消除了由于层数的不断加深导致的训练集上误差增大的现象。牛的呀
循环神经网络（RNN）在自然语言处理方面处于统治地位
卷积神经网络（CNN）在图像处理方面处于统治地位
One-hot编码
https://www.cnblogs.com/shuaishuaidefeizhu/p/11269257.html
Negative Sampling 负采样
https://www.cnblogs.com/pinard/p/7249903.html
LSTM和GRU 循环神经网络（含图，容易理解）
https://www.cnblogs.com/Luv-GEM/p/10705967.html
这个门是个软门，输出不是二值的而是0到1之间的一个浮点数，用来决定门的开合程度，感觉有点像惯性滤波
LSTM 长短期记忆人工神经网络
GRU 门控循环单元网络
Tanh就是tan（H），双曲正切函数