20201010_玻尔兹曼机_观看覃秉丰课程笔记

视频录制于2017年

一、玻尔兹曼机理解起来要复杂一些，比BP网络，卷积神经网络，残差神经网络，LSTM递归神经网络等理解起来还要难一些。尽管玻尔兹曼机复杂但是还是很重要的，在2016年一片深度学习奠基性的论文用到了受限的玻尔兹曼机。这片论文堪称开辟了深度学习这个研究放向，可见玻尔兹曼机还是很重要的。

二、BP网络比玻尔兹曼机的使用范围要广泛一些。

三、退火是一种金属的热处理工艺，将金属加热到一定的温度，保持足够时间，然后以适宜速度慢慢冷却。退伙可以改善材料性能，提升金属品质。玻尔兹曼机会涉及到模拟退火算法。

四、模拟退火算法

五、玻尔兹曼机 

参考《人工神经网络理论、设计及应用》第140页

玻尔兹曼分布是粒子在平衡状态下的一种分布，神经元看作是玻尔兹曼中的粒子，让粒子自由的进行状态之间的转移，最后达到玻尔兹曼的一种分布。

六、玻尔兹曼机的训练

 自由节点就是隐藏节点

正向学习阶段-->模拟退火算法-->反向学习阶段-->模拟退火算法-->更新一个权值

有钳制状态(正向学习)和无钳制的状态(反向学习)这两个状态下任意两点同时为1的概率充分接近时训练结束

玻尔兹曼机的算法很完美，但是训练网络时需要的时间非常的长，所以没有得到应用

八几年发明的这个算法一直没有得到应用(计算量非常大)，对于计算复杂一直没有找到合适的解决方法