4受限玻尔兹曼机
文章目录
- 是起源于图模型的神经网络
- 由Hopfield神经网络那样的相互连接型网络衍生而来
- 本章先Hopfield 网络和玻尔兹曼机,然后受限玻尔曼机
- 最后介招由多个受限玻尔兹曼机推叠组成的深度信念网络
4.1 Hopfield神经网络
-
前几章介绍过的多层神经网络,
-
如图4.1所示的相互连接型
-
相互连接型网络不分层,单元之间相互连接。
- 能根据单元的值记忆网络状态,称联想记亿
-
人类的大脑能够根据某种输人信息记忆或联想与之有关的信息,
- 看到¨“苹果”能够“红色”,看到“香蕉”能够¨“黄色”。
-
联想记忆就是通过在事物之间建立对应关系来记忆
-
多层神经网络和CNN可应用于模式识别
- 相互连接型网络可通过联想记忆去除输入数据中噪声
-
82年提出的 Hopfield神经网络是最典型的相互连接型网络
-
优点
- 连接权重对称
- 没有到自身的连接
- 单元的状态变化采用随机异步更新方式,
- 每次只有一个单元改变状态