DL之DHNN：DHNN的前生今世

1982年，美国加州工学院生物物理学家约翰·霍普菲尔德Hopfield开创性地提出了一种新型的连续时间递归神经网络模型(原始的Hopfield模型)。1982年，约翰·霍普菲尔德认识到如果这种连接是对称的，那就存在一个全局的能量函数。整个网络每个二进制单元的“配置”都对应了能量的多与少，二进制单元的阈值决策规则会让网络的配置朝着能量函数最小化的方向进行。使用这种类型的计算的一种简洁方法是使用存储器作为神经网络的能量最小值，使用能量极小值的记忆提供了一个内存关联存储器(CAM) 。