被错误理解的人工神经网络(二)!
让我们继续谈谈关于人工神经网络的误解:神经网络体系结构很少,越大型的神经网络就越好?
被错误理解的人工神经网络(一)!
神经网络并非只有一种体系结构
在第1部分中,我们讨论了最简单的神经网络体系结构:多层感知器。在实际操作中,有许多不同的神经网络体系结构,任何神经网络的性能都是其体系结构和权重的函数。机器学习领域的许多现代进步并非来自于重新思考感知器和优化算法的工作方式,而是来自创造性地关注这些组件如何组合在一起。下面,我将讨论一些随着时间推移而发展的非常有趣和创造性的神经网络架构。
在递归神经网络中,部分或全部连接向后流动,这意味着网络中存在反馈机制。这也是递归神经网络在时间序列数据上表现更好的原因。因此,它们可能在金融市场的情况下特别重要。想要了解更多信息,可以了解一下这篇文章。
该图显示了三种流行的递归神经网络架构——即Elman神经网络,约旦神经网络和Hopfield单层神经网络
Neural Turing Machine是一个近期有趣的递归神经网络体系结构,该网络将递归神经网络架构与存储器结合在一起,它能够学习排序算法和其他计算任务。
第一个完全连接的神经网络是Boltzmann神经网络,AKA是Boltzmann机器,这些网络是第一个能够学习内部表示并解决非常困难的组合问题的网络。Boltzmann机器的一个解释:它是Hopfield递归神经网络的蒙特卡罗版本。尽管如此,神经网络依然很难训练。但是,当受到限制时,它们可以证明比传统的神经网络更有效,Boltzmann机器上最受欢迎的约束是禁止隐藏的神经元之间的直接连接。这种特殊的体系结构被称为限制玻尔兹曼机器,它被用于深博特尔曼机器中。