回归神经网络是一个神经网络链吗?

问题描述:

我在问复发神经网络是否是一个神经网络链。回归神经网络是一个神经网络链吗?

现在,直观地说,一个RNN是一个神经网络,它具有来自过去输出的反馈回路,并取决于一个实现从隐藏层到下一个时间戳的隐藏层和/或输入的反馈回路。

不包括它连接隐藏层的实现,这个实现与神经网络链有什么不同?

RNN 我认为,从我的理解是这样的实现可能由神经网络的链条,其中NN的每个输入是给定的数据最后的时间戳的+输出的时间戳来构建。

你知道这个直觉是否正确吗?或者我缺少的RNN和ANN有什么区别?

我也问过我的教授谁专门从事机器学习这个问题,如果有人足够好奇,我可以看看我是否可以发布他的回应,一旦我得到一个。

有两个重要的修改/区别:

  1. 你必须共享参数你“的神经网络链”,使之像一个递归神经网络的
  2. 你的“上演”随时间增长 - 这意味着在第一次迭代的“产业链”的长度为1。在第二 - 长度为2,N步骤后 - 长度为N

如果你不介意这些两种不同,展开的模型与经常性网络几乎完全相同。鉴于您将所有必需的数据存储在某个缓冲区中(因为在更新期间您需要“过时”的输出/标签等)。

+0

如何生成展开式神经网络,然后创建一个多输入NN来将未使用的参数设置为0? – Jjoseph

+0

(假设你正在使用sigmoid激活功能) – Jjoseph

+0

这与S形无关。答案中给出了区别 - 您需要**共享**参数,如果您将其视为多列网络 - 那么您需要跨列共享参数。随着时间的推移,你的展开会随着时间而增长(因此你的“大网”也会变大)。当然,对于RNN来说,他们的内存需求也会随着你在训练期间需要存储中间激活而增加(不过在执行期间你不需要)。 – lejlot

神经网络中的大多数初学者都假设神经网络可以在A *路径规划,C++编程和图灵机器人附近的干净理论水平上讨论。这完全错了,神经网络是生物神经科学的一个主题,她的用法是脑 - 计算机接口。神经网络是什么样的定义,什么类型更好的不是计算机科学家给出的,而是来自于动物实验(猴子,老鼠)的研究以及假肢对人类的医学研究需求。

一个可以回答这个问题什么是循环神经网络和是什么​​限制的混凝土纸:A recurrent neural network for closed-loop intracortical brain– machine interface decoders在这篇论文中,电极植入猴子脑中,并且复发神经网络充当BCI来解释猴子脑。另一方面:如果循环中没有生物生命形式,根本就没有意义使用神经网络。

我知道,这只是OP的间接答案,但我的有效借口是,大多数有关pubmed.gov的论文都没有作为OpenAccess提供,因此还没有进一步的研究。

+0

人工神经网络肯定是受大脑启发的,它们可以应用于神经科学应用。但是你不需要一个物理大脑来使用ANN,而是需要一套Petri盘来进行演化计算。此外,该论文中的人工神经网络并未用于模拟大脑;它们被用于将特定的电信号映射到猴子手臂的运动数据。有很多非生物启发式算法可用于此(它们使用某种卡尔曼滤波器作为基线)。人工神经网络可用于非脑相关的非线性映射。 – Ray

+0

错误类型的神经网络先生。 – Jjoseph