为什么真正的神经元学得更快
目录
仔细研究自然神经系统和人工神经网络之间的差异
介绍
这篇文章的先决条件是我在2017年12月撰写的与神经模式有关的文章以及对Hebbian理论的概述，该理论通常指出一起激发的神经元连在一起。
本文的目的是深入研究人工神经网络与真实神经系统之间的差异，并了解自然网络为何表现更好。
问题
人类大脑只需要很少的样本来了解和识别物体。动物只需要经验来记录危险并在下次避免它。同时，机器学习系统可能需要一百万个样本来保留猫的图像。我们做错了什么？
首先，我们来看看我们如何设计手写识别系统。我们需要提供数百个样本（数字或字母）的深度学习算法来获得字符识别。
人工神经网络的作用
基于众多输入样本，深度学习网络调整其内部参数（感知器的权重，其基本上创建类似于大脑的内部模式），因此对于类似输入，输出将是相同的。它有点像具有相同形状的输入的中值。即使我们向网络提供了不在我们输入集中的数字，如果系统与输入数据中的数字类似，系统仍然能够识别它。对于每个字母，系统（通过数学方法调整其内部参数）在形状周围构建一个容差区域，在该区域中相同的输出仍会出发。
基本上，我们提供足够的样本，直到我们通过创建人工内部模式将容差区域内的所有输入神经元映射到相同的输出。
自然网络做什么？
对于单个输入，由于自然神经元设计（见下文），在FIRST PASS中形成了类似的容差区域。执行相同任务的类似神经元被分组在皮质的相同区域中，例如将眼睛前方的视图映射到监视器的像素中。
当记录图像时，不仅精确的神经元映射被触发，而且它们还向附近的神经元发送信号，这些神经元处于兴奋状态但不进一步发送信号（没有足够的突触来克服动作电位的阈值） 。这就像化学链接是对附近的神经元进行的，但是这个没有被触发，因为它没有被映射到输入神经元（现有图像中的一个像素），并且它没有足够的兴奋来产生它自己的化学物质。但如果将来信号来自类似的图像，这个可能会触发 并且会在生成自己的神经元时找到来自旧的附近神经元的化学连接，并将触发已存在的输出（旧图像的一部分模式）。
由于突触的数量，最初生成的模式是巨大的，并且由于其大小而不太容易发生变化。
当然，这种解释纯粹是直观的，但显而易见的是，这个因素对更快的学习有决定性的作用。
神经元的邻近程度
当然，他们的3D设计使这成为可能。
在当前的ANN(人工神经网络)设计中，单个样本创建直接链接到精确输入神经元的单个模式。发送到训练网络的第二个样本无法识别，即使它与第一个非常相似。很少有常见的输入神经元不会触发相同的输出。
解决方案
我们真正需要的是重新设计神经网络，因此单个样本不会创建单个内部模式，而是围绕输入创建容差的模糊区域以及映射到它们的一组模式，这些模式将触发相似样本的相同输出。
也许不是反向传播，我们需要考虑图论，或者我们需要更多地关注3D设计和神经形态计算。
当前的设计缺点
如果我们看一下上面的深度学习图，我们可以看到一个明显的缺陷 （不是真正的缺陷，而是更像是我们进化设计的一部分）。我们可以看到同一级别的神经元没有连接。这不会发生在任何真实的网络中。
此外，真实网络没有在这个级别分层。确实存在神经元层，但不是基本任务。即使有一些先进的设计，如递归神经网络（RNN），连接感知器有点不同，我们仍然没有。当前架构仅限于窄处理并且需要太多输入样本。它需要针对真实设计进行更多调整并考虑到邻近程度。深度学习表现很好，但它只是设计演变的一部分。
我相信这一 突破将在10年内发生，雪球已经在滚动。
错误的聚焦
虽然我们还没有了解或模拟出由302个神经元组成的C-Elagans 的神经系统，但是我们做到了以下几点：
- 我们为AGI(通用人工智能)设计子系统——意识或道德模块，个性，规则等。
- 我们创建组织来监管机器人
- 我们害怕机器人夺走我们的工作
- 我们把数十亿个晶体管放在一起，像人脑一样，而且我们期望表现得像一个人
- 我们还训练了数十亿页面的深度学习，并期望系统像人一样思考（我会回到这一点）
- 我们创造了越来越多的芯片，将当前的临时模型转移到硬件上
- 我们害怕机器学习有偏见，而不是对所提供的统计结果以及我们如何使用它们有所了解。偏差是一个使用问题，而不是统计数据。
相反，我们没有做到：
- C-Elegans神经系统衰竭的研究
- 模拟这300个神经元，直到我们获得类似的结果（软件和硬件）
- 了解神经递质及其影响整个网络的原因——它们就像加速器一样，或者使整个网络变得更慢、更不同
- 建立数以百万计的神经元数学和拓扑模型，直到我们修复有缺陷的设计
- 基于模式创建数学模型，可能将数学从求和和函数转移到图论
- 专注于如何在同一网络上训练不同的模型
- 专注于如何制作思维机器，重复输出和奖励输入
- 使神经网络能够吸收真实的概念
- 制作一种原始语言来提取或修改神经网络中的数据
- 研究天生盲的人、聋的人如何能够理解世界和学习语言
- 或许还有更多
我们处于自行车时代，我们梦想能够登上月球，但我们还没有设计火箭发动机。相反，为了这个目的，我们正设法造一辆更大的自行车或多放些喇叭。
我们现在在冯纽曼建筑上所做的只是研究。从实际的角度来看，使用是浪费资源。复杂性是游戏的一部分，我们加入了更多的神经元，更好的这些系统将执行。我们真的需要很多高智能系统。
这将需要数千次尝试和多年的失败，因为一个细节缺失或错误的地方可能会导致完全不同的行为（模型vs大脑）。但最终，我们将获得相同的功能。
自然语言处理（NLP）
天生是聋人的仍然可以学会说话。他们仍然可以了解世界。他们的大脑仍然能够构建内部概念和现实世界对象的表示。
如果我们为一台拥有数十亿页的机器供电，它是否能够思考？想象一个聋人看到另一个人。视觉表现将手臂、身体、头部和所有其他身体部位放在一起。输入数据中是否有描述此内容的页面，因此这些概念不会保持独立？是否有足够的页面将通过其他感官和方法链接的所有概念放在一起？
这里有很多问题，但显而易见的是，单词和单词联想应该通过概念、联系、记忆、历史等来加倍，以获得更多自动的答案。但为此，我们需要一台思维机器，我们还没有基础。
AGI(通用人工智能)和意识
就像罗伯特福特博士在Westorld中所说的那样，机器不会有意识的拐点。慢慢地，与机器的沟通将达到足够高的标准，我们变得同情他们并接受他们作为不同的生命。想想今天的助手。它们在开始时看起来很愚蠢，但随着时间推移会有所改善。奇点将与NLP标准和新的旅游测试相关，如DARPA想象的那些：
在舞台上，一个女人坐在钢琴旁。她：
- 她的妹妹和娃娃一起玩，坐在长凳上。
- 随着音乐播放，与某人微笑。
- 在人群中，看着舞者。
- 紧张地把手放在钥匙上。
可能没有AGI(通用人工智能)，只有ASI，我们设计的每个子系统已经表现得比同类真实的更好。当放在一起时，该系统在许多领域将优于人类。
结论
我试图在一些有趣的讲座上面加上超链接。我还想补充今天最好的努力之一，推动事情的前进，Lex Fridman在麻省理工学院的视频。
没有人知道是否会有另一个人工智能冬季即将到来，但事实并非像30年前那样。在那之前，我们需要关注基础知识：让人工神经元像真实神经元一样工作。
原文地址：https://www.codeproject.com/Articles/1275031/Why-Real-Neurons-Learn-Faster