神经网络基本原理-4.1神经网络之单个神经元模型

本节主要内容:

  • 不用大脑做类比的快速简介
  • 单个神经元建模
    • 生物动机和连接
    • 作为先行分类器的单个神经元
    • 常用的**函数

快速简介
在不诉诸大脑的类比的情况下,依然是可以对神经网络算法进行介绍的。在线性分类一节中,在给出图像的情况下,是使用s=Wx来计算不同视觉类别的评分,其中W是一个矩阵,x是一个输入列向量,它包含了图像的全部像素数据。在使用数据库CIFAR-10的案例中,x是一个[10x3072]的矩阵,所以输出的评分是一个包含10个分类评分的向量。

神经网络算法则不同,它的计算公式是:
s=W2max(0,W1x)
其中W1的含义是这样的:举个例子来说,它可以是一个[100x3072]的矩阵,其作用是将图像转化为一个100维的过渡向量。函数max(0,-)是非线性的,它会作用到每个元素。这个非线性函数有多种选择,后续将会学到。但这个形式是一个最常用的选择,它就是简单地设置阈值,将所有小于0的值变成0。最终,矩阵W2的尺寸是[10x100],因此将得到10个数字,这10个数字可以解释为是分类的评分。注意非线性函数在计算上是至关重要的,如果略去这一步,那么两个矩阵将会合二为一,对于分类的评分计算将重新变成关于输入的线性函数。这个非线性函数就是改变的关键点。参数W1,W2将通过随机梯度下降来学习到,他们的梯度在反向传播过程中,通过链式法则来求导计算得出。

一个三层的神经网络可以类比地看做s=W3max(0,W2max(0,W1x)),其中W1W2,W3是需要进行学习的参数。中间隐藏的尺寸是网络的超参数,后续将学习如何设置它们。现在让我们先从神经元或者网络的角度理解上述计算。

神经网络基本原理-4.1神经网络之单个神经元模型

神经网络基本原理-4.1神经网络之单个神经元模型

神经网络基本原理-4.1神经网络之单个神经元模型

神经网络基本原理-4.1神经网络之单个神经元模型

神经网络基本原理-4.1神经网络之单个神经元模型

神经网络基本原理-4.1神经网络之单个神经元模型

神经网络基本原理-4.1神经网络之单个神经元模型

神经网络基本原理-4.1神经网络之单个神经元模型

神经网络基本原理-4.1神经网络之单个神经元模型

神经网络基本原理-4.1神经网络之单个神经元模型

神经网络基本原理-4.1神经网络之单个神经元模型