多层感知器

目录

多层感知器

1.**函数

1.1**函数概念

1.2**函数的作用

1.3**函数的特征

1.4常见**函数

练习

1.5学习步骤

1.6人工神经网络学习过程

1.6.1前向传播

1.6.2计算误差

1.6.3反向传播（BP/EBP）

​

1.7权重的初始化

---

在之前的课程中，我们了解到，感知器（指单层感知器）具有一定的局限——无法解决异或问题，即线性不可分的问题。
将多个单层感知器进行组合，就可以得到一个多层感知器（MLP——Multi-Layer Perceptron）结构。 多层感知器包含输入层，一个或多个隐藏层以及一个输出层。每层的神经元与下一层进行完全连接。
如果网络中包含一个以上的隐层，则称其为深度人工神经网络。

说明：

• 通常我们说的神经网络的层，指具有计算的层，因为输入层没有计算，因此，通常输入层不计入神经网络的层次。
• 多层感知器（深度神经网络）可以解决线性不可分问题。

1.**函数

1.1**函数概念

在神经网络中，**函数用来为每一个结点（神经元）定义输出，该输出可以作为下一个结点（神经元）的输入。

1.2**函数的作用

**函数提供网络的非线性建模能力。如果不使用**函数，即使是多层神经网络，也无法解决线性不可分的问题。

1.3**函数的特征

**函数的一些属性：

• 非线性 可以解决非线性可分问题。当**函数是线性时，多层神经网络相当于单层神经网络。
• 范围性 当**函数是有限范围时，基于梯度的训练方法往往更稳定，因为模式呈现仅显着影响有限的权重。当范围无限时，训练通常更有效，因为模式呈现显着影响大多数权重。在后一种情况下，通常需要较小的学习率。
• 可微性 该属性用来实现基于梯度的优化方法。
• 单调性 当**函数是单调的时，与单层模型相关联的误差表面保证是凸的。
• 平滑性并且具有单调导数 在某些情况下，这些函数已被证明更为普遍。
• 原点中心化 当**函数具有此属性时，使用较小的随机值初始化权重，可以让神经网络学习更加有效（更有利于权重的更新）。否则，在初始化权重时必须特别小心。如果函数f满足以下条件，则表明函数是原点中心化的。
  • ????(0)=0 
  • ???? ′ (0)=1 
  • 导函数在0点处连续

1.4常见**函数

常见的**函数如下：

• 阶跃函数：
• sigmoid函数（最后一层二分类）
• 
• tanh函数（一般比sigmoid好，零中心化）
• 
• relu函数
• 
• softmax转换

练习

画出各种**函数在[-10, 10]区间的图像。

import matplotlib.pyplot as plt
import numpy as np

x = np.arange(-10, 10, 0.1)
y = np.where(x >= 0, 1, 0)
plt.plot(x, y)

x = np.arange(-10, 10, 0.1)
y = 1 / (1 + np.exp(-x))
plt.plot(x, y)

x = np.arange(-10, 10, 0.1)
y = (np.exp(x) - np.exp(-x)) /(np.exp(x) + np.exp(-x))
plt.plot(x, y)

x = np.arange(-10, 10, 0.1)
y = np.where(x >= 0, x, 0)
plt.plot(x, y)

1.5学习步骤

多层感知器（深度神经网络DNN）的学习过程步骤如下：

1. 从输入层开始，通过网络进行正向传播（forward propagation），并计算输出。
2. 根据输出与真实值，计算误差。
3. 反向传播（back propagation）误差，根据误差值，更新每层的权重。

1.6人工神经网络学习过程

1.6.1前向传播

1.6.2计算误差

1.6.3反向传播（BP/EBP）

1.7权重的初始化

注意，在深度神经网络中，权重一定不能全部初始化为0，否则，在正向传播时，所有的神经元都会得到相同的值，同时，在反向传播时，权重也会更新相同的值。这会使得神经网络拥有不同权重的意义不复存在。