引入
深度学习主要关注多层模型,接下来将以多层感知机 (multi-layer perceptron, MLP)为例,介绍多层神经网络的概念。
1.1 隐藏层
多层感知机在单层神经网络的基础上引入了一到多个隐藏层 (hidden layer)。隐藏层位于输入层和输出层之间,以下图为例,它含有一个隐藏层,该层包含5个隐藏单元 (hidden unit):
图片来源:李沐、Aston Zhang等老师的这本《动手学深度学习》一书。
由于输入层不涉及计算,所以上图所示的感知机的层数为2。
具体的参数如下:
名称 |
符号 |
小批量样本 |
X∈Rn×d |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|