讲人话的计算机视觉和深度学习(二)全连接神经网络

前言

有了上一章线性分类器的基础,下面开始学习全连接神经网络,这是线性分类器的进阶版,本节介绍的多种方法在以后的工作中也会经常使用,是CNN的基础。

本章导图:
讲人话的计算机视觉和深度学习(二)全连接神经网络

一、图像表示

讲人话的计算机视觉和深度学习(二)全连接神经网络

二、分类模型

讲人话的计算机视觉和深度学习(二)全连接神经网络

1.全连接网络的权值

讲人话的计算机视觉和深度学习(二)全连接神经网络

2.全连接网络与线性不可分

讲人话的计算机视觉和深度学习(二)全连接神经网络

3.全连接神经网络绘制与命名

讲人话的计算机视觉和深度学习(二)全连接神经网络

4.**函数

讲人话的计算机视觉和深度学习(二)全连接神经网络

三、损失函数

1.Softmax

讲人话的计算机视觉和深度学习(二)全连接神经网络

2.交叉熵

讲人话的计算机视觉和深度学习(二)全连接神经网络

3.与多类支持向量机的对比

讲人话的计算机视觉和深度学习(二)全连接神经网络

四、优化算法

1.计算图与反向传播

讲人话的计算机视觉和深度学习(二)全连接神经网络

2.再看**函数

讲人话的计算机视觉和深度学习(二)全连接神经网络

3.动量法与自适应梯度

讲人话的计算机视觉和深度学习(二)全连接神经网络

五、训练过程

1.权值初始化

讲人话的计算机视觉和深度学习(二)全连接神经网络

2.批归一化(BN)

讲人话的计算机视觉和深度学习(二)全连接神经网络