课程内容
描述神经网络的定义与发展
熟悉深度学习神经网络的重要“部件”
熟悉神经网络的训练与优化
描述深度学习中常见的问题

一、 深度学习简介

（一）概念

1、深度学习概念
端到端的学习，可以自动完成数据清理、特征提取、特征选择等步骤。

2、ANN人工神经网络：

（二）单层感知器

1、概念


2、XOR问题

前馈神经网络：多层感知器

解决异或问题：

隐藏层数对神经网络的影响：

二、训练法则

（一）梯度下降与损失函数

1、损失函数


最小化损失值，获得最合适的w，使真实值与预测值尽量靠近。
2、损失函数的极值

3、常用的损失函数

交叉熵：刻画两个概念的重叠程度。
4、反向传播算法


反向传播在数学中叫做链式法则。

三、**函数

（一）概念

（二）常见**函数

1、Sigmoid函数

2、tanh函数

3、Softsign函数

4、ReLU函数
前三种会发生梯度消失。

5、Softplus函数

6、Softmax函数

四、正则化

目的：增强泛化能力，防止过拟合。

Dropout：类似生成随机森林。
1、L1/L2正则


2、数据集合扩充

3、Dropout

4、提前停止

五、优化器

SGD** 用的多
（动量优化器monmtum，学习率优化器Adagrad,RMSprop）---->Adam
BGD
MBGD

（一）概念

(二)几种优化器

1、动量优化器


2、Adagrad优化器

学习率：决定跨步有多大
3、Adam优化器
动量优化器策略 + 学习率优化器策略

（三）优化器性能比较

六、神经网络类型

CNN：卷积神经网络
适合处理图像的信息，提取图像特征能力优异。
RNN：循环神经网络
适合处理时间序列数据，适合处理文本，音频视频数据等
GAN：生成对抗神经网络
换脸、制造数据

（一）卷积神经网络

1、概念


卷积计算：

2、卷积层

3、池化层

4、全连接层

（二）循环神经网络

LSTM网络：（优化了循环神经网络可能会发生梯度消失的问题）

（三）生成对抗网络

七、常见问题

1、数据不平衡问题

处理方法：
随机欠采样：删除类中多的样本。
随机过采样：拷贝样本。
合成采样：提取样本，合成样本。

2、梯度消失和梯度爆炸问题
思考作业：
思考深度学习与机器学习的区别与联系？

深度学习是机器学习的一种形式，既可以使用监督算法，也可以使用非监督算法，或者两者兼而有之。但是它使用包含更多神经元、层次和互联性的神经网络。