深度学习

一、自动编码机

1、起因

2、步骤

3、第一层与第二层

• 图解为第一层与第二层，其他层以此类推
• 相当于第一层对x₁-x₆为编码输入，对其特征提取，相当于压缩为三个特征值，将这三个特征值作为第二层的输入，再次特征提取。

卷积神经网络

1、流程

2、第一层：卷积核

• 卷积提取特征点（多少个卷积多少个输出），机器学习方法分类。

卷积核提取特征

• 在一个（3232）的图像，用一个（55）的卷积核去提取特征
  

• 卷积核不能正好覆盖图像的局部的时候，给原图像补0
  
  
• 卷积神经网络最常用的非线性变换ReLU
• CONV:卷积
  
  
• 当执行bp算法时，共享权重
• 第二层：根据（2828）特征图取平均，这里是相邻的四个数取平均得到（1414）
• 当执行BP算法时，（1414）图取1/4映射到（2828）图

第三层

四层到最后

• 最后分类的问题并不采用E=1/2||y - Y||^2，而是交叉熵
  
• 卷积是一个线性的变换，全连接为线性变换，包括取样层也是线性的变换，所有的线性变换的后面加上一个非线性的变换（如果两个线性的变换加在一起相当于一个线性变换去替代）。
• 如果加速卷积计算，从卷积层考虑；如果要节省空间的话，从全连接层考虑。

• 后向传播时，只将最大值传入原来的位置，其他地方补0

• 随机的丢弃一些神经元
• 相当于训练多个网络，然后将求的结果取平均

• 通过 简单的变换图像，产生大量的图片
  
  
• AlexNet带动了深度学习的蓬勃的发展
  

编程工具

近年流行的网络结构

• 收敛的网络，越深的效果越好
• 对于单片机来说，计算力是一个不得不考虑的问题，宁可降低识别率，也要提升计算时间

卷积神经网络应用

迁移学习

把已经训练好的大网络模型（其他目标的分类），微调参数，使其成为当前目标的模型（不同类别的目标）

• 通过压缩图片，主要减少计算量