文献阅读:The History Began from AlexNet: A Comprehensive Survey on Deep Learning Approaches
文献阅读笔记
介随口说说快速
介绍
深度学习类型
- 监督学习
- 半监督学习
- 无监督学习
-
强化学习(基本上将半监督学习和强化学习归为一起)
有关深度学习类型的说明博客:监督学习、半监督学习、无监督学习以及强化学习类型比较
深度学习中的特征学习
深度学习应用场景
深度学习较好的性能
为什么深度学习
深度学习要面临的挑战
深度神经网络
DNN发展历史
梯度下降
随机梯度下降
向后传播
使用动量
学习率
权重衰减
L2正则化
卷积神经网络(CNN)
CNN概述
- 卷积层
- 池化层
- 分类层
前馈神经网络
- 网络参数和CNN所需要的内存
比较有名的CNN框架
- LeNet
- AlexNet
- ZFNet / Clarifai
- VGG Net
- Google Net
- Residual Network
- Densely Connected Network (DenseNet)
- FractalNet
- CapsuleNet
- 不同的模型的比较
- 其它模型
CNN 的应用 - 解决图形数据结构的问题
- 计算机视觉
- 语言处理
- 医疗影像
先进的训练手段
预处理数据集
网络初始化
批量正则化
Alternative Convolutional methods
**函数
Sub-sampling layer or pooling layer
Regularization approaches for DL
Optimization methods for DL
RNN
介绍