15天共读深度学习Day13
通过CNN的可视化，随着层次变深，提取的信息愈加高级。
CNN 的卷积层中提取的信息。第 1 层的神经元对边缘或斑块有响应，第 3 层对纹理有响应，第 5 层对物体部件有响应，最后的全连接层对物体的类别（狗或车）有响应。
LeNet和AlexNet是CNN的代表性网络。
LeNet是1998年提出的（21年了耶）进行手写数字识别的网络，它有连续的卷积层和池化层，最后经全连接层输出结果。
与现在的CNN相比：LeNet的**函数使用sigmoid函数，而现在的CNN主要使用ReLU函数；LeNet使用子采样（subsampling）缩小中间数据的大小，而CNN中Max池化是主流。
AlexNet和LeNet结构上没有大的不同，但有以下几点差异：
AlexNet：
**函数使用ReLU
使用进行局部正则化LRN（Local Response Normalization）层
使用Dropout