LRN
发展时间点
局部响应归一化这个方法流行于2012年的 AlexNet网络，它将这种方法付诸实践，验证了它的可行性。在caffe框架和tensorflow框架中，这都是经常和卷积、池化配合使用的方法。
作用时间点：LRN一般是在**、池化后进行的一中处理方法
- AlexNet网络的亮点
- 由于网络的深度不小，抛弃原始的sigmoid**函数，改用relu，且效果更好，避免后期梯度消失的问题
- 在最后的几层全连接上使用了dropout方法，一定程度上避免过拟合现象
- 抛弃原始的平均池化，全部改用最大值池化，避免了平均池化带来的模糊效果
- 首次使用了LRN方法，对局部神经元的活动创建了竞争机制，使得其中响应比较大的值变得更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力
公式解释
- bx,yi：第i个通道的一个位于（x，y）的输出像素值
- ax,yi：第i个通道的一个位于（x，y）的输入像素值，即经过**函数输出的值
- k：一个超参数，通常设为2
- α \alpha α：一个超参数，通常设为e-4
- N：该层所拥有的通道数
- n：一个超参数，通常设为5
- β \beta β：一个超参数，通常设为0.75