3.2.5 神经网络调优

3.2.5 神经网络调优

3.2.5.1 调参技巧

3.2.5.2 运行

通常我们有这么多参数组合，每一个组合运行训练都需要很长时间，但是如果资源允许的话，可以同时并行的训练多个参数模型，并观察效果。如果资源不允许的话，还是得一个模型一个模型的运行，并时刻观察损失的变化

所以对于这么多的超参数，调优是一件复杂的事情，怎么让这么多的超参数范围，工作效果还能达到更好，训练变得更容易呢？

3.2.6 批标准化（Batch Normalization）

Batch Normalization论文地址：https://arxiv.org/abs/1502.03167

其中最开头介绍是这样的：

3.2.6.1 批标准化公式

3.2.6.2 过程图

3.2.6.3 为什么批标准化能够是优化过程变得简单

3.2.6.4 BN总结

3.2.7 其它方法

• 早停止法（Early Stopping）

• 数据增强

3.2.7.1 早停止法（Early Stopping）

3.2.7.2 数据增强

• 1、数据增强定义

3.2.7.3 数据增强技术

• 1、几何变换类

• 2、颜色变换类

1、几何变换类

• 几何变换类即对图像进行几何变换，包括翻转，旋转，裁剪，变形，缩放等各类操作

下面一些方法基础但功能强大的增强技术，目前被广泛应用。

 

从左侧开始分别为：原始图像，从左上角裁剪出一个正方形部分，然后从右下角裁剪出一个正方形部分。剪裁的部分被调整为原始图像大小。

• 平移、缩放等等方法

2、颜色变换

• 常见的包括噪声、模糊、颜色变换、擦除、填充等等

• 噪声：基于噪声的数据增强就是在原来的图片的基础上，随机叠加一些噪声，最常见的做法就是高斯噪声

3.2.7.5 效果