[深度学习] 超参数设定和网络训练
超参数设定
介绍一些重要的网络设计过程中的超参数设定技巧和训练技巧,如学习率,批规范化操作和网络优化化策略的选择。
网络超参数的设定
网络超参数设定在搭建整个网络架构之前,需首先指定与网络结构相关的各项超参数:输入图像像素,卷积层个数,卷积核相关参数。
输入数据像素大小
使用卷积神经网络处理图像问题时,对不同输入图像为得到同规格输出,同时便于GPU运行,会将图像压缩到10−4数量级以下。
a) 当目标数据较少且目标数据与原始数据非常相似时,可仅微调网络靠近目标函数的后几层;
b) 当目标数据充足且相似时,可微调更多网络层,也可全部微调;
c) 当目标数据充足但与原始数据差异较大,此时须多调节一些网络层,直至微调全部;
d) 当目标数据极少,同时还与原始数据有较大差异时,这种情形比较麻烦,微调成功与否要具体 问题具体对待,不过仍可尝试首先微调网络后几层后再微调整个网络模型。
针对“当目标数据极少,同时还与原始数据有较大差异时”的情况,目前比较有效的方式是借助部分原始数据与目标数据协同训练。Ge和Yu提出,因预训练模型的浅层网络特征更具有泛化力,故可在浅层空间选择目标数据的近邻作为原始数据子集。之后,将微调阶段改为多任务学习(多任务学习就是有两个不同的任务,用同一个网络,同时生成两个结果):一者将目标任务基于原始数据子集,二者将目标任务基于全部目标数据。
参考文献
[1] 解析卷积神经网络——深度学习实践手册
[2] 深度学习(花书)