没有GPU时，如何优化超参数

在没有GPU时，DNN的训练是非常耗时的。此时，需在可忍受的时间内寻找到较好的超参数：

步骤1：完成模型构建的代码后，去除正则化，检查损失函数值
步骤2：在小数据集上训练网络，使其实现“过拟合”（如正确率达到100%），以验证模型的可行性
步骤3：在正常的数据集上，寻找相对较优的学习率，以降低损失函数值
步骤4：在粗网格上，训练网络，训练次数设置1-5次，寻找超参数
步骤5：重新定义网格，增加训练次数训练网络
步骤6：观察损失函数
步骤7：重复步骤5-7，至寻找到较优的超参数

参考

https://www.bilibili.com/video/BV1R5411a7eA?p=11
CS231n进阶！斯坦福李飞飞弟子密歇根大学老师《深度学习与计算机视觉》第11课