李宏毅DNN学习笔记- How to pick the “best” function? 实践问题研究

  

随机梯度下降法

Learning 的秘诀

 

首先要提供足够的数据给训练和测试，在训练出比较好的结果之后（只有训练得到好的结果之后才测试才有意义的，如果在训练时都没得到好的结果，那么接下来的测试就不能有好结果，因为结果不会比训练时的结果更好）， 再进行验证测试和实际测试。
验证测试能非常快的得到结果，而实际测试时结果是到dealine那一天才会得知。

learning分析流程
训练时：

验证时： 

 Overfitting

万灵丹：获取更多训练数据集。