小象学院深度学习笔记1（传统神经网络）
神经网络起源于线性回归,是线性到非线性的转变
即使损失大量特征，因为特征足够多不会对模型的特征获取有太多影响。
线性回归网络可以简化为一层，多个系数矩阵的相乘可以转化成一个系数矩阵
赋予不同参数不同的权重值；多目标任务例如目标检测，既要分类又要进行定位；不同的网络模型的loss值得融合，例如VGG+Google，每个网络模型相当于一个神经元。
竞赛和业界中的套路：各种net的ensemble。
对训练的任务不太清楚，推荐一开始采用fixed。
原来的速度维持一点，再和新的learning rate结合。防止变太多，从而导致收敛速度下降。动量和调大学习率的区别：动量是矢量叠加考虑得更多会有一个新的方向会更准，调大学习率没有改变方向。
和动量相比，先前一步算出来两者结合而来
课程链接：https://www.bilibili.com/video/av10324235/index_2.html#page=2