吴恩达机器学习笔记10——神经网络参数的反向传播
第10章 神经网络参数的反向传播
为神经网络拟合参数的算法
1,代价函数Cost Function
2,反向传播算法
让代价函数最小化的方法。
推导一下
是l层第j个单元的**值,
是求他 的误差
第一层不存在误差,因为是输入层。
以下为导数推导。
然后可以对导数采用梯度下降法等方法优化。
3,理解反向传播
可以把一元情况下的代价函数看成方差的形式,预测精准度。
4,展开参数
5,梯度检测
n是theta向量的维数,for循环使得每一次只对某一个theta量求导。
梯度检验是一种很慢的数值计算方法,不要在每一次iteration是都计算,这样速度会非常慢。因为梯度检验比BP算法慢得多,反向传播算法是一种很高效的算法,所以可以用它来代替这种低效的梯度检验算法。again,它只是用来第一次检验的。检验结束,就禁止他。
6,随机初始化
如果初始为0,就会出现a_1和a_2在所有hidden layer都是一样的,最后导致高度冗余。
以上问题被称为对称权重问题,Problem of symmetry。这里的epsilon和之前梯度检验的无关,不过都代表很小的接近0的数。
具体使用方法是,先随机生成初始theta(接近于0的很小的数),再进行BP算法,再进行梯度检验,最后用梯度下降或其他优化算法。
7,组合到一起(神经网络学习回顾)
我的一个问题:选择层数和units是否有什么讲究或算法。
解答:输出layer由分类的结果决定,比如有10类,那就有10维度。
中间的隐藏layer尽量隐藏单元数一直,每一层layer最好有相同的units数目。可以是输入x的1 2 3 4倍,
J(theta)可能是非凸函数,也就是在利用梯度下降等方法时,容易陷入局部最优解,但是大部分情况下还是能得到一个代价函数较小的结果的。