反向传播

反向传播
1、图中损失值loss为f=-12,想要知道x、y、z分别对f有多大的影响。希望loss越小越好
2、f对z的偏导为q,q=3,则希望z越越小越好
3、要计算f对x的偏导,需要先计算f对q的偏导,为z=-4,再算q对x的偏导为1,则f对x的偏导为-4,希望x越大越好,同理f对y的偏导也为-4越大越好
反向传播
遵循链式法则只能一层一层的往前传

下面举稍微复杂的例子
反向传播
对1/x进行求导为-1/x^2,将1.37带入得-0.53,再往前做x+1操作,x+1求导得1,所以参数还是-0.53,以此类推最终得到w0、w1…wn对loss产生了多少影响,然后就可以更新权重参数了。
反向传播
当然,通常能整体计算求导,就整体计算

门单元:
反向传播