您的位置: 首页 > 文章 > tensorflow 2.0 随机梯度下降 之 MLP反向传播 tensorflow 2.0 随机梯度下降 之 MLP反向传播 分类: 文章 • 2023-03-28 19:36:49 6.7 MLP反向传播 多输出感知机 MLP 反向传播推导 多输出感知机 MLP 反向传播推导 总结: 对 于 一 个 输 出 层 的 节 点 k∈Kk \in Kk∈K:∂E∂wjk=Ojδk\frac{\partial E}{\partial w_{jk}}=O_j\delta_k∂wjk∂E=Ojδk 这 里,δk=Ok(1−Ok)(Ok−tk)\delta_k=O_k(1-O_k)(O_k-t_k)δk=Ok(1−Ok)(Ok−tk) 对 于 一 个 隐 藏 层 的 节 点 j∈Jj \in Jj∈J:∂E∂wij=Oiδj\frac{\partial E}{\partial w_{ij}}=O_i\delta_j∂wij∂E=Oiδj 这 里,δj=Oj(1−Oj)∑k∈Kδkwjk\delta_j=O_j(1-O_j)\sum_{k\in K}\delta_k w_{jk}δj=Oj(1−Oj)k∈K∑δkwjk 正向传播:OJ −−> OK −−> EO^J~~-->~~O^K~~-->~~EOJ −−> OK −−> E反向传播:δK −−> ∂E∂wK −−> δJ −−> ∂E∂wJ −−> δL −−> ∂E∂wL\delta^K~~-->~~\frac{\partial E}{\partial w^K}~~-->~~\delta^J~~-->~~\frac{\partial E}{\partial w^J}~~-->~~\delta^L~~-->~~\frac{\partial E}{\partial w^L}δK −−> ∂wK∂E −−> δJ −−> ∂wJ∂E −−> δL −−> ∂wL∂E