您的位置: 首页 > 文章 > CPM论文遗留问题 CPM论文遗留问题 分类: 文章 • 2024-08-11 19:12:16 对照论文中的原图,这张图是训练过程中梯度幅度直方图 作者跟踪在不同深度的层中梯度的大小变化情况, 在无中继监督时,顶层梯度分布较均匀,而底层梯度都集中0附近,几乎无法更新网络。 有中继监督时,各层梯度分布情况良好,网络能够随着训练正常更新。 横坐标是梯度