浙大机器学习课程-11-训练人工神经网络

分类: 文章 • 2024-01-07 20:35:46

浙大机器学习课程-11-训练人工神经网络过拟合：只在训练样本上有很好的表现，没法把这种好的表现推广到测试集

浙大机器学习课程-11-训练人工神经网络
对梯度做均值化
使优化路径在每一个梯度上都比较一致：在梯度特别大的地方除以梯度的绝对值，在梯度特别小的地方也除以梯度的绝对值，结果是梯度高的地方步长变小，梯度绝对值低的地方步长变大，使优化路径在每一个梯度上都比较一致