您的位置: 首页 > 文章 > 关于局部最优 关于局部最优 分类: 文章 • 2024-05-04 12:46:52 在开始学习梯度下降的时候，总会有这样的疑问：梯度下降只能到达局部最优，万一到达了一个较大的局部最优，错过了较小的全局最优或是另外一个更小的局部最优，那么是不是算法是失败呢？ 其实在机器学习的大数据背景下，随机到达的局部最优点与全局最优点虽然有差距，但是也足够优秀。 而且到达局部最优的可能性也不是很大。 单独看一个特征，到达梯度为0的情况有两种： 而100个特征全部到达右边这种情况的概率值约为12100\frac{1}{2^{100}}21001。 大部分情况都是某些到达极小值，而其它的在鞍部：
