深度学习笔记---数值计算
上溢和下溢
下溢：接近0的数被四舍五入为0时发生。（要避免0被除等）
上溢：大两级的数被近似为∞时发生。（导致无限值变为非数字）
必须对上溢和下溢进行数值稳定。
病态条件
条件数表征函数相对于输入的微小变化而变化的快慢程度。输入被轻微扰动而迅速改变的函数对于科学计算来说可能是有问题的，因为输入中的舍入误差可能导致输出的巨大变化。
基于梯度的优化方法
x∗ =arg min f(x)
f(x + ϵ) ≈ f(x) + ϵf′(x)因此导数对于最小化一个函数很有用，因为它告诉我们如何更改 x 来略微地改善 y。将 x 往导数的反方向移动一小步来减小 f(x)被称为梯度下降。
在深度学习的背景下，我们要优化的函数可能含有许多不是最优的局部极小点，或者还有很多处于非常平坦的区域内的鞍点。
针对具有多维输入的函数，我们需要用到 偏导数（partial derivative）。
最速下降建议新的点为：x′ = x - ϵ∇xf(x)
ϵ 为 学习率，是一个确定步长大小的正标量。最速下降在梯度的每一个元素为零时收敛（或在实践中，很接近零时）。