深度学习的数学原理

在网络中,假定输入为X,输出为Y,其网络结构的参数为W和b,每次训练的损失函数为L(w,b),Cost函数J(w,b)

则:Y= W*X+b

也就是W和b与网络模型的好坏的直接相关;同时训练就是训练的W和b参数让J最小

 

参数修正

深度学习的数学原理

TF图:

在tf中存在计算图的前向传导和BP(后向传导)修正参数,假定计算:F(a,b,c) =  3(a+bc)

d代表计算梯度,则:

深度学习的数学原理

由上图知:计算图是从前向后计算,而计算梯度则是从后向前计算(故叫BP)。

深度学习的数学原理

损失函数及其代价函数:

深度学习的数学原理

深度学习的数学原理