【深度学习】函数f对矩阵(向量)的求导----求梯度矩阵

简介

神经网络最优化过程中,会涉及到对损失函数求梯度问题,损失函数的变量为矩阵,输出值为实数。
需要理解函数关于矩阵的导数

前提

梯度求解的前提是函数ff返回的是一个实数,如果函数返回的是一个矩阵或者向量,那么我们是没有办法求梯度的。
但是求解出来的梯度是矩阵或者向量形式

求梯度矩阵

【深度学习】函数f对矩阵(向量)的求导----求梯度矩阵

海塞矩阵

【深度学习】函数f对矩阵(向量)的求导----求梯度矩阵