矩阵求导简要笔记
导数与微分的关系
- 一元微积分中导数与微分的关系:
df=f′(x)dx - 多元微积分中梯度与微分的关系:
df=∑i∂f∂xidxi=∂fT∂xdx
第一个等号是全微分公式,第二个等号是梯度与微分的关系 - 根据以上,建立矩阵导数与微分的联系
df=∑i,j∂f∂Xi,jdXi,j=tr(∂fT∂XdX)
这里tr代表迹(trace)是方阵对角线元素之和,满足性质:对尺寸相同的矩阵A,B,tr(ATB)=∑i,jAi,jBi,j ,这用泛函分析的语言来说tr(ATB) 是矩阵A,B的内积,因此上式与原定义相容。
常用的矩阵微分运算法则
矩阵求导
利用矩阵导数与微分的联系
1. 标量的迹:
2. 转置:
3. 线性:
4. 矩阵乘法交换:
5. 矩阵乘法/逐元素乘法交换:
总结
利用矩阵微分求解实值函数
第一,求实值函数
第二,根据梯度矩阵与Jacobian矩阵的关系
求得的
矩阵乘法记法
参考资料
知乎《矩阵求导术》
《矩阵分析》 张贤达