导数与微分的关系

1. 一元微积分中导数与微分的关系：df=f′(x)dx
2. 多元微积分中梯度与微分的关系：df=∑i∂f∂xidxi=∂fT∂xdx
   第一个等号是全微分公式，第二个等号是梯度与微分的关系
3. 根据以上，建立矩阵导数与微分的联系
   df=∑i,j∂f∂Xi,jdXi,j=tr(∂fT∂XdX)
   这里tr代表迹(trace)是方阵对角线元素之和，满足性质：对尺寸相同的矩阵A,B，tr(ATB)=∑i,jAi,jBi,j，这用泛函分析的语言来说tr(ATB)是矩阵A,B的内积，因此上式与原定义相容。

常用的矩阵微分运算法则

矩阵求导

利用矩阵导数与微分的联系df=tr(∂fT∂XdX)，求出作则的微分df后，利用迹技巧(trace trick)转换成等号右侧的形式，从而得到对矩阵的导数。
1. 标量的迹：tr(a)=a
2. 转置：tr(AT)=tr(A)
3. 线性：tr(AB)=tr(A)±tr(B)
4. 矩阵乘法交换：tr(AB)=tr(BA)=∑i,jAi,jBi,j
5. 矩阵乘法/逐元素乘法交换：tr(AT(B⊙C))=tr((A⊙B)TC)=∑i,jAi,jBi,jCi,j

总结

利用矩阵微分求解实值函数f(X)的梯度矩阵，分成两步进行。
第一，求实值函数f(X)相对于变元矩阵X的矩阵微分df(X)，并将其表示成规范形式df(X)=tr(AdX)(通过迹技巧转换)。
第二，根据梯度矩阵与Jacobian矩阵的关系
df(X)=tr(AdX)⟺▽xf(X)=AT
求得的AT即为函数f(X)关于矩阵X的梯度矩阵。

矩阵乘法记法

参考资料

知乎《矩阵求导术》
《矩阵分析》 张贤达