Matrix Differentiation（矩阵求导）

References: Matrix Differentiation,Rabdak J.Barnes

注： 本文直接从Matrix Differentiation开始记录，之前的乘法等基础部分不表。

Convention 3

m维向量对n维向量求导所得的结果是一个mxn矩阵,即Jacobian Matrix。
具体形式见上公式。

命题5 Proposition 5

即：Ax对x求导，结果为A

Proof

命题6 Proposition 6

即：y=Ax，而x是z的函数，那么便有 ∂ y ∂ z = A ∂ x ∂ z \frac{{\partial {\rm{y}}}}{{\partial z}} = A\frac{{\partial x}}{{\partial z}} ∂z∂y​=A∂z∂x​

Proof

命题7 Proposition 7

对于 α = y T A x \alpha = y^TAx α=yTAx分别对x和y求导的结论。

Proof

命题8 Proposition 8

对于 α = x T A x \alpha = x^TAx α=xTAx对x求导的结论。

Proof

命题9 Proposition 9

即命题8的特例，A是对称矩阵。

命题10 Proposition 10

即 α = y T x \alpha = y^Tx α=yTx，而y和x均为向量z的函数，对z求导的结果。

Proof

命题11 Proposition 11

命题10的特例， y = x y=x y=x

命题12 Proposition 12

对于 α = y T A x \alpha = y^TAx α=yTAx,x和y都是向量z的函数，对z求导的结果。

Proof

命题13 Proposition 13

命题12的特例： y = x y=x y=x

命题14 Proposition 14

命题13的特例：A是对称矩阵

命题15 Propostion 15

Proof