矩阵求导学习笔记(一)
总的来说,涉及矩阵和向量的求导不外乎五大类别,
- 向量对标量
- 标量对向量
- 向量对向量
- 矩阵对标量
- 标量对矩阵
- 向量对标量求导
- 分子布局
在分子布局下表示为,
而在分母布局下表示为,
2.标量对向量求导
3.向量对向量求导
4.标量对矩阵求导
5.矩阵对标量求导
总结,凡是对标量求导,结果的形式都要转置,而标量对向量和矩阵求导则位置保持
不动。这样总结方便我们记忆。
一些常见的求导:
首先,有矩阵A,和向量x
注意到,
于是利用向量对向量求导法则,我们有:
同理,