线性代数基础知识复习

矩阵
线性代数中最基本的数据类型是矩阵。矩阵由行和列组成。

向量： 是一个特殊的矩阵，其行或列数目为1。通常情况下，提
到向量时不会特别说是行向量还是列向量。如果这样，则假设是列向量。图B-2左部给出了一个
列向量，是一个3×1的矩阵。而在图B-2右部给出的是一个1×3的行向量。在矩阵的运算过程中跟
踪矩阵的大小十分重要，比如矩阵乘法。

 一.矩阵的一个最基本的运算是转置

即按照对角线翻转矩阵。原来的行变成列、列变成行。

二：用矩阵标量乘法或加法运算

三：矩阵求和

四：矩阵乘法

                                                          （3,2）（2,1）

五：矩阵求逆

如果XY=I，其中I是单位阵（单位阵I 的对角线元素均为1，而其他元素都是0。任意矩阵乘以单位阵仍为原始矩阵），则称X是Y的逆矩阵。矩阵B的逆矩阵通常表示为B-1 。矩阵要可逆必须要是方阵。这里所谓方阵，是指矩阵的行数等于列数。

计算方法：

矩阵求逆的方法，一种方法是对矩阵进行重排然后每个元素除以行列式。所谓行列式
是与方阵关联的一个特殊值，通过它能反映矩阵的一些信息。图B-10给出了一个2×2矩阵的手工
矩阵求逆过程。注意一下行列式det()的计算方法。

 三阶矩阵求逆：

六：向量的范数

向量的范数运算会给向量赋予一个正标量值。可以把向量范数看成是向量的长度，这在很多
机器学习算法比如k近邻中都非常有用。对于向量z=[3,4]，其长度为 2 2 34 5   。这也常常称
为向量的2范式，写作||z||或||z||2。
在某些机器学习算法当中，比如lasso回归，采用其他的范数计算方法可能效果更好。其中L1
范数也很流行，它的另一个名称是曼哈顿距离（Manhattan distance）。向量z的L1范数为3+4=7。

 

七：矩阵求导