机器学习数学基础——线性代数部分

1. 向量基本运算

(1) 实数与向量的积的运算，设 $\lambda,\mu$ 为实数：

结合律： $\lambda(\mu\vec{a})=(\lambda\mu)\vec{a}$
第一分配律： $(\lambda+\mu)\vec{a}=\lambda\vec{a}+\mu\vec{a}$
第二分配律： $\lambda(\vec{a}+\vec{b})=\lambda\vec{a}+\lambda\vec{b}$
(2) 向量数量积的运算律：
$a·b=b·a$
$(\lambda a)·b=\lambda(a·b)=\lambda a·b=a·(\lambda b)$
(a+b)·c=a·c+b·c
(3) 平面向量基本定理：
如果在同一个平面内存在两个不共线的向量，那么这个平面内的任意向量，都可由两个不共线向量唯一表示。
(4) 向量的内积(或数量积):
$a·b = |a||b|\cos\theta$ 其几何意义是 $a$ 的长度 $|a|$ 与 $b$ 在 $a$ 的方向上的投影 $|b|\cos\theta$ 的乘积

2. 向量与矩阵的范数(L1范数，L2范数，Lp范数)

范数简单来说就是一种距离的定义，是一种强化了的距离概念，比距离多了一条数乘的运算法则。通常将其作为距离来进行理解。
范数(norm)是数学中的一种基本概念。在泛函分析中，它定义在赋范线性空间中，并满足一定的条件，即①非负性；②齐次性；③三角不等式。它常常被用来度量某个向量空间（或矩阵）中的每个向量的长度或大小。
0范数：向量中非零元素的个数。

1-范数：为绝对值之和
向量范数： $||x||_1=\sum_{i=1}^N|x_i|$ ，即向量元素绝对值之和
矩阵范数：假设矩阵 $n$ 行 $m$ 列，那么其一阶范数 $||A||_1 = \max_{1\leq j\leq n}\sum_{i=1}^m|a_{i,j}|$ ，即矩阵中所有列向量绝对值之和的最大值。

2-范数：通常意义上的模
向量范数： $||x||_2=\sqrt{\sum_{i=1}^Nx_i^2}$ ，即向量元素的平方和再开根。
矩阵范数： $||A||_2=\sqrt{\lambda_{\max}(A^TA)}=\sqrt{max_{1\leq i\leq n}|\lambda_i|}$ ，即矩阵 $A^TA$ 的最大特征值开平方。