在无尽的酒桌上终于爬了出来，终于可以干点正事了。想看完一部分就写篇博客看来还是有一点难度啊，尽量更新博客能跟上我学的速度吧。预告一下，凌青老师视频第9级应该是丢失了，这集基本讲的是凸函数的定义和凸函数的扩展，按照书上来自学一下就可以了。

1. 简单的例子

• 空集、任意一个点集{$x_0$x0​}、全空间 $R^n$Rn 都是 $R^n$Rn 的子集
• 任意直线是仿射的(自然是凸集)，当直线穿过原点时，那么此直线就是凸锥
• 一条线段是凸的，但不是仿射的（不包含一个点的情况）
• 一条射线是凸的，但不是仿射的，当射线的基点是原点时，那么此射线就是凸锥
• 任意子空间是仿射的、凸锥

这就是对上一节，所涉及到的直线、线段、射线、子空间的一个概括与总结，也是较为简单的例子。

2. 超平面与半空间

相信，有看过SVM原理的同学，对超平面这个词一定不陌生。在二分类问题中，SVM的核心思想就是寻找超平面，这个超平面既能将两类数据分割开来，同时两个数据的到超平面的间隔也要最大。SVM实际上就是一个数学优化问题，在约束条件下，找寻使目标函数达到极值状态的解。在西瓜书上，给出的SVM的初始解法就是拉格朗日乘子法，但在实际其他优化问题中，拉格朗日乘子法效果不好，就像之前我阅读过得一篇论文，有的是复制动力方程迭代的方法。只会会将SVM与之前论文优化方法，分别写篇博客，权当做电子笔记。

超平面
书归正传，回归超平面的定义。超平面是如下形式的集合
$\left \{ x \: |a^Tx=b \right \}${x∣aTx=b}
其中$a\in R^n,a\neq 0$a∈Rn,a̸​=0 且 $b\in R$b∈R

从二维的层面来考虑，超平面就是一条直线，类似于图2.7，向量就是这个超平面的法向量。阴影部分就是半空间，而加粗直线部分就是超平面。超平面不完全等同于三维空间中的平面概念，在二维空间中是一条直线，三维空间中是一个平面，四维……

半空间
明显的可以看出，一个超平面可以将当前的空间划分成两个子空间，这两个子空间就是半空间。其形式为(闭的)：
$\left \{ x\: |a^Tx\leq b \right \}${x∣aTx≤b}
即（非平凡的）线性不等式的解空间。

2.3 二者性质

• 超平面是仿射的，自然也是凸集，当其经过原点时就是凸锥
• 半空间是凸集，但不是仿射的，如图2.7所示
• 半空间的边界是超平面，当不包含超平面时，就是半空间的内部空间，称为开半空间

3. Euclid球和椭球

其实，在非欧几里得空间中也可以定义球和椭球的，但为了简单起见，就在欧几里得空间中定义球和椭球吧。

3.1 椭球

集合上来讲，Euclid球就是在空间中，与球心$x_c$xc​的欧式距离小于半径r的的集合，这很好理解，与圆、球的定义没什么区别，只不过空间可能是很高维的。其具有第二种表达方式，但本质上是相同的。

3.2 椭球
椭圆的概念，对于高中学过解析几何的同学也不陌生，三维上就是椭球，不同于直观的几何定义，此处椭球进行了较为一般的定义。

椭球的两种表达方式，全部在上面了。第一种表达方式中，P是一个正定矩阵，即特征值全部大于0的矩阵，(会在之后更新矩阵论的笔记，可以关注一下)。另外，P的奇异值就是对称椭球的半轴长

3.3 性质

• Euclid球是凸集, 但不是仿射的，凸集证明如下：(三角不等式为：$\left \| a+b \right \|_p\leq \left \| a \right \|_p+\left \| b \right \|_p$∥a+b∥p​≤∥a∥p​+∥b∥p​, 其中p代表任意范数)
  

• 椭球也是凸集，且不是仿射的

我是跟着凌青老师的视频在学，所以直接跳过范数球和范数锥

4. 多面体（较为重要，主要是单纯形）

4.1 多面体
多面体被定义为有限个线性等式和不等式的解集，如下：

因此，多面体是有限个半空间和超平面的交集。仿射集合(例如子空间、超平面、直线)、射线、线段和半平面都是多面体。有界的多面体称为多胞型，言外之意就是存在无界的多面体，例如子空间。如下图所示：

对于上述多面体可以使用较为紧凑的表达式来表示：

4.2 单纯形（特殊但较为重要的多面体）
① 定义： 设$k+1$k+1个点$v_0,\cdots,v_k$v0​,⋯,vk​ $\in R^n$∈Rn仿射独立，$v_1-v_0,\cdots,v_0-v_k$v1​−v0​,⋯,v0​−vk​ 线性无关，那么单纯形可定义为：

其中$\succeq$⪰应该是大于等于的意思，不是代表正定。单纯形实际上就是包含k个反射独立点的凸包，凸包本身就包含最小的概念。

② 常见的单纯形有：1为单纯形是线段，2为单纯形是三角形；3维单纯形是一个四面体(二维空间中无法画出，因为2维空间不存在三个线性独立的向量)，但为单纯形和概率单纯形如下所示：

③ 单纯形为多面体的转换证明
可以发现，单纯形的原始定义与多面体不太相似，但从常见的单纯形，可以看出单纯形应该是属于多面体的。记下来就把（2.7）转换为（2.6）的形式。（证明较长，还是截图吧）


4.3 性质

• 多面体是凸集，但不一定是仿射的
• 多面体等式表示超平面，不等式表示半空间

5. 半正定锥

5.1 对称矩阵$S^n$Sn
$S^n$Sn表示一个对称的$n\times n$n×n矩阵的集合，如下所示，代表了一个$s(n+1)/2$s(n+1)/2的向量空间

5.2 对称半正定矩阵$S^n_+$S+n​
$S^n_+$S+n​表示一个对称半正定矩阵的集合

5.3 对称正定矩阵$S^n_{++}$S++n​
$S^n_{++}$S++n​表示一个对称正定矩阵的集合

5.4 性质
$S^n_+$S+n​是一个凸集，更细致讲是凸锥，证明如下：

形状类似于：