共轭
目录
4. 共轭矩阵（自共轭矩阵、Hermitian（埃尔米特）矩阵）
共轭（conjugate ）的概念在数学、物理、化学、地理等学科中都有出现。 本意：两头牛背上的架子称为轭，轭使两头牛同步行走。扩展到数学等领域，共轭即为按一定的规律相配的一对或一组。
在数学中常见的共轭有：共轭复数，共轭根式，共轭矩阵，共轭转置，共轭分布，共轭先验，共轭函数, 共轭方向，共轭方向法，共轭梯度
法。
我们在关注共轭时，主要关注共轭的配对规律，共轭的性质，以及取共轭可以带来什么样的数学或应用优势。
1. 共轭复数
配对规律：在复数中，实部相等，虚部互为相反数的两个复数互为共轭复数。
公式描述： 与
互为复数
共轭性质：1）加和为实数
2）在复平面上，共轭复数所对应的点关于实轴对称
2. 傅里叶变换的共轭对称性
说明：这里的共轭就是上面介绍的复数共轭，不是指傅里叶变换与傅里叶反变换是一对共轭。
定义：
3. 共轭根式(radical conjugates)
配对规律：两个不等于零的根式A、B，若它们的积AB不含根式，则称A、B互为共轭根式。
共轭性质：通过相乘能把根式去掉。
描述：对根式的模式没有要求，只要满足配对规律的就都是共轭根式。
4. 共轭矩阵（自共轭矩阵、Hermitian（埃尔米特）矩阵）
描述：一般共轭矩阵是一个复数矩阵，实对称阵是Hermite阵的特例。
配对规律：矩阵中第行第
列的元素与第
行第
列的元素互为共轭复数，的矩阵称为共轭矩阵。
公式描述：对于一个复数矩阵 ,如果
,则称
为共轭矩阵。
若用表示矩阵的旋转取共轭操作（称为共轭转置操作），则满足
的矩阵是共轭矩阵。
性质：1）主对角线上的元素全是实数。
2）若A 和B 是Hermite阵，那么它们的和A+B 也是Hermite阵
3）若A 和B 是Hermite阵，如果满足AB=BA，那么AB与BA也是Hermite阵
4）更多性质可参考《矩阵分析与应用（张贤达 第2版）》第101页。拥有很多很好的性质。
5. 共轭方向
组配对规律：对于一组维的非零(列)向量
和一个
的对称正定矩阵
，若
，则称这组向量关于矩阵
是互相共轭的。因为每个向量都可以表示一个方向，所以称为共轭方向。
描述：由定义可知，在高维空间中，一个方向向量的共轭方向不是唯一的，而是一组。
特例：当为单位矩阵时，
，此时这组向量是正交的。由此可见，正交是共轭的一种特殊情况，共轭是正交的推广。
性质：1）互为共轭的一组向量，线性无关
2）维空间中，关于任何一个
的对称正定矩阵
， 非零的共轭向量个数不超过
。
6. 共轭方向法
描述：共轭方向法(conjugate direction method)一种沿着共轭方向寻找无约束最优化问题极小点的一类方法。
对于一个二次型函数, 其中
,
是一个正定对称矩阵，
给定关于 的一组包含
个共轭向量的共轭向量组
,与一个初始搜索点
，可以通过k次迭代，在
与
张成的k维子空间中找到
的极小值。每一次迭代都沿着一个新的共轭方向更新，沿该共轭方向的更新步长是一个解析解。
以下是来自共轭方向法 的摘抄。
其中是沿
方向的更新步长。
是提前已知的。具体的公式证明可参考：《最优化方法（赖炎连 贺国平 主编）》的第三章，3.3节。
7. 共轭梯度法
描述：共轭梯度法可以看作一类特殊的共轭方向法，不同的是，共轭方向法在使用时需要预先定义好一组共轭方向向量。共轭梯度法克服这一缺点，共轭方向向量是随着迭代过程，当场生成下一次迭代的共轭方向。以下摘抄自：共轭梯度法
其中也是解析解，具体推论与证明可参考 《最优化方法（赖炎连 贺国平 主编）》的第三章，3.3节。。
8. 共轭分布(conjugacy)
配对规律：如果两个分布满足同样的分布律（形式相同，参数不同），那么这两个分布互称为共轭分布。
性质：分布的表达式相同，参数不同
描述：共轭分布概念通常出现在贝叶斯概率理论中，如果后验概率P(θ|X)和先验概率P(θ)满足同样的分布律(形式相同，参数不同)。那么，先验分布和后验分布被叫做共轭分布，同时，先验分布叫做似然函数的共轭先验（分布）。
9. 共轭函数（对偶函数、极化函数）
定义：设函数 , 定义函数
为：
,
则函数是函数
的共轭函数。其中
表示函数
的定义域。
表示函数的上确界，即最小上界。
是共轭函数
的变量。
使上确界有限（即
在
上有上确界）的所有的
构成共轭函数
的定义域。下图描述了此定义。
特点：无论原函数是否是凸函数，它的共轭函数
都是凸函数。
性质：1）凸函数的共轭函数的共轭函数是原函数，。
2）更多具体性质可参考《凸优化（王书宁 译）》第85页
相关：可微函数的共轭函数称为函数的Legendre变换。为了区分一般情况和可微情况下所定义的共轭，一般函数的共轭有时称为Fenchel共轭。
参考：[1] 连续时间傅里叶变换的共轭与共轭对称性（详细推导）
[2]【机器学习之数学】02 梯度下降法、最速下降法、牛顿法、共轭方向法、拟牛顿法
[3]《凸优化（王书宁 译）》
[4]《最优化方法（赖炎连 贺国平 主编）》的第三章