您的位置: 首页  >  文章  >  Conjugate function and Fenchel’s duality theorem

Conjugate function and Fenchel’s duality theorem

分类: 文章 • 2024-10-06 11:46:40

定义. 给定一个函数 f:Rn→Rf:\mathbb{R}^n\rightarrow\mathbb{R}，它的 共轭函数（conjugate）f∗:Rn→Rf^*:\mathbb{R}^n\rightarrow\mathbb{R} 定义为：
f∗(y)=sup⁡x∈domf(yTx−f(x)).f^*(y)=\mathop{\sup}\limits_{x\in\text{dom}f}\left(y^Tx-f(x)\right).

Conjugate function and Fenchel’s duality theorem
图 3.8 给出了 conjugate 函数的直观含义，yy 看成一个线性函数的系数，共轭函数在 yy 上的取值就是 yy 对应的直线超过原函数对应值的最大值。

例子.

函数 f(x)f(x) f∗(y)f^*(y)
Affine function ax+bax+b f∗(y)=−b,y=af^*(y)=-b,y=a
Negative logarithm −log⁡x-\log x f∗(y)=−log⁡(−y)−1,y<0f^*(y)=-\log(-y)-1,y<0
Exponential exe^x f∗(y)=ylog⁡y−yf^*(y)=y\log y-y
Negative entropy xlog⁡xx\log x f∗(y)=ey−1f^*(y)=e^{y-1}
Inverse 1x\frac{1}{x} f∗(y)=−2(−y)1/2f^*(y)=-2(-y)^{1/2}
Strictly convex quadratic function f(x)=12xTQxf(x)=\frac{1}{2}x^TQx f∗(y)=12yTQ−1yf^*(y)=\frac{1}{2}y^TQ^{-1}y
Log-determinant f(X)=log⁡det⁡X−1f(X)=\log\det X^{-1} f∗(Y)=sup⁡X≻0(tr(YX))+log⁡det⁡(X)f^*(Y)=\mathop{\sup}\limits_{X\succ 0}(\text{tr} (YX))+\log\det(X)
Indicator function ISI_S IS∗(y)=sup⁡x∈SyTxI_S^*(y)=\mathop{\sup}\limits_{x\in S}y^Tx

Fenchel’s inequality
由定义可知，
f(x)+f∗(y)≥xTyf(x)+f^*(y)\ge x^Ty

Fenchel’s duality theorem

相关推荐