美文网首页
理解 Conjugate Function

理解 Conjugate Function

作者: LF8313 | 来源:发表于2018-08-17 15:12 被阅读0次

共轭函数是最优化问题中非常重要的概念,常用来在原问题和对偶问题之间进行转换。

定义

对于原函数f(x), x\in D,其共轭函数为
f^{\star}(y)=\sup_{x\in D}\left(<y, x>-f(x)\right)其中,<y, x>表示两个变量的内积。

注意,这个的共轭函数的定义域要求对x\in D, <y, x>-f(x)有上界。即,共轭函数的值不能无穷大。

几何意义

对于共轭函数的每一个自变量y=\hat{y},其取值相当于一条直线与原函数之差的最大值:f^{\star}(y)=\sup_{x\in D}\left(l(x)-f(x)\right)这条直线l(x)=<\hat{y}, x>,其斜率由\hat{y}决定。

两条曲线之差随着x变化,其最大值可以对x求导得到: \frac{\partial(<y, x>-f(x))}{\partial x}=0 \Rightarrow f'(x)=y即:曲线斜率与直线斜率相同处的x,能够得到最大值。
带入满足条件的x,即可得到共轭函数。

例子

原函数(Negative entropy):f(x)=x\log x, x>0原函数为增函数。
对于y<0l(x)为减函数。则l(x)−f(x)为减函数,不超过其在零点取值。
对于y\geq0l(x)也是增函数\lim_{x \rightarrow\infty}l(x)/f(x)=\lim_{x \rightarrow\infty}l'(x)/f'(x)=\lim_{x \rightarrow\infty}y/(\log x+x)=0 l(x)增速小于f(x)增速,故其差有上界。
故,f^{\star}(y)的定义域为y∈R

找到最大值处x的表达式:\frac{xy-x\log x}{\partial x}=0 \Rightarrow x=e^{y-1}代入共轭函数:f^{\star}(y)=ye^{y-1}-e^{y-1}(y-1)=e^{y-1}

参考:

相关文章

网友评论

      本文标题:理解 Conjugate Function

      本文链接:https://www.haomeiwen.com/subject/nextiftx.html