凸関数

区間上の凸関数。

Real function with secant line between points above the graph itself

関数 (黒) が凸関数である場合、かつそのグラフ(緑)の上の領域が凸集合である場合に限ります。

二変数凸関数x ² + xy + y ²のグラフ。

凸 vs. 非凸

数学において、実数値関数は、その関数のグラフ上の任意の2点間の線分が、その2点間の関数のグラフの上または上にある場合、凸関数と呼ばれます。同様に、関数のエピグラフ（関数のグラフ上またはグラフ上の点の集合）が凸集合である場合、その関数は凸関数です。簡単に言えば、凸関数のグラフはカップ型（または線形関数のような直線型）であり、凹関数のグラフは帽子型です。 ${\displaystyle \cup }$ ${\displaystyle \cap }$

一変数の二回微分可能な関数が凸関数であるための必要十分条件は、その二階微分がその定義域全体で非負となることである。^[1]一変数の凸関数のよく知られた例としては、線形関数 （ただし、は実数）、二次関数（非負の実数として）、指数関数（非負の実数として）などがある。 ${\displaystyle f(x)=cx}$ ${\displaystyle c}$ ${\displaystyle cx^{2}}$ ${\displaystyle c}$ ${\displaystyle ce^{x}}$ ${\displaystyle c}$

凸関数は数学の多くの分野で重要な役割を果たしている。特に最適化問題の研究では重要であり、いくつかの便利な特性によって特徴付けられる。たとえば、開集合上の厳密に凸な関数には、最小値が 1 つしかない。無限次元空間であっても、適切な追加仮定の下では、凸関数はそのような特性を満たし続けるため、結果として、変分法において最もよく理解されている関数である。確率論では、確率変数の期待値に適用された凸関数は、常にその確率変数の凸関数の期待値によって上方に有界となる。この結果はジェンセンの不等式として知られ、算術幾何平均不等式やヘルダーの不等式などの不等式を導くために使用できる。

意味

凸関数とジェンセンの不等式の可視化

を実ベクトル空間の凸部分集合とし、を関数とします。 ${\displaystyle X}$ ${\displaystyle f:X\to \mathbb {R} }$

次の同等の条件のいずれかが成り立つ場合にのみ、は凸と呼ばれます。 ${\displaystyle f}$

1. すべておよびすべてについて：右辺は、のグラフにおけると の間の直線を表し、はから に増加するか、からに減少する関数として、この直線を掃引します。同様に、左辺の関数の引数は、のグラフの -軸におけるとの間の直線を表します。したがって、この条件は、 の曲線上の任意の2点間の直線がグラフの上にあるか、またはグラフとちょうど交わっていることを必要とします。^[2] ${\displaystyle 0\leq t\leq 1}$ ${\displaystyle x_{1},x_{2}\in X}$ $${\displaystyle f\left(tx_{1}+(1-t)x_{2}\right)\leq tf\left(x_{1}\right)+(1-t)f\left(x_{2}\right)}$$ ${\displaystyle \left(x_{1},f\left(x_{1}\right)\right)}$ ${\displaystyle \left(x_{2},f\left(x_{2}\right)\right)}$ ${\displaystyle f}$ ${\displaystyle t;}$ ${\displaystyle t}$ ${\displaystyle 0}$ ${\displaystyle 1}$ ${\displaystyle t}$ ${\displaystyle 1}$ ${\displaystyle 0}$ ${\displaystyle f}$ ${\displaystyle x_{1}}$ ${\displaystyle x_{2}}$ ${\displaystyle X}$ ${\displaystyle x}$ ${\displaystyle f.}$ ${\displaystyle f}$
2. となるすべての およびすべてのに対して、次のようになります。この 2 番目の条件と上記の最初の条件との相違点は、この条件には、の曲線上の 2 つの点を通る直線(この条件の右側で表された直線) と、最初の条件の曲線との交点 (たとえば、および) が含まれないことです。最初の条件の曲線には、 またはでまたはとなる交点が含まれます。実際、 および は常に真であるため(したがって、条件の一部として有用ではない)、凸 の条件で交点を使用する必要はありません。 ${\displaystyle 0<t<1}$ ${\displaystyle x_{1},x_{2}\in X}$ ${\displaystyle x_{1}\neq x_{2}}$ $${\displaystyle f\left(tx_{1}+(1-t)x_{2}\right)\leq tf\left(x_{1}\right)+(1-t)f\left(x_{2}\right)}$$ ${\displaystyle \left(x_{1},f\left(x_{1}\right)\right)}$ ${\displaystyle \left(x_{2},f\left(x_{2}\right)\right)}$ ${\displaystyle f}$ ${\displaystyle f;}$ ${\displaystyle f\left(x_{1}\right)\leq f\left(x_{1}\right)}$ ${\displaystyle f\left(x_{2}\right)\leq f\left(x_{2}\right)}$ ${\displaystyle t=0}$ ${\displaystyle 1,}$ ${\displaystyle x_{1}=x_{2}.}$ $${\displaystyle f\left(tx_{1}+(1-t)x_{2}\right)\leq tf\left(x_{1}\right)+(1-t)f\left(x_{2}\right)}$$ ${\displaystyle f\left(x_{1}\right)\leq f\left(x_{1}\right)}$ ${\displaystyle f\left(x_{2}\right)\leq f\left(x_{2}\right)}$

実数直線上で値をとる凸関数を特徴付ける2番目の記述は、拡張実数直線上で値をとる凸関数を定義する際にも用いられます。この場合、そのような関数は を値として取ることができます。最初の記述はまたは を値として取ることができるため用いられません。この場合、または がそれぞれ である場合、 は未定義となります（ と の乗算が未定義であるため）。和も未定義であるため、凸拡張実数値関数は通常、 と のどちらか一方のみを値として 取ることができます。 ${\displaystyle \mathbb {R} }$ ${\displaystyle [-\infty ,\infty ]=\mathbb {R} \cup \{\pm \infty \},}$ ${\displaystyle f}$ ${\displaystyle \pm \infty }$ ${\displaystyle t}$ ${\displaystyle 0}$ ${\displaystyle 1}$ ${\displaystyle f\left(x_{1}\right)=\pm \infty }$ ${\displaystyle f\left(x_{2}\right)=\pm \infty ,}$ ${\displaystyle tf\left(x_{1}\right)+(1-t)f\left(x_{2}\right)}$ ${\displaystyle 0\cdot \infty }$ ${\displaystyle 0\cdot (-\infty )}$ ${\displaystyle -\infty +\infty }$ ${\displaystyle -\infty }$ ${\displaystyle +\infty }$

2 番目のステートメントを変更して、厳密な凸性の定義を取得することもできます。後者は、厳密な不等式 を に置き換えることによって取得されます。明示的に、すべての実数とすべてのに対して である場合に限り 、マップは厳密に凸であると呼ばれます。 ${\displaystyle \,\leq \,}$ ${\displaystyle \,<.}$ ${\displaystyle f}$ ${\displaystyle 0<t<1}$ ${\displaystyle x_{1},x_{2}\in X}$ ${\displaystyle x_{1}\neq x_{2}}$ $${\displaystyle f\left(tx_{1}+(1-t)x_{2}\right)<tf\left(x_{1}\right)+(1-t)f\left(x_{2}\right)}$$

厳密に凸な関数とは、曲線上の任意の2点を結ぶ直線が、直線と曲線の交点を除き、曲線より上に位置する関数です。凸関数でありながら厳密に凸ではない関数の例としては、があります。この関数は厳密に凸ではありません。なぜなら、x座標を共有する2点の間には直線が存在します。一方、x座標を共有しない2点の関数の値は、その間の点よりも大きくなるからです。 ${\displaystyle f}$ ${\displaystyle f}$ ${\displaystyle f}$ ${\displaystyle f(x,y)=x^{2}+y}$

（−1 を乗じた値）が凸関数（または厳密に凸関数）である場合、関数は凹関数（または厳密に凹関数）であると言われます。 ${\displaystyle f}$ ${\displaystyle -f}$ ${\displaystyle f}$

代替命名

凸型という用語は、しばしば下向き凸型または上向き凸型と呼ばれ、凹型という用語は、しばしば下向き凹型または上向き凸型と呼ばれます。^{[3] [4] [5]}「凸型」という用語が「上」または「下」というキーワードなしで使用されている場合、それはカップ型のグラフのみを指します。例えば、ジェンセンの不等式は、凸関数または凸（下向き）関数を含む不等式を指します。^[6] ${\displaystyle \cup }$

プロパティ

凸関数の多くの性質は、多変数関数の場合も一変数関数の場合と同様に単純な定式化が可能です。一変数関数では記載されていない性質もあるため、多変数の場合については以下を参照してください。

1変数関数

• が区間上で定義された1つの実変数の関数であるとし、 （は最初の図の紫色の線の傾きであることに注意。関数がで対称であるということは、 とを交換しても が変化しないことを意味する）。が凸であることと、が任意の固定値に対してで単調非減少であること（またはその逆）は同値である。この凸性の特徴付けは、以下の結果を証明するのに非常に役立つ。 ${\displaystyle f}$ $${\displaystyle R(x_{1},x_{2})={\frac {f(x_{2})-f(x_{1})}{x_{2}-x_{1}}}}$$ ${\displaystyle R(x_{1},x_{2})}$ ${\displaystyle R}$ ${\displaystyle (x_{1},x_{2}),}$ ${\displaystyle R}$ ${\displaystyle x_{1}}$ ${\displaystyle x_{2}}$ ${\displaystyle f}$ ${\displaystyle R(x_{1},x_{2})}$ ${\displaystyle x_{1},}$ ${\displaystyle x_{2}}$
• ある開区間上で定義された実数1変数の凸関数は、上で連続である。さらに、は左微分と右微分を許し、これらは単調に非減少である。さらに、左微分は左連続であり、右微分は右連続である。結果として、は最大で可算な点を除いて全く微分可能であるが、 上の が微分不可能な集合は依然として稠密である可能性がある。が閉である場合、は の端点で連続ではない可能性がある（例は例のセクションに示されている）。 ${\displaystyle f}$ ${\displaystyle C}$ ${\displaystyle C}$ ${\displaystyle f}$ ${\displaystyle f}$ ${\displaystyle f}$ ${\displaystyle C}$ ${\displaystyle f}$ ${\displaystyle C}$
• 一変数の微分可能関数が区間上で凸関数となる場合と、その導関数がその区間上で単調非減少となる場合とが同値である。関数が微分可能かつ凸関数である場合、それは連続的に微分可能である。
• 1変数の微分可能関数が区間上で凸であるための必要十分条件は、そのグラフがそのすべての接線の上にある場合である: ^{[7] : 69} 区間内のすべてのに対して、かつ区間内である。 $${\displaystyle f(x)\geq f(y)+f'(y)(x-y)}$$ ${\displaystyle x}$ ${\displaystyle y}$
• 一変数の二回微分可能な関数が区間上で凸関数となる場合、かつその区間において二回微分可能な関数が非負となる場合に限ります。これは凸関数の実際的なテストとなります。視覚的には、二回微分可能な凸関数は「上向きに曲がる」ものであり、反対方向に曲がることはありません（変曲点）。二回微分がすべての点で正であれば関数は厳密に凸ですが、逆は成り立ちません。例えば、 の二回微分はであり、ではゼロですが厳密に凸です。 ${\displaystyle f(x)=x^{4}}$ ${\displaystyle f''(x)=12x^{2}}$ ${\displaystyle x=0,}$ ${\displaystyle x^{4}}$
  • この特性と「...その導関数は単調に非減少である...」という上記特性は等しくありません。なぜなら、が区間上で非負である場合、は 上で単調に非減少ですが、その逆は真ではないからです。たとえば、 は上で単調に非減少ですが、のいくつかの点でその導関数は定義されていません。 ${\displaystyle f''}$ ${\displaystyle X}$ ${\displaystyle f'}$ ${\displaystyle X}$ ${\displaystyle f'}$ ${\displaystyle X}$ ${\displaystyle f''}$ ${\displaystyle X}$
• が 1 つの実変数の凸関数であり、 である場合、 は正の実数上で超加法的であり、つまり、正の実数およびに対して となります。 ${\displaystyle f}$ ${\displaystyle f(0)\leq 0}$ ${\displaystyle f}$ ${\displaystyle f(a+b)\geq f(a)+f(b)}$ ${\displaystyle a}$ ${\displaystyle b}$

証拠

は凸なので、上記の凸関数定義の 1 つを使用して とすると、すべての実数 に対して が成り立ちます。から、 が成り立ちます。 つまり、です。 ${\displaystyle f}$ ${\displaystyle x_{2}=0,}$ ${\displaystyle 0\leq t\leq 1,}$ $${\displaystyle {\begin{aligned}f(tx_{1})&=f(tx_{1}+(1-t)\cdot 0)\\&\leq tf(x_{1})+(1-t)f(0)\\&\leq tf(x_{1}).\\\end{aligned}}}$$ ${\displaystyle f(tx_{1})\leq tf(x_{1})}$ $${\displaystyle {\begin{aligned}f(a)+f(b)&=f\left((a+b){\frac {a}{a+b}}\right)+f\left((a+b){\frac {b}{a+b}}\right)\\&\leq {\frac {a}{a+b}}f(a+b)+{\frac {b}{a+b}}f(a+b)\\&=f(a+b).\\\end{aligned}}}$$ ${\displaystyle f(a)+f(b)\leq f(a+b)}$

• 関数が区間上で中点凸であるとは、すべての に対して であることを意味する。この条件は凸性よりもわずかに弱い。例えば、中点凸である実数値ルベーグ可測関数は凸である。これはシェルピンスキーの定理である。^[8]特に、中点凸である連続関数は凸となる。 ${\displaystyle f}$ ${\displaystyle C}$ ${\displaystyle x_{1},x_{2}\in C}$ $${\displaystyle f\!\left({\frac {x_{1}+x_{2}}{2}}\right)\leq {\frac {f(x_{1})+f(x_{2})}{2}}.}$$

多変数関数

• 各変数において周辺凸関数である関数は、必ずしも（共同）凸関数であるとは限りません。例えば、関数は各変数において周辺線形であり、したがって周辺凸関数ですが、（共同）凸関数ではありません。 ${\displaystyle f(x,y)=xy}$
• 拡張実数で値を取る関数は、そのエピグラフが凸集合である場合に限り凸です。 ${\displaystyle f:X\to [-\infty ,\infty ]}$ ${\displaystyle [-\infty ,\infty ]=\mathbb {R} \cup \{\pm \infty \}}$ $${\displaystyle \{(x,r)\in X\times \mathbb {R} ~:~r\geq f(x)\}}$$
• 凸領域で定義された微分可能関数は、領域内のすべての場合に成立する場合に限り凸です。 ${\displaystyle f}$ ${\displaystyle f(x)\geq f(y)+\nabla f(y)^{T}\cdot (x-y)}$ ${\displaystyle x,y}$
• 複数変数の二回微分可能な関数が凸集合上で凸となるのは、その関数の 2 番目の偏導関数のヘッセ行列が凸集合の内部で半正定値となる場合のみです。
• 凸関数の場合、部分集合とは凸集合となる。この性質を満たす関数は準凸関数と呼ばれ、凸関数ではない場合もある。 ${\displaystyle f,}$ ${\displaystyle \{x:f(x)<a\}}$ ${\displaystyle \{x:f(x)\leq a\}}$ ${\displaystyle a\in \mathbb {R} }$
• したがって、凸関数の大域的最小化集合は凸集合です: - 凸。 ${\displaystyle f}$ ${\displaystyle {\operatorname {argmin} }\,f}$
• 凸関数の任意の局所最小値は、大域最小値でもある。厳密に凸な関数は、大域最小値を最大で1つしか持たない。^[9]
• ジェンセンの不等式は、あらゆる凸関数 に当てはまります。 が の領域で値を取る確率変数である場合、は数学的期待値を表します。実際、凸関数とは、ジェンセンの不等式の仮定を満たす関数です。 ${\displaystyle f}$ ${\displaystyle X}$ ${\displaystyle f,}$ ${\displaystyle \operatorname {E} (f(X))\geq f(\operatorname {E} (X)),}$ ${\displaystyle \operatorname {E} }$
• 2つの正の変数の1次同次関数（つまり、すべての正の実数に対してを満たす関数）で、一方の変数に凸な関数は、もう一方の変数にも凸でなければならない。^[10] ${\displaystyle x}$ ${\displaystyle y,}$ ${\displaystyle f(ax,ay)=af(x,y)}$ ${\displaystyle a,x,y>0}$

凸性を保つ操作

• ${\displaystyle -f}$が凹であるとき、かつ が凸であるときのみ。 ${\displaystyle f}$
• が任意の実数である場合、は凸であり、かつ が凸である場合に限ります。 ${\displaystyle r}$ ${\displaystyle r+f}$ ${\displaystyle f}$
• 非負の加重合計:
  • と がすべて凸関数である場合、 も凸関数です。特に、2 つの凸関数の和は凸関数です。 ${\displaystyle w_{1},\ldots ,w_{n}\geq 0}$ ${\displaystyle f_{1},\ldots ,f_{n}}$ ${\displaystyle w_{1}f_{1}+\cdots +w_{n}f_{n}.}$
  • この特性は、無限和、積分、期待値（存在する場合）にも適用されます。
• 要素ごとの最大値： を凸関数の集合とする。すると は凸となる。 の定義域は、式が有限となる点の集合である。重要な特殊例： ${\displaystyle \{f_{i}\}_{i\in I}}$ ${\displaystyle g(x)=\sup \nolimits _{i\in I}f_{i}(x)}$ ${\displaystyle g(x)}$
  • が凸関​​数であるならば、 ${\displaystyle f_{1},\ldots ,f_{n}}$ ${\displaystyle g(x)=\max \left\{f_{1}(x),\ldots ,f_{n}(x)\right\}.}$
  • ダンスキンの定理: が で凸であれば、が凸集合でなくても はで凸です。 ${\displaystyle f(x,y)}$ ${\displaystyle x}$ ${\displaystyle g(x)=\sup \nolimits _{y\in C}f(x,y)}$ ${\displaystyle x}$ ${\displaystyle C}$
• 構成：
  • とが凸関数であり、が単変数領域上で非減少である場合、は凸です。例えば、が凸である場合、は凸かつ単調増加であるため、も凸です。 ${\displaystyle f}$ ${\displaystyle g}$ ${\displaystyle g}$ ${\displaystyle h(x)=g(f(x))}$ ${\displaystyle f}$ ${\displaystyle e^{f(x)}}$ ${\displaystyle e^{x}}$
  • が凹で、単変数領域上で凸かつ非増加である場合、は凸です。 ${\displaystyle f}$ ${\displaystyle g}$ ${\displaystyle h(x)=g(f(x))}$
  • 凸性はアフィン写像の下で不変である。つまり、 が領域 に対して凸であれば も凸であり、領域 に対しては ${\displaystyle f}$ ${\displaystyle D_{f}\subseteq \mathbf {R} ^{m}}$ ${\displaystyle g(x)=f(Ax+b)}$ ${\displaystyle A\in \mathbf {R} ^{m\times n},b\in \mathbf {R} ^{m}}$ ${\displaystyle D_{g}\subseteq \mathbf {R} ^{n}.}$
• 最小化:が で凸ならば がで凸であり、が凸集合であり、 ${\displaystyle f(x,y)}$ ${\displaystyle (x,y)}$ ${\displaystyle g(x)=\inf \nolimits _{y\in C}f(x,y)}$ ${\displaystyle x,}$ ${\displaystyle C}$ ${\displaystyle g(x)\neq -\infty .}$
• が凸である場合、ドメインとの観点も凸です。 ${\displaystyle f}$ ${\displaystyle g(x,t)=tf\left({\tfrac {x}{t}}\right)}$ ${\displaystyle \left\{(x,t):{\tfrac {x}{t}}\in \operatorname {Dom} (f),t>0\right\}}$
• をベクトル空間とする。は凸であり、任意の非負実数に対してを満たす場合のみを満たす。 ${\displaystyle X}$ ${\displaystyle f:X\to \mathbf {R} }$ ${\displaystyle f(0)\leq 0}$ ${\displaystyle f(ax+by)\leq af(x)+bf(y)}$ ${\displaystyle x,y\in X}$ ${\displaystyle a,b}$ ${\displaystyle a+b\leq 1.}$

強凸関数

強凸性の概念は、厳密な凸性の概念を拡張し、パラメータ化する。直感的には、強凸関数とは、二次関数と同じ速さで増加する関数である。^[11]強凸関数は厳密凸関数でもあるが、その逆は成り立たない。1次元関数が2回連続微分可能であり、定義域が実数直線である場合、次のように特徴付けることができる。 ${\displaystyle f}$

• ${\displaystyle f}$凸であること、そしてその場合のみ、すべての ${\displaystyle f''(x)\geq 0}$ ${\displaystyle x.}$
• ${\displaystyle f}$すべてに対して厳密に凸であれば(注: これは十分ですが、必須ではありません)。 ${\displaystyle f''(x)>0}$ ${\displaystyle x}$
• ${\displaystyle f}$強凸であることは、すべての ${\displaystyle f''(x)\geq m>0}$ ${\displaystyle x.}$

例えば、 が厳密に凸であり、となる点の列があるとします。 であっても、が任意に小さくなるため、この関数は強凸ではありません。 ${\displaystyle f}$ ${\displaystyle (x_{n})}$ ${\displaystyle f''(x_{n})={\tfrac {1}{n}}}$ ${\displaystyle f''(x_{n})>0}$ ${\displaystyle f''(x)}$

より一般的には、微分可能関数がパラメータ に対して強凸であるとは、その定義域内のすべての点に対して次の不等式が成立する場合を言う：^[12]あるいは、より一般的には、は任意の内積、 は対応するノルムである。 ^[13]などの一部の著者は、この不等式を満たす関数を楕円関数と呼んでいる。 ${\displaystyle f}$ ${\displaystyle m>0}$ ${\displaystyle x,y}$ $${\displaystyle (\nabla f(x)-\nabla f(y))^{T}(x-y)\geq m\|x-y\|_{2}^{2}}$$ $${\displaystyle \langle \nabla f(x)-\nabla f(y),x-y\rangle \geq m\|x-y\|^{2}}$$ ${\displaystyle \langle \cdot ,\cdot \rangle }$ ${\displaystyle \|\cdot \|}$

同等の条件は次の通りである: ^[14] $${\displaystyle f(y)\geq f(x)+\nabla f(x)^{T}(y-x)+{\frac {m}{2}}\|y-x\|_{2}^{2}}$$

関数が強凸関数であるためには、必ずしも微分可能である必要はない。パラメータ付きの強凸関数の3つ目の定義^[14]は、定義域内のすべての関数に対して、 ${\displaystyle m,}$ ${\displaystyle x,y}$ ${\displaystyle t\in [0,1],}$ $${\displaystyle f(tx+(1-t)y)\leq tf(x)+(1-t)f(y)-{\frac {1}{2}}mt(1-t)\|x-y\|_{2}^{2}}$$

この定義は、 のときの厳密な凸性の定義に近づき、 のときの凸関数の定義と同一であることに注意してください。これにもかかわらず、厳密に凸であるが、任意の に対して強凸ではない関数が存在します(以下の例を参照)。 ${\displaystyle m\to 0,}$ ${\displaystyle m=0.}$ ${\displaystyle m>0}$

関数が二回連続的に微分可能な場合、定義域内のすべての に対して となる場合、かつその場合に限り、パラメータ に対して強凸関数となります。ここで は恒等関数、 はヘッセ行列であり、不等式はが半正定値であることを意味します。これは、すべての に対しての最小固有値が少なくとも となることを要求するのと同等です。定義域が実数直線である場合、 は二階微分であるため、条件は となります。の場合、これはヘッセ行列が半正定値であること（または定義域が実数直線である場合、 であることを意味する）を意味し、これは関数が凸関数であり、おそらく厳密に凸であるが、強凸ではないことを意味します。 ${\displaystyle f}$ ${\displaystyle m}$ ${\displaystyle \nabla ^{2}f(x)\succeq mI}$ ${\displaystyle x}$ ${\displaystyle I}$ ${\displaystyle \nabla ^{2}f}$ ${\displaystyle \succeq }$ ${\displaystyle \nabla ^{2}f(x)-mI}$ ${\displaystyle \nabla ^{2}f(x)}$ ${\displaystyle m}$ ${\displaystyle x.}$ ${\displaystyle \nabla ^{2}f(x)}$ ${\displaystyle f''(x),}$ ${\displaystyle f''(x)\geq m}$ ${\displaystyle m=0}$ ${\displaystyle f''(x)\geq 0}$

関数が2回連続微分可能であると仮定すると、 の下限値は関数が強凸性を持つことを意味することが示されます。テイラーの定理を用いると、が存在することがわかります。そして、固有値に関する仮定により、 となり、したがって上記の2番目の強凸性方程式が復元されます。 ${\displaystyle \nabla ^{2}f(x)}$ $${\displaystyle z\in \{tx+(1-t)y:t\in [0,1]\}}$$ $${\displaystyle f(y)=f(x)+\nabla f(x)^{T}(y-x)+{\frac {1}{2}}(y-x)^{T}\nabla ^{2}f(z)(y-x)}$$ $${\displaystyle (y-x)^{T}\nabla ^{2}f(z)(y-x)\geq m(y-x)^{T}(y-x)}$$

関数が凸である場合に限り、関数はパラメータmを持つ強凸です。 ${\displaystyle f}$ $${\displaystyle x\mapsto f(x)-{\frac {m}{2}}\|x\|^{2}}$$

コンパクト領域上の2回連続微分可能関数であって、すべての関数に対してを満たすものは、強凸関数である。この命題の証明は、コンパクト集合上の連続関数には最大値と最小値が存在することを述べる極値定理から導かれる。 ${\displaystyle f}$ ${\displaystyle X}$ ${\displaystyle f''(x)>0}$ ${\displaystyle x\in X}$

強凸関数は、クラスが小さいため、凸関数や厳密凸関数よりも扱いやすいのが一般的です。厳密凸関数と同様に、強凸関数はコンパクト集合上で唯一の最小値を持ちます。

強凸関数の性質

fがパラメータmを持つ強凸関数である場合、次式が成り立つ: ^{[15] : Prop.6.1.4}

• あらゆる実数rに対して、レベルセット{ x | f ( x ) ≤ r } はコンパクトです。
• 関数fはR ⁿ上で一意の最小値を持ちます。

一様凸関数

一様凸関数^{[16] [17]}は、を法として、定義域内のすべてのに対して、が成り立つ関数である。ここで、は非負で0でのみゼロになる関数である。これは、強凸関数の概念の一般化であり、をとることで、強凸性の定義を回復する。 ${\displaystyle \phi }$ ${\displaystyle f}$ ${\displaystyle x,y}$ ${\displaystyle t\in [0,1],}$ $${\displaystyle f(tx+(1-t)y)\leq tf(x)+(1-t)f(y)-t(1-t)\phi (\|x-y\|)}$$ ${\displaystyle \phi }$ ${\displaystyle \phi (\alpha )={\tfrac {m}{2}}\alpha ^{2}}$

注目すべきは、一部の著者は係数が増加関数であることを要求しているが^[17]、この条件はすべての著者によって要求されているわけではないことである^{[16] 。} ${\displaystyle \phi }$

例

1変数関数

• 関数fはとなるので、凸関数である。また、強凸関数（したがって厳密凸関数でもある）であり、強凸性定数は 2 である。 ${\displaystyle f(x)=x^{2}}$ ${\displaystyle f''(x)=2>0}$
• 関数fはなので、凸関数である。2階微分がすべての点で厳密に正ではないにもかかわらず、f は厳密に凸である。ただし、強凸ではない。 ${\displaystyle f(x)=x^{4}}$ ${\displaystyle f''(x)=12x^{2}\geq 0}$
• 絶対値関数は、点 で導関数を持たないにもかかわらず、凸関数です (三角不等式に反映されているように) 。厳密には凸関数ではありません。 ${\displaystyle f(x)=|x|}$ ${\displaystyle x=0.}$
• の関数は凸関数です。 ${\displaystyle f(x)=|x|^{p}}$ ${\displaystyle p\geq 1}$
• 指数関数は 凸関数である。 であるので、厳密に凸関数でもあるが、二階微分が任意にゼロに近づく可能性があるため、強凸関数ではない。より一般的には、 が凸関数である場合、この関数は対数的に凸関数である。代わりに「超凸」という用語が使われることもある。^[18] ${\displaystyle f(x)=e^{x}}$ ${\displaystyle f''(x)=e^{x}>0}$ ${\displaystyle g(x)=e^{f(x)}}$ ${\displaystyle f}$
• によって定義される定義域 [0,1] の関数は凸関数です。つまり、開区間では連続ですが、0 と 1 では連続ではありません。 ${\displaystyle f}$ ${\displaystyle f(0)=f(1)=1,f(x)=0}$ ${\displaystyle 0<x<1}$ ${\displaystyle (0,1),}$
• この関数は2階微分を持つ。したがって、 の集合では凸であり、の集合では凹である。 ${\displaystyle x^{3}}$ ${\displaystyle 6x}$ ${\displaystyle x\geq 0}$ ${\displaystyle x\leq 0.}$
• 単調増加だが凸ではない関数の例には、およびが含まれます。 ${\displaystyle f(x)={\sqrt {x}}}$ ${\displaystyle g(x)=\log x}$
• 凸関数だが単調増加ではない関数の例としては、 や などがあります。 ${\displaystyle h(x)=x^{2}}$ ${\displaystyle k(x)=-x}$
• 関数 は（0より大きい）を持ち、そうであれば区間 上で凸関数である。区間 上では凹関数である。 ${\displaystyle f(x)={\tfrac {1}{x}}}$ ${\displaystyle f''(x)={\tfrac {2}{x^{3}}}}$ ${\displaystyle x>0}$ ${\displaystyle f(x)}$ ${\displaystyle (0,\infty )}$ ${\displaystyle (-\infty ,0)}$
• の関数は、区間 で凸であり、区間 で凸であるが、区間 で凸ではない。これは、 における特異点のためである。 ${\displaystyle f(x)={\tfrac {1}{x^{2}}}}$ ${\displaystyle f(0)=\infty }$ ${\displaystyle (0,\infty )}$ ${\displaystyle (-\infty ,0)}$ ${\displaystyle (-\infty ,\infty )}$ ${\displaystyle x=0.}$

の機能n変数

• LogSumExp関数は、ソフトマックス関数とも呼ばれ、凸関数です。
• 正定値行列の領域上の関数は凸関数である。^{[7] : 74} ${\displaystyle -\log \det(X)}$
• すべての実数値線形変換は凸変換であるが、厳密には凸変換ではない。なぜなら、 が線形ならば となるからである。この記述は、「凸」を「凹」に置き換えても成立する。 ${\displaystyle f}$ ${\displaystyle f(a+b)=f(a)+f(b)}$
• すべての実数値アフィン関数、つまり形式の各関数は同時に凸関数と凹関数である。 ${\displaystyle f(x)=a^{T}x+b,}$
• 三角不等式と正同次性により、すべてのノルムは凸関数です。
• 非負行列のスペクトル半径はその対角要素の凸関数である。^[19]

参照

• 凹関数
• 凸解析
• 凸共役
• 凸曲線
• 凸最適化
• 測地凸面
• ハーン・バナッハの定理
• エルミート・アダマール不等式
• Invex関数
• ジェンセンの不等式
• K凸関数
• カチュロフスキーの定理は、凸性と微分の単調性を関連付けるものである。
• カラマタの不等式
• 対数凸関数
• 擬凸関数
• 準凸関数
• 凸関数のサブ微分

注記

1. 「講義ノート2」（PDF） www.stat.cmu.edu 2017年3月3日閲覧。
2. “Concave Upward and Downward”. 2013年12月18日時点のオリジナルよりアーカイブ。
3. スチュワート、ジェームズ (2015).微積分学（第8版）. Cengage Learning. pp.  223– 224. ISBN 978-1305266643。
4. W. ハミング、リチャード (2012). 『微積分、確率、統計への数学の応用法』（イラスト入り）クーリエ社、227頁。ISBN 978-0-486-13887-9。227ページの抜粋
5. ウヴァロフ、ヴァシリー・ボリソヴィッチ (1988). 数学解析. ミール出版社. p. 126-127. ISBN 978-5-03-000500-3。
6. プリューゲル＝ベネット、アダム（2020年）『工学とコンピュータサイエンスのための確率論』（イラスト版）ケンブリッジ大学出版局、160頁。ISBN 978-1-108-48053-6。160ページの抜粋
7. Boyd, Stephen P.; Vandenberghe, Lieven (2004). 凸最適化(pdf) . Cambridge University Press. ISBN 978-0-521-83378-3. 2011年10月15日閲覧。
8. ドノヒュー、ウィリアム・F. (1969). 分布とフーリエ変換. アカデミック・プレス. p. 12. ISBN 9780122206504. 2012年8月29日閲覧。
9. 「凸集合において f が厳密に凸である場合、最小値は1つ以下であることを示せ」。Math StackExchange. 2013年3月21日. 2016年5月14日閲覧。
10. Altenberg, L., 2012. 「解決可能な正の線形作用素は縮約現象を示す」米国科学アカデミー紀要、109(10)、pp.3705-3710。
11. 「強い凸状性 · Xingyu Zhouのブログ」xingyuzhou.org . 2023年9月27日閲覧。
12. Dimitri Bertsekas (2003).凸解析と最適化. 共著者: Angelia Nedic, Asuman E. Ozdaglar. Athena Scientific. p. 72. ISBN 9781886529458。
13. Philippe G. Ciarlet (1989).数値線形代数と最適化入門. Cambridge University Press. ISBN 9780521339841。
14. Yurii Nesterov (2004).凸最適化入門講義：基礎コース. Kluwer Academic Publishers. pp. 63–64. ISBN 9781402075537。
15. NemirovskyとBen-Tal (2023).「最適化III：凸最適化」（PDF） .
16. C. Zalinescu (2002).一般ベクトル空間における凸解析. World Scientific. ISBN 9812380671。
17. H. BauschkeとP.L. Combettes (2011).ヒルベルト空間における凸解析と単調作用素理論. Springer. p. 144. ISBN 978-1-4419-9467-7。
18. Kingman, JFC (1961). 「正行列の凸性」.季刊数学誌. 12 : 283–284 . Bibcode :1961QJMat..12..283K. doi :10.1093/qmath/12.1.283.
19. Cohen, JE, 1981. 本質的に非負な行列の支配的固有値の凸性. アメリカ数学会誌, 81(4), pp.657-658.

参考文献

• Bertsekas, Dimitri (2003).凸解析と最適化. Athena Scientific.
• Borwein, Jonathan、Lewis, Adrian. (2000). 凸解析と非線形最適化. Springer.
• ドノヒュー、ウィリアム・F. (1969).分布とフーリエ変換. アカデミック・プレス.
• Hiriart-Uruty、Jean-Baptiste、およびLemaréchal、Claude。 (2004)。凸分析の基礎。ベルリン：シュプリンガー。
• Krasnosel'skii MA、Rutickii Ya.B. （1961年）。凸関数と Orlicz 空間。フローニンゲン: P.Noordhoff Ltd.
• ローリッツェン、ニールス (2013).学部生の凸状性. World Scientific Publishing.
• Luenberger, David (1984).線形計画法と非線形計画法. Addison-Wesley.
• Luenberger, David (1969).ベクトル空間法による最適化. Wiley & Sons.
• ロッカフェラー, RT (1970).凸解析. プリンストン: プリンストン大学出版局.
• トムソン、ブライアン（1994）『実関数の対称性』 CRCプレス。
• Zălinescu, C. (2002).一般ベクトル空間における凸解析. ニュージャージー州リバーエッジ: World Scientific Publishing Co., Inc. pp. xx+367. ISBN 981-238-067-1. MR  1921556。

外部リンク

• 「凸関数（実変数）」数学百科事典、EMSプレス、2001 [1994]
• 「凸関数（複素変数）」数学百科事典、EMSプレス、2001 [1994]

Retrieved from "https://en.wikipedia.org/w/index.php?title=Convex_function&oldid=1312188777"