fダイバージェンス

Function that measures dissimilarity between two probability distributions

確率論において、 -ダイバージェンスとは、2つの確率分布と の差を測定する特定の種類の関数です。KLダイバージェンス、ヘリンガー距離、全変動距離など、多くの一般的なダイバージェンスは、 -ダイバージェンスの特殊なケースです。 ${\displaystyle f}$ ${\displaystyle D_{f}(P\|Q)}$ ${\displaystyle P}$ ${\displaystyle Q}$ ${\displaystyle f}$

歴史

これらのダイバージェンスは、アルフレッド・レーニ^[1]によって、よく知られたレーニエントロピーを 導入した同じ論文で導入されました。彼は、これらのダイバージェンスがマルコフ過程において減少することを証明しました。fダイバージェンスは、Csiszár (1963)、Morimoto (1963)、Ali & Silvey (1966)によって独立に研究され、Csiszárダイバージェンス、Csiszár–Morimotoダイバージェンス、またはAli–Silvey距離と呼ばれることもあります。 ${\displaystyle f}$

意味

非特異ケース

空間 上の2つの確率分布と を、に関して絶対連続（つまり のどこであっても）となるようなものとしよう。すると、 、 、 （無限大となる可能性もある）のすべてに対して有限となる凸関数に対して、からへの-発散は次のように定義される 。 ${\displaystyle P}$ ${\displaystyle Q}$ ${\displaystyle \Omega }$ ${\displaystyle P\ll Q}$ ${\displaystyle P}$ ${\displaystyle Q}$ ${\displaystyle Q>0}$ ${\displaystyle P>0}$ ${\displaystyle f:[0,+\infty )\to (-\infty ,+\infty ]}$ ${\displaystyle f(x)}$ ${\displaystyle x>0}$ ${\displaystyle f(1)=0}$ ${\displaystyle f(0)=\lim _{t\to 0^{+}}f(t)}$ ${\displaystyle f}$ ${\displaystyle P}$ ${\displaystyle Q}$

${\displaystyle D_{f}(P\parallel Q)\equiv \int _{\Omega }f\left({\frac {dP}{dQ}}\right)\,dQ.}$

のジェネレータを と呼びます。 ${\displaystyle f}$ ${\displaystyle D_{f}}$

具体的な応用では、には通常参照分布（例えば のとき、参照分布はルベーグ測度）が存在し、 となる。この場合、ラドン・ニコディムの定理を用いてそれらの確率密度およびをとって、 ${\displaystyle \mu }$ ${\displaystyle \Omega }$ ${\displaystyle \Omega =\mathbb {R} ^{n}}$ ${\displaystyle P,Q\ll \mu }$ ${\displaystyle p}$ ${\displaystyle q}$

${\displaystyle D_{f}(P\parallel Q)=\int _{\Omega }f\left({\frac {p(x)}{q(x)}}\right)q(x)\,d\mu (x).}$

そのような参照分布が手元にない場合は、単に を定義して、上記と同じように進めることができます。これは、より抽象的な証明において有用な手法です。 ${\displaystyle \mu =P+Q}$

拡張特異な対策

上記の定義は、が満たされなくなった場合にも拡張できる（ ^[2]の定義7.1 ）。 ${\displaystyle P\ll Q}$

は凸関数であり、 であるため、関数は非減少でなければならないため、 が存在し、 に値を取ります。 ${\displaystyle f}$ ${\displaystyle f(1)=0}$ ${\displaystyle {\frac {f(x)}{x-1}}}$ ${\displaystyle f'(\infty ):=\lim _{x\to \infty }f(x)/x}$ ${\displaystyle (-\infty ,+\infty ]}$

任意の に対して が成り立つため、f ダイバージェンスを に拡張できます。 ${\displaystyle p(x)>0}$ ${\displaystyle \lim _{q(x)\to 0}q(x)f\left({\frac {p(x)}{q(x)}}\right)=p(x)f'(\infty )}$ ${\displaystyle P\not \ll Q}$

プロパティ

fダイバージェンス間の基本的な関係

• 線形性:非負の実数と生成子の有限シーケンスが与えられます。 ${\displaystyle D_{\sum _{i}a_{i}f_{i}}=\sum _{i}a_{i}D_{f_{i}}}$ ${\displaystyle a_{i}}$ ${\displaystyle f_{i}}$

• ${\displaystyle D_{f}=D_{g}}$何らかの の場合に限ります。 ${\displaystyle f(x)=g(x)+c(x-1)}$ ${\displaystyle c\in \mathbb {R} }$

証拠

ならば、定義により。 ${\displaystyle f(x)=g(x)+c(x-1)}$ ${\displaystyle D_{f}=D_{g}}$

逆に、 ならば とする。集合 上の任意の2つの確率測度について、 なので、 ${\displaystyle D_{f}-D_{g}=0}$ ${\displaystyle h=f-g}$ ${\displaystyle P,Q}$ ${\displaystyle \{0,1\}}$ ${\displaystyle D_{f}(P\|Q)-D_{g}(P\|Q)=0}$ ${\displaystyle h(P_{1}/Q_{1})=-{\frac {Q_{0}}{Q_{1}}}h(P_{0}/Q_{0})}$

それぞれの確率測度には自由度が 1 つあるため、のあらゆる選択について解くことができます。 ${\displaystyle P,Q}$ ${\displaystyle {\frac {P_{0}}{Q_{0}}}=a,{\frac {P_{1}}{Q_{1}}}=x}$ ${\displaystyle 0<a<1<x}$

線型代数により が得られ、これは有効な確率測度である。そして を得る。 ${\displaystyle Q_{0}={\frac {x-1}{x-a}},Q_{1}={\frac {1-a}{x-a}}}$ ${\displaystyle h(x)={\frac {h(a)}{a-1}}(x-1),h(a)={\frac {h(x)}{x-1}}(a-1)}$

したがって、 いくつかの定数 の場合、式を に代入すると となります。 ${\displaystyle h(x)={\begin{cases}c_{1}(x-1)\quad {\text{if }}x>1,\\c_{0}(x-1)\quad {\text{if }}0<x<1,\\\end{cases}}}$ ${\displaystyle c_{0},c_{1}}$ ${\displaystyle h(x)={\frac {h(a)}{a-1}}(x-1)}$ ${\displaystyle c_{0}=c_{1}}$

fダイバージェンスの基本特性

• 非負性：ƒ発散は常に正である。測度PとQが一致する場合、ƒ 発散はゼロとなる。これはジェンセンの不等式から直ちに導かれる。

  ${\displaystyle D_{f}(P\!\parallel \!Q)=\int \!f{\bigg (}{\frac {dP}{dQ}}{\bigg )}dQ\geq f{\bigg (}\int {\frac {dP}{dQ}}dQ{\bigg )}=f(1)=0.}$

• データ処理不等式：κが_測度PとQを_{それぞれPκ}とQκに変換する任意の遷移確率である場合、
  ${\displaystyle D_{f}(P\!\parallel \!Q)\geq D_{f}(P_{\kappa }\!\parallel \!Q_{\kappa }).}$
  ここでの等式は、遷移が{ P、Q }に関する十分な統計量から誘導される場合にのみ成立します。
• ジョイント凸性：任意の0 ≤ λ ≤ 1に対して、

  ${\displaystyle D_{f}{\Big (}\lambda P_{1}+(1-\lambda )P_{2}\parallel \lambda Q_{1}+(1-\lambda )Q_{2}{\Big )}\leq \lambda D_{f}(P_{1}\!\parallel \!Q_{1})+(1-\lambda )D_{f}(P_{2}\!\parallel \!Q_{2}).}$

  これは上の写像の凸性から導かれます。 ${\displaystyle (p,q)\mapsto qf(p/q)}$ ${\displaystyle \mathbb {R} _{+}^{2}}$
• 凸反転による反転：任意の関数 に対して、その凸反転は と定義されます。が f-ダイバージェンス生成子の定義特性（ 、 、 に対して有限）を満たす場合、は同じ特性を満たし、したがって f-ダイバージェンス を定義します。これは の「逆」であり、互いに絶対連続であるすべての に対してが となるという意味です。このように、すべての f-ダイバージェンスはによって対称化できます。例えば、この対称化を行うと、KL-ダイバージェンスは Jeffreys ダイバージェンス に変換されます。 ${\displaystyle f}$ ${\displaystyle g(t):=tf(1/t)}$ ${\displaystyle f}$ ${\displaystyle f(x)}$ ${\displaystyle x>0}$ ${\displaystyle f(1)=0}$ ${\displaystyle f(0)=\lim _{t\to 0^{+}}f(t)}$ ${\displaystyle g}$ ${\displaystyle D_{g}}$ ${\displaystyle D_{f}}$ ${\displaystyle D_{g}(P\|Q)=D_{f}(Q\|P)}$ ${\displaystyle P,Q}$ ${\displaystyle D_{f}}$ ${\displaystyle D_{{\frac {1}{2}}(f+g)}}$

特に、単調性とは、マルコフ過程が正の均衡確率分布を持つ場合、 が時間の単調（非増加）関数であることを意味します。ここで、確率分布は、マルコフ過程における確率分布の時間発展を記述するために使用されるコルモゴロフ順方向方程式（またはマスター方程式）の解です。これは、すべてのfダイバージェンスがコルモゴロフ順方向方程式のリャプノフ関数であることを意味します。逆の命題も真です。 が正の均衡を持つすべてのマルコフ連鎖のリャプノフ関数であり、 がトレース形式（）である場合、何らかの凸関数fに対して が成り立ちます。^{[3] [4]}たとえば、ブレグマン ダイバージェンスは一般にこのような特性を持たず、マルコフ過程で増加する可能性があります。^[5] ${\displaystyle P^{*}}$ ${\displaystyle D_{f}(P(t)\parallel P^{*})}$ ${\displaystyle P(t)}$ ${\displaystyle D_{f}(P(t)\parallel P^{*})}$ ${\displaystyle H(P)}$ ${\displaystyle P^{*}}$ ${\displaystyle H(P)=\sum _{i}f(P_{i},P_{i}^{*})}$ ${\displaystyle H(P)=D_{f}(P(t)\parallel P^{*})}$

分析特性

f ダイバージェンスはテイラー級数を使用して表現でき、カイ二乗距離の加重和を使用して書き直すことができます (Nielsen & Nock (2013))。

基本的な変分表現

を の凸共役とする。をの 有効定義域、つまりとすると、 の2つの変分表現が得られる。これらについては後述する。 ${\displaystyle f^{*}}$ ${\displaystyle f}$ ${\displaystyle \mathrm {effdom} (f^{*})}$ ${\displaystyle f^{*}}$ ${\displaystyle \mathrm {effdom} (f^{*})=\{y:f^{*}(y)<\infty \}}$ ${\displaystyle D_{f}}$

上記の設定では、

定理—。 ${\displaystyle D_{f}(P;Q)=\sup _{g:\Omega \to \mathrm {effdom} (f^{*})}E_{P}[g]-E_{Q}[f^{*}\circ g]}$

これは定理7.24インチです。^[2]

アプリケーション例

この定理を全変動距離に適用すると、生成元が のとき、その凸共役は となり、次の式が得られます。によって定義されるカイ 2 乗ダイバージェンスについては、次の式が得られます 。 が変化する領域がアフィン不変であっても、 では変動項はアフィン不変ではないため、アフィン不変量を利用してより簡潔な表現を取得できます。 ${\displaystyle f(x)={\frac {1}{2}}|x-1|,}$ ${\displaystyle f^{*}(x^{*})={\begin{cases}x^{*}{\text{ on }}[-1/2,1/2],\\+\infty {\text{ else.}}\end{cases}}}$ $${\displaystyle TV(P\|Q)=\sup _{|g|\leq 1/2}E_{P}[g(X)]-E_{Q}[g(X)].}$$ ${\displaystyle f(x)=(x-1)^{2},f^{*}(y)=y^{2}/4+y}$ $${\displaystyle \chi ^{2}(P;Q)=\sup _{g}E_{P}[g(X)]-E_{Q}[g(X)^{2}/4+g(X)].}$$ ${\displaystyle g}$ ${\displaystyle g}$

を で置き換え、 の最大値を取ると、 が得られます 。これは、 Hammersley–Chapman–Robbins の境界とCramér–Rao の境界からわずか数ステップしか離れていません( ^[2]の定理 29.1 とその系)。 ${\displaystyle g}$ ${\displaystyle ag+b}$ ${\displaystyle a,b\in \mathbb {R} }$ $${\displaystyle \chi ^{2}(P;Q)=\sup _{g}{\frac {(E_{P}[g(X)]-E_{Q}[g(X)])^{2}}{Var_{Q}[g(X)]}},}$$

との -発散について、 が成り立ち、範囲は です。その凸共役はであり、範囲は です。 ${\displaystyle \alpha }$ ${\displaystyle \alpha \in (-\infty ,0)\cup (0,1)}$ ${\displaystyle f_{\alpha }(x)={\frac {x^{\alpha }-\alpha x-(1-\alpha )}{\alpha (\alpha -1)}}}$ ${\displaystyle x\in [0,\infty )}$ ${\displaystyle f_{\alpha }^{*}(y)={\frac {1}{\alpha }}(x(y)^{\alpha }-1)}$ ${\displaystyle y\in (-\infty ,(1-\alpha )^{-1})}$ ${\displaystyle x(y)=((\alpha -1)y+1)^{\frac {1}{\alpha -1}}}$

この定理を適用すると、 を代入した後、 が得られる。あるいは、の制約を解除した後、を設定すると、上で得られた - 発散の変分表現が得られる。 ${\displaystyle h=((\alpha -1)g+1)^{\frac {1}{\alpha -1}}}$ $${\displaystyle D_{\alpha }(P\|Q)={\frac {1}{\alpha (1-\alpha )}}-\inf _{h:\Omega \to (0,\infty )}\left(E_{Q}\left[{\frac {h^{\alpha }}{\alpha }}\right]+E_{P}\left[{\frac {h^{\alpha -1}}{1-\alpha }}\right]\right),}$$ ${\displaystyle h}$ $${\displaystyle D_{\alpha }(P\|Q)={\frac {1}{\alpha (1-\alpha )}}-\inf _{h:\Omega \to \mathbb {R} }\left(E_{Q}\left[{\frac {|h|^{\alpha }}{\alpha }}\right]+E_{P}\left[{\frac {|h|^{\alpha -1}}{1-\alpha }}\right]\right).}$$ ${\displaystyle \alpha =-1}$ ${\displaystyle \chi ^{2}}$

が変化する領域は、-発散の場合とは異なり、一般にはアフィン不変ではありません。-発散は特別なケースで、その場合、からを除去できます。 ${\displaystyle h}$ ${\displaystyle \chi ^{2}}$ ${\displaystyle \chi ^{2}}$ ${\displaystyle |\cdot |}$ ${\displaystyle |h|}$

一般に、 が変化する領域は、単にスケール不変 である。上と同様に、を で置き換え、 を最小値として を得る。を設定し、をもう一度 で置き換えると、平方ヘリンガー距離の2つの変分表現が得られる。この定理を で定義されるKLダイバージェンスに適用すると、が得られる 。 これは、ドンスカー・ヴァラダン表現よりも明らかに効率が悪い。この欠陥は次の定理で修正される。 ${\displaystyle \alpha \in (-\infty ,0)\cup (0,1)}$ ${\displaystyle h}$ ${\displaystyle h}$ ${\displaystyle ah}$ ${\displaystyle a>0}$ $${\displaystyle D_{\alpha }(P\|Q)=\sup _{h>0}\left[{\frac {1}{\alpha (1-\alpha )}}\left(1-{\frac {E_{P}[h^{\alpha -1}]^{\alpha }}{E_{Q}[h^{\alpha }]^{\alpha -1}}}\right)\right].}$$ ${\displaystyle \alpha ={\frac {1}{2}}}$ ${\displaystyle g={\sqrt {h}}}$ $${\displaystyle H^{2}(P\|Q)={\frac {1}{2}}D_{1/2}(P\|Q)=2-\inf _{h>0}\left(E_{Q}\left[h(X)\right]+E_{P}\left[h(X)^{-1}\right]\right),}$$ $${\displaystyle H^{2}(P\|Q)=2\sup _{h>0}\left(1-{\sqrt {E_{P}[h^{-1}]E_{Q}[h]}}\right).}$$ ${\displaystyle f(x)=x\ln x,f^{*}(y)=e^{y-1}}$ $${\displaystyle D_{KL}(P;Q)=\sup _{g}E_{P}[g(X)]-e^{-1}E_{Q}[e^{g(X)}].}$$ $${\displaystyle D_{KL}(P;Q)=\sup _{g}E_{P}[g(X)]-\ln E_{Q}[e^{g(X)}].}$$

改良された変分表現

このセクションの冒頭の設定（「変分表現」）を想定します。

定理—オンの 場合（必要であれば再定義）、 ${\displaystyle f(x)=+\infty }$ ${\displaystyle x<0}$ ${\displaystyle f}$

${\displaystyle D_{f}(P\|Q)=f^{\prime }(\infty )P\left[S^{c}\right]+\sup _{g}\mathbb {E} _{P}\left[g1_{S}\right]-\Psi _{Q,P}^{*}(g)}$、

ここで、であり、 はある基礎測度に関するの確率密度関数です。 ${\displaystyle \Psi _{Q,P}^{*}(g):=\inf _{a\in \mathbb {R} }\mathbb {E} _{Q}\left[f^{*}(g(X)-a)\right]+aP[S]}$ ${\displaystyle S:=\{q>0\}}$ ${\displaystyle q}$ ${\displaystyle Q}$

の特別な場合には、 ${\displaystyle f^{\prime }(\infty )=+\infty }$

${\displaystyle D_{f}(P\|Q)=\sup _{g}\mathbb {E} _{P}[g]-\Psi _{Q}^{*}(g),\quad \Psi _{Q}^{*}(g):=\inf _{a\in \mathbb {R} }\mathbb {E} _{Q}\left[f^{*}(g(X)-a)\right]+a}$。

これは定理7.25インチです。^[2]

アプリケーション例

この定理を KL ダイバージェンスに適用すると、Donsker–Varadhan 表現が得られます。

この定理を一般的な-発散に適用しようとすると、閉じた形式の解は得られません。 ${\displaystyle \alpha }$ ${\displaystyle \alpha \in (-\infty ,0)\cup (0,1)}$

よくある例f-相違点

以下の表は、確率分布と、それらに対応する可能性のある生成関数との間の一般的な乖離の多くを列挙している。特に、全変動距離を除く他のすべての関数は、-乖離の特殊なケース、つまり-乖離の線形和である。 ${\displaystyle \alpha }$ ${\displaystyle \alpha }$

それぞれのf-ダイバージェンス に対して、その生成関数は一意に定義されるわけではなく、 までしか定義されません。ここでは任意の実定数です。つまり、f-ダイバージェンスを生成する任意の に対して、 が成り立ちます。この自由度は便利なだけでなく、実際に必要です。 ${\displaystyle D_{f}}$ ${\displaystyle c\cdot (t-1)}$ ${\displaystyle c}$ ${\displaystyle f}$ ${\displaystyle D_{f(t)}=D_{f(t)+c\cdot (t-1)}}$

発散	対応するf(t)	離散形式
${\displaystyle \chi ^{\alpha }}$-発散、 ${\displaystyle \alpha \geq 1\,}$	${\displaystyle {\frac {1}{2}}|t-1|^{\alpha }\,}$	${\displaystyle {\frac {1}{2}}\sum _{i}\left|{\frac {p_{i}-q_{i}}{q_{i}}}\right|^{\alpha }q_{i}\,}$
総変動距離（） ${\displaystyle \alpha =1\,}$	${\displaystyle {\frac {1}{2}}|t-1|\,}$	${\displaystyle {\frac {1}{2}}\sum _{i}|p_{i}-q_{i}|\,}$
αダイバージェンス	${\displaystyle {\begin{cases}{\frac {t^{\alpha }-\alpha t-\left(1-\alpha \right)}{\alpha \left(\alpha -1\right)}}&{\text{if}}\ \alpha \neq 0,\,\alpha \neq 1,\\t\ln t-t+1,&{\text{if}}\ \alpha =1,\\-\ln t+t-1,&{\text{if}}\ \alpha =0\end{cases}}}$
KLダイバージェンス（） ${\displaystyle \alpha =1}$	${\displaystyle t\ln t}$	${\displaystyle \sum _{i}p_{i}\ln {\frac {p_{i}}{q_{i}}}}$
逆KLダイバージェンス（） ${\displaystyle \alpha =0}$	${\displaystyle -\ln t}$	${\displaystyle \sum _{i}q_{i}\ln {\frac {q_{i}}{p_{i}}}}$
ジェンセン・シャノン距離	${\displaystyle {\frac {1}{2}}\left(t\ln t-(t+1)\ln \left({\frac {t+1}{2}}\right)\right)}$	${\displaystyle {\frac {1}{2}}\sum _{i}\left(p_{i}\ln {\frac {p_{i}}{(p_{i}+q_{i})/2}}+q_{i}\ln {\frac {q_{i}}{(p_{i}+q_{i})/2}}\right)}$
ジェフリーズダイバージェンス（KL + 逆KL）	${\displaystyle (t-1)\ln(t)}$	${\displaystyle \sum _{i}(p_{i}-q_{i})\ln {\frac {p_{i}}{q_{i}}}}$
ヘリンガー距離の二乗（） ${\displaystyle \alpha ={\frac {1}{2}}}$	${\displaystyle {\frac {1}{2}}({\sqrt {t}}-1)^{2},\,1-{\sqrt {t}}}$	${\displaystyle {\frac {1}{2}}\sum _{i}({\sqrt {p_{i}}}-{\sqrt {q_{i}}})^{2};\;1-\sum _{i}{\sqrt {p_{i}q_{i}}}}$
ネイマンダイバージェンス ${\displaystyle \chi ^{2}}$	${\displaystyle (t-1)^{2}}$	${\displaystyle \sum _{i}{\frac {(p_{i}-q_{i})^{2}}{q_{i}}}}$
ピアソン発散 ${\displaystyle \chi ^{2}}$	${\displaystyle {\frac {(t-1)^{2}}{t}}}$	${\displaystyle \sum _{i}{\frac {(p_{i}-q_{i})^{2}}{p_{i}}}}$

アルファが -1 から 2 まで変化するときのアルファ ダイバージェンスの生成元間の比較。

を -ダイバージェンスの生成元とすると、と は互いに凸反転となるため、 となります。特に、これは 2 乗ヘリンガー距離とジェンセン・シャノン・ダイバージェンスが対称であることを示しています。 ${\displaystyle f_{\alpha }}$ ${\displaystyle \alpha }$ ${\displaystyle f_{\alpha }}$ ${\displaystyle f_{1-\alpha }}$ ${\displaystyle D_{\alpha }(P\|Q)=D_{1-\alpha }(Q\|P)}$

文献では、-ダイバージェンスは次のようにパラメータ化されることがある。 ${\displaystyle \alpha }$

${\displaystyle {\begin{cases}{\frac {4}{1-\alpha ^{2}}}{\big (}1-t^{(1+\alpha )/2}{\big )},&{\text{if}}\ \alpha \neq \pm 1,\\t\ln t,&{\text{if}}\ \alpha =1,\\-\ln t,&{\text{if}}\ \alpha =-1\end{cases}}}$

これは、 を代入したこのページのパラメーター化と同等です。 ${\displaystyle \alpha \leftarrow {\frac {\alpha +1}{2}}}$

他の統計的相違との関係

ここでは、fダイバージェンスを他の統計的ダイバージェンスと比較します。

レーニ分岐

レーニイ・ダイバージェンスは、次のように定義されるダイバージェンスのファミリーである。

${\displaystyle R_{\alpha }(P\|Q)={\frac {1}{\alpha -1}}\log {\Bigg (}E_{Q}\left[\left({\frac {dP}{dQ}}\right)^{\alpha }\right]{\Bigg )}\,}$

のとき。極限をとることでの場合にも拡張される。 ${\displaystyle \alpha \in (0,1)\cup (1,+\infty )}$ ${\displaystyle \alpha =0,1,+\infty }$

簡単な代数により、 であることが示されます。ここで、は上で定義した - 発散です。 ${\displaystyle R_{\alpha }(P\|Q)={\frac {1}{\alpha -1}}\ln(1+\alpha (\alpha -1)D_{\alpha }(P\|Q))}$ ${\displaystyle D_{\alpha }}$ ${\displaystyle \alpha }$

ブレグマンダイバージェンス

ブレグマンダイバージェンスでもある唯一のfダイバージェンスはKLダイバージェンスである。^[6]

積分確率メトリクス

積分確率指標でもある唯一のfダイバージェンスは総変動である。^[7]

財務解釈

一対の確率分布は、一方の分布が公式オッズを定義し、もう一方の分布が実際の確率を含む、偶然のゲームと見なすことができます。実際の確率を知ることで、プレイヤーはゲームから利益を得ることができます。多くの合理的なプレイヤーにとって、期待利益率はƒ-ダイバージェンスと同じ一般的な形をとります。^[8]

参照

• カルバック・ライブラー距離
• ブレグマンダイバージェンス

参考文献

1. レニイ, アルフレッド (1961). エントロピーと情報の尺度について(PDF) . 第4回バークレー数学・統計・確率シンポジウム, 1960. カリフォルニア州バークレー: カリフォルニア大学出版局. pp.  547– 561.式(4.20)
2. Polyanskiy, Yury; Yihong, Wu (2022). 情報理論：コーディングから学習へ（2022年10月20日草稿）（PDF）ケンブリッジ大学出版局. 2023年2月1日時点のオリジナル（PDF）からのアーカイブ。
3. Gorban, Pavel A. (2003年10月15日). 「単調等価エントロピーと加法方程式の解」. Physica A. 328 ( 3–4 ) : 380– 390. arXiv : cond-mat/0304131 . Bibcode :2003PhyA..328..380G. doi :10.1016/S0378-4371(03)00578-8. S2CID  14975501.
4. 天理俊一(2009). Leung, CS; Lee, M.; Chan, JH (編).発散、最適化、幾何学. 第16回国際神経情報処理会議 (ICONIP 20009), バンコク, タイ, 2009年12月1日～5日. Lecture Notes in Computer Science, vol 5863. ベルリン, ハイデルベルク: Springer. pp.  185– 193. doi :10.1007/978-3-642-10677-4_21.
5. Gorban, Alexander N. (2014年4月29日). 「一般的なH定理と第二法則に違反するエントロピー」.エントロピー. 16 ( 5): 2408–2432 . arXiv : 1212.6767 . Bibcode :2014Entrp..16.2408G. doi : 10.3390/e16052408 .
6. Jiao, Jiantao; Courtade, Thomas; No, Albert; Venkat, Kartik; Weissman, Tsachy (2014年12月). 「情報尺度：バイナリアルファベットの奇妙な事例」. IEEE Transactions on Information Theory . 60 (12): 7616– 7626. arXiv : 1404.6810 . Bibcode :2014ITIT...60.7616J. doi :10.1109/TIT.2014.2360184. ISSN  0018-9448. S2CID  13108908.
7. Sriperumbudur, Bharath K.; Fukumizu, Kenji; Gretton, Arthur; Schölkopf, Bernhard ; Lanckriet, Gert RG (2009). 「積分確率計量、φダイバージェンス、およびバイナリ分類について」arXiv : 0901.2698 [cs.IT].
8. Soklakov, Andrei N. (2020). 「意見の相違の経済学 ― レーニイ・ダイバージェンスに関する金融直感」.エントロピー. 22 (8): 860. arXiv : 1811.08308 . Bibcode :2020Entrp..22..860S. doi : 10.3390/e22080860 . PMC 7517462. PMID  33286632 . 

• シザール、I. (1963)。 "Eine informationstheoretische Ungleichung und ihre Anwendung auf den Beweis der Ergodizitat von Markoffschen Ketten"。マジャール語。ツッド。アカド。マット。クタト国際空港コズル。8：85～ 108
• 森本 徹 (1963). 「マルコフ過程とH定理」. J. Phys. Soc. Jpn . 18 (3): 328– 331. Bibcode :1963JPSJ...18..328M. doi :10.1143/JPSJ.18.328.
• Ali, SM; Silvey, SD (1966). 「ある分布と別の分布の乖離係数の一般的なクラス」.英国王立統計学会誌, シリーズB. 28 ( 1): 131– 142. doi :10.1111/j.2517-6161.1966.tb00626.x. JSTOR  2984279. MR  0196777.
• Csiszár, I. (1967). 「確率分布の差の情報型測定と間接観測」ハンガリー数学科学研究2 : 229–318 .
• Csiszár, I. ; Shields, P. (2004). 「情報理論と統計：チュートリアル」（PDF） .通信と情報理論の基礎と動向. 1 (4): 417– 528. doi :10.1561/0100000004 . 2009年4月8日閲覧.
• Liese, F.; Vajda, I. (2006). 「統計と情報理論における発散と情報量について」. IEEE Transactions on Information Theory . 52 (10): 4394– 4412. Bibcode :2006ITIT...52.4394L. doi :10.1109/TIT.2006.881731. S2CID  2720215.
• Nielsen, F.; Nock, R. (2013). 「fダイバージェンスの近似におけるカイ二乗距離と高次カイ距離について」. IEEE Signal Processing Letters . 21 (1): 10–13 . arXiv : 1309.3029 . Bibcode :2014ISPL...21...10N. doi :10.1109/LSP.2013.2288355. S2CID  4152365.
• Coeurjolly, JF.; Drouilhet, R. (2006). 「正規化された情報ベースのダイバージェンス」. arXiv : math/0604246 .

Retrieved from "https://en.wikipedia.org/w/index.php?title=F-divergence&oldid=1320723295"