Measure of difference between two points
数学 、特に 統計学 と 情報幾何学 において 、 ブレグマン・ダイバージェンス（Bregman divergence ）または ブレグマン距離は、厳密に 凸な関数 によって定義される2点間の差の尺度であり、重要な ダイバージェンス の一種である 。点が 確率分布、特に パラメトリックモデル のパラメータの値 、あるいは観測値のデータセットとして解釈される場合、得られる距離は 統計距離 となる。最も基本的なブレグマン・ダイバージェンスは、 ユークリッド距離の2乗 である。
ブレグマン・ダイバージェンスは 計量 に類似しているが、 三角不等式 （常に）も対称性（一般に）も満たさない。しかし、ブレグマン・ダイバージェンスは ピタゴラスの定理 の一般化を満たし、 情報幾何学 においては、対応する 統計多様体は（双対） 平坦多様体 として解釈される 。これにより、 最適化理論 の多くの手法をブレグマン・ダイバージェンスに一般化することができ、幾何学的には 最小二乗 法の一般化として適用できる。
ブレグマン ダイバージェンスは、1967 年にこの概念を導入したソビエトおよびイスラエルの数学者 レフ M. ブレグマン にちなんで名付けられました。
意味 を凸集合 上で定義された 連続的に微分可能な厳密 凸関数 とします 。 F : Ω → R {\displaystyle F\colon \Omega \to \mathbb {R} } Ω {\displaystyle \Omega }
点に対する F に関連付けられたブレグマン距離は、点 p における F の値と、点 p で評価された点 q の周りの F の 1次 テイラー展開 の値との差です。 p , q ∈ Ω {\displaystyle p,q\in \Omega } D F ( p , q ) = F ( p ) − F ( q ) − ⟨ ∇ F ( q ) , p − q ⟩ . {\displaystyle D_{F}(p,q)=F(p)-F(q)-\langle \nabla F(q),p-q\rangle .}
プロパティ 非負性 ： すべての に対して 、 。これは の凸性の結果である 。 D F ( p , q ) ≥ 0 {\displaystyle D_{F}(p,q)\geq 0} p {\displaystyle p} q {\displaystyle q} F {\displaystyle F} 正性 : が厳密に凸である場合、 かつ の場合に限ります 。 F {\displaystyle F} D F ( p , q ) = 0 {\displaystyle D_{F}(p,q)=0} p = q {\displaystyle p=q} アフィン差までの一意性 :が アフィン関数である 場合に限ります。 D F = D G {\displaystyle D_{F}=D_{G}} F − G {\displaystyle F-G} 凸性 ： 第一引数において凸であるが、第二引数において必ずしも凸であるわけではない。F が厳密に凸である場合、 第一引数において厳密に凸である。 D F ( p , q ) {\displaystyle D_{F}(p,q)} D F ( p , q ) {\displaystyle D_{F}(p,q)} たとえば、 f ( x ) = | x | を取り、それを 0 で平滑化し、次に を取り 、次にを取ります 。 y = 1 , x 1 = 0.1 , x 2 = − 0.9 , x 3 = 0.9 x 1 + 0.1 x 2 {\displaystyle y=1,x_{1}=0.1,x_{2}=-0.9,x_{3}=0.9x_{1}+0.1x_{2}} D f ( y , x 3 ) ≈ 1 > 0.9 D f ( y , x 1 ) + 0.1 D f ( y , x 2 ) ≈ 0.2 {\displaystyle D_{f}(y,x_{3})\approx 1>0.9D_{f}(y,x_{1})+0.1D_{f}(y,x_{2})\approx 0.2} 線形性：ブレグマン距離を関数 F 上の作用素として考えると 、非負係数に関して線形である。言い換えれば、 が 厳密に凸かつ微分可能であり、 およびの場合 、 F 1 , F 2 {\displaystyle F_{1},F_{2}} λ ≥ 0 {\displaystyle \lambda \geq 0} D F 1 + λ F 2 ( p , q ) = D F 1 ( p , q ) + λ D F 2 ( p , q ) {\displaystyle D_{F_{1}+\lambda F_{2}}(p,q)=D_{F_{1}}(p,q)+\lambda D_{F_{2}}(p,q)} 双対性 ：関数 F が厳密凸ならば、関数 F は、 同様に厳密凸かつある凸集合 上で連続的に微分可能 な凸共役 を持つ。 に関して定義されるブレグマン距離は、 と双対である。 ここで、 および は、 p および q に対応する双対点である 。 F ∗ {\displaystyle F^{*}} Ω ∗ {\displaystyle \Omega ^{*}} F ∗ {\displaystyle F^{*}} D F ( p , q ) {\displaystyle D_{F}(p,q)} D F ∗ ( p ∗ , q ∗ ) = D F ( q , p ) {\displaystyle D_{F^{*}}(p^{*},q^{*})=D_{F}(q,p)} p ∗ = ∇ F ( p ) {\displaystyle p^{*}=\nabla F(p)} q ∗ = ∇ F ( q ) {\displaystyle q^{*}=\nabla F(q)}
さらに、同じ表記法を使用します。 D F ( p , q ) = F ( p ) + F ∗ ( q ∗ ) − ⟨ p , q ∗ ⟩ {\displaystyle D_{F}(p,q)=F(p)+F^{*}(q^{*})-\langle p,q^{*}\rangle } 積分形式: テイラーの定理 の積分剰余形式により、ブレグマン ダイバージェンスは、 ブレグマン ダイバージェンスの引数間の線分に沿った ヘッセ行列の積分として表すことができます。 F {\displaystyle F} 平均を最小化する ：ブレグマン・ダイバージェンスに関する重要な結果は、ランダムベクトルが与えられたとき、平均ベクトルはランダムベクトルからの期待ブレグマン・ダイバージェンスを最小化するというものです。この結果は、集合の平均がその集合内の要素に対する全二乗誤差を最小化するという教科書的な結果を一般化したものです。この結果は、ベクトルの場合（Banerjee et al. 2005）によって証明され、関数／分布の場合（Frigyik et al. 2008）に拡張されました。この結果は、特にベイズ推定において、ランダム集合の代表として平均を用いることの正当性をさらに高めるものであり、重要です。 ブレグマン球体は有界であり、X が閉じているときコンパクトです 。x を中心とし、半径 r を持つブレグマン球体を で定義します 。 が有限次元のとき 、 が の相対的内部にあるとき 、または が で 局所的に閉じている（つまり、 を 中心とし 、 が閉じている 閉球体が存在する ）とき、 はすべての に対して有界です 。 が閉じているとき、 は すべての に対してコンパクトです 。 B f ( x , r ) := { y ∈ X : D f ( y , x ) ≤ r } {\displaystyle B_{f}(x,r):=\left\{y\in X:D_{f}(y,x)\leq r\right\}} X ⊂ R n {\displaystyle X\subset \mathbb {R} ^{n}} ∀ x ∈ X {\displaystyle \forall x\in X} x {\displaystyle x} X {\displaystyle X} X {\displaystyle X} x {\displaystyle x} B ( x , r ) {\displaystyle B(x,r)} x {\displaystyle x} B ( x , r ) ∩ X {\displaystyle B(x,r)\cap X} B f ( x , r ) {\displaystyle B_{f}(x,r)} r {\displaystyle r} X {\displaystyle X} B f ( x , r ) {\displaystyle B_{f}(x,r)} r {\displaystyle r} 余弦定理 ： [1]
いかなる p , q , z {\displaystyle p,q,z} D F ( p , q ) = D F ( p , z ) + D F ( z , q ) − ( p − z ) T ( ∇ F ( q ) − ∇ F ( z ) ) {\displaystyle D_{F}(p,q)=D_{F}(p,z)+D_{F}(z,q)-(p-z)^{T}(\nabla F(q)-\nabla F(z))} 平行四辺形の法則 ：任意のに対して 、 θ , θ 1 , θ 2 {\displaystyle \theta ,\theta _{1},\theta _{2}} B F ( θ 1 : θ ) + B F ( θ 2 : θ ) = B F ( θ 1 : θ 1 + θ 2 2 ) + B F ( θ 2 : θ 1 + θ 2 2 ) + 2 B F ( θ 1 + θ 2 2 : θ ) {\displaystyle B_{F}\left(\theta _{1}:\theta \right)+B_{F}\left(\theta _{2}:\theta \right)=B_{F}\left(\theta _{1}:{\frac {\theta _{1}+\theta _{2}}{2}}\right)+B_{F}\left(\theta _{2}:{\frac {\theta _{1}+\theta _{2}}{2}}\right)+2B_{F}\left({\frac {\theta _{1}+\theta _{2}}{2}}:\theta \right)} ブレグマンダイバージェンスに対する一般化されたピタゴラスの定理。 [2] ブレグマン射影 ：任意の に対して、 の へ の「ブレグマン射影」を定義する ： すると、 W ⊂ Ω {\displaystyle W\subset \Omega } q {\displaystyle q} W {\displaystyle W} P W ( q ) = argmin ω ∈ W D F ( ω , q ) . {\displaystyle P_{W}(q)=\mathop {\operatorname {argmin} } _{\omega \in W}D_{F}(\omega ,q).} が凸である場合 、投影は存在する場合に一意です。 W {\displaystyle W} が空でなく、閉じていて、凸であり、有限次元である 場合 、射影は存在し、一意である。 [3] W {\displaystyle W} Ω ⊂ R n {\displaystyle \Omega \subset \mathbb {R} ^{n}} 一般化されたピタゴラスの定理 ： [1]
任意の について 、 が の 相対内部 にある 場合、これは等式です 。 v ∈ Ω , a ∈ W {\displaystyle v\in \Omega ,a\in W} D F ( a , v ) ≥ D F ( a , P W ( v ) ) + D F ( P W ( v ) , v ) . {\displaystyle D_{F}(a,v)\geq D_{F}(a,P_{W}(v))+D_{F}(P_{W}(v),v).} P W ( v ) {\displaystyle P_{W}(v)} W {\displaystyle W}
特に、 がアフィン集合である場合、これは常に発生します。 W {\displaystyle W} 三角不等式の欠如 ：ブレグマン距離は本質的にユークリッド距離の二乗の一般化であるため、三角不等式は存在しません。実際、 は正または負の値をとる可能性があります。 D F ( z , x ) − D F ( z , y ) − D F ( y , x ) = ⟨ ∇ f ( y ) − ∇ f ( x ) , z − y ⟩ {\displaystyle D_{F}(z,x)-D_{F}(z,y)-D_{F}(y,x)=\langle \nabla f(y)-\nabla f(x),z-y\rangle }
証明 非負性と正性: Jensen の不等式 を使用します。 アフィン差分までの一意性: いくつかの を固定する と、他の任意の に対して 、定義により が成り立ちます 。 x ∈ Ω {\displaystyle x\in \Omega } y ∈ Ω {\displaystyle y\in \Omega } F ( y ) − G ( y ) = F ( x ) − G ( x ) + ⟨ ∇ F ( x ) − ∇ G ( x ) , y − x ⟩ {\displaystyle F(y)-G(y)=F(x)-G(x)+\langle \nabla F(x)-\nabla G(x),y-x\rangle } 最初の引数の凸性: 定義により、F の凸性を使用します。厳密な凸性の場合も同様です。 F における線形性 、余弦定理、平行四辺形の法則：定義による。 二重性：図1を参照。 [4] ブレグマン球は有界であり、Xが閉じている場合はコンパクトである。
を修正します 。 をアフィン変換して とし ます 。 x ∈ X {\displaystyle x\in X} f {\displaystyle f} ∇ f ( x ) = 0 {\displaystyle \nabla f(x)=0}
となるような をとる。そして、 ユークリッド球面 上の の「放射方向」微分を考える 。 ϵ > 0 {\displaystyle \epsilon >0} ∂ B ( x , ϵ ) ⊂ X {\displaystyle \partial B(x,\epsilon )\subset X} f {\displaystyle f} ∂ B ( x , ϵ ) {\displaystyle \partial B(x,\epsilon )}
⟨ ∇ f ( y ) , ( y − x ) ⟩ {\displaystyle \langle \nabla f(y),(y-x)\rangle } すべてのために 。 y ∈ ∂ B ( x , ϵ ) {\displaystyle y\in \partial B(x,\epsilon )}
はコンパクトなので、 ある で 最小値を達成します 。 ∂ B ( x , ϵ ) ⊂ R n {\displaystyle \partial B(x,\epsilon )\subset \mathbb {R} ^{n}} δ {\displaystyle \delta } y 0 ∈ ∂ B ( x , ϵ ) {\displaystyle y_{0}\in \partial B(x,\epsilon )}
は厳密に凸な ので、 。すると 。 f {\displaystyle f} δ > 0 {\displaystyle \delta >0} B f ( x , r ) ⊂ B ( x , r / δ ) ∩ X {\displaystyle B_{f}(x,r)\subset B(x,r/\delta )\cap X}
は 内にある ので 、 は 内で連続しており 、したがってである 場合は は閉じています 。 D f ( y , x ) {\displaystyle D_{f}(y,x)} C 1 {\displaystyle C^{1}} y {\displaystyle y} D f {\displaystyle D_{f}} y {\displaystyle y} B f ( x , r ) {\displaystyle B_{f}(x,r)} X {\displaystyle X} が閉じていて凸状のとき、投影は 明確に定義されます 。 P W {\displaystyle P_{W}} W {\displaystyle W}
を固定する 。 をいくらか取り 、 とする 。そしてブレグマン球 を描きなさい 。これは閉じていて有界であり、したがってコンパクトである。 は 上で連続かつ強凸であり、 の下では によって有界であるため 、 上で唯一の最小値を達成する。 v ∈ X {\displaystyle v\in X} w ∈ W {\displaystyle w\in W} r := D f ( w , v ) {\displaystyle r:=D_{f}(w,v)} B f ( v , r ) ∩ W {\displaystyle B_{f}(v,r)\cap W} D f ( ⋅ , v ) {\displaystyle D_{f}(\cdot ,v)} 0 {\displaystyle 0} ピタゴラスの不等式。
余弦定理により、 は において 最小化し 、凸である ため、 でなければなりません 。 D f ( w , v ) − D f ( w , P W ( v ) ) − D f ( P W ( v ) , v ) = ⟨ ∇ y D f ( y , v ) | y = P W ( v ) , w − P W ( v ) ⟩ {\displaystyle D_{f}(w,v)-D_{f}(w,P_{W}(v))-D_{f}(P_{W}(v),v)=\langle \nabla _{y}D_{f}(y,v)|_{y=P_{W}(v)},w-P_{W}(v)\rangle } ≥ 0 {\displaystyle \geq 0} P W ( v ) {\displaystyle P_{W}(v)} D f ( ⋅ , v ) {\displaystyle D_{f}(\cdot ,v)} W {\displaystyle W} W {\displaystyle W} が の相対内部にある 場合のピタゴラスの等式 。 P W ( v ) {\displaystyle P_{W}(v)} X {\displaystyle X}
の場合 、 は 相対的内部にあるため、 から の反対方向に移動して を減少させることができますが 、矛盾があります。 ⟨ ∇ y D f ( y , v ) | y = P W ( v ) , w − P W ( v ) ⟩ > 0 {\displaystyle \langle \nabla _{y}D_{f}(y,v)|_{y=P_{W}(v)},w-P_{W}(v)\rangle >0} w {\displaystyle w} P W ( v ) {\displaystyle P_{W}(v)} w {\displaystyle w} D f ( y , v ) {\displaystyle D_{f}(y,v)}
したがって 。 ⟨ ∇ y D f ( y , v ) | y = P W ( v ) , w − P W ( v ) ⟩ = 0 {\displaystyle \langle \nabla _{y}D_{f}(y,v)|_{y=P_{W}(v)},w-P_{W}(v)\rangle =0}
分類定理 における唯一の対称ブレグマンダイバージェンスは、 一般化ユークリッド距離の2乗（ マハラノビス距離 ）であり、つまり、 ある 正定値 に対してである。 [5] X ⊂ R n {\displaystyle X\subset \mathbb {R} ^{n}} D f ( y , x ) = ( y − x ) T A ( y − x ) {\displaystyle D_{f}(y,x)=(y-x)^{T}A(y-x)} A {\displaystyle A} 証拠 ブレグマンダイバージェンスは領域として解釈されます。 任意の について 、 を定義します 。 とします 。 x ≠ y ∈ X {\displaystyle x\neq y\in X} r = ‖ y − x ‖ , v = ( y − x ) / r , g ( t ) = f ( x + t v ) {\displaystyle r=\|y-x\|,v=(y-x)/r,g(t)=f(x+tv)} t ∈ [ 0 , r ] {\displaystyle t\in [0,r]} z ( t ) = x + t v {\displaystyle z(t)=x+tv}
すると については となり 、 は 連続なので についても となります 。 g ′ ( t ) = ⟨ ∇ f ( z ( t ) ) , v ⟩ {\displaystyle g'(t)=\langle \nabla f(z(t)),v\rangle } t ∈ ( 0 , r ) {\displaystyle t\in (0,r)} ∇ f {\displaystyle \nabla f} t = 0 , r {\displaystyle t=0,r}
次に、図から、 すべてのに対して 、 上で線形でなければならないことがわかります 。 D f ( x ; z ( t ) ) = D f ( z ( t ) ; x ) {\displaystyle D_{f}(x;z(t))=D_{f}(z(t);x)} t ∈ [ 0 , r ] {\displaystyle t\in [0,r]} g ′ ( t ) {\displaystyle g'(t)} t ∈ [ 0 , r ] {\displaystyle t\in [0,r]}
したがって、 は任意の方向に沿って線形に変化することがわかります 。次の補題により、 は二次関数です。 も厳密に凸であるため、 の形をとります。 ここで です 。 ∇ f {\displaystyle \nabla f} f {\displaystyle f} f {\displaystyle f} f ( x ) + x T A x + B T x + C {\displaystyle f(x)+x^{T}Ax+B^{T}x+C} A ≻ 0 {\displaystyle A\succ 0}
補題 : が の開部分集合であり 、 連続導関数を持ち、任意の線分 が与えられたとき 、関数 は において線形であり 、 は 二次関数である。 S {\displaystyle S} R n {\displaystyle \mathbb {R} ^{n}} f : S → R {\displaystyle f:S\to \mathbb {R} } [ x , x + v ] ⊂ S {\displaystyle [x,x+v]\subset S} h ( t ) := ⟨ ∇ f ( x + t v ) , v ⟩ {\displaystyle h(t):=\langle \nabla f(x+tv),v\rangle } t {\displaystyle t} f {\displaystyle f}
証明のアイデア: 任意の 2 次関数 に対して 、 は 依然としてそのような導関数線形性を持つため、いくつかの 2 次関数を減算して が ゼロになることを示します。 q : S → R {\displaystyle q:S\to \mathbb {R} } f − q {\displaystyle f-q} f {\displaystyle f}
証明のアイデアは の場合に完全に説明できるため 、この場合はそれを証明します。 S = R 2 {\displaystyle S=\mathbb {R} ^{2}}
微分線形性により、 は の任意の線分上で2次関数です 。4つの2次関数を減算すると、 は x軸、y軸、および 直線上で0になります。 f {\displaystyle f} R 2 {\displaystyle \mathbb {R} ^{2}} g := f − q 0 − q 1 − q 2 − q 3 {\displaystyle g:=f-q_{0}-q_{1}-q_{2}-q_{3}} { x = y } {\displaystyle \{x=y\}}
適切に選ばれた について、 とします 。ここで、 を使用して 線形項を除去し、 を使用して 3つの線に沿った二次項を除去します。 q 0 ( x , y ) = f ( 0 , 0 ) + ∇ f ( 0 , 0 ) ⋅ ( x , y ) , q 1 ( x , y ) = A 1 x 2 , q 2 ( x , y ) = A 2 y 2 , q 3 ( x , y ) = A 3 x y {\displaystyle q_{0}(x,y)=f(0,0)+\nabla f(0,0)\cdot (x,y),q_{1}(x,y)=A_{1}x^{2},q_{2}(x,y)=A_{2}y^{2},q_{3}(x,y)=A_{3}xy} A 1 , A 2 , A 3 {\displaystyle A_{1},A_{2},A_{3}} q 0 {\displaystyle q_{0}} q 1 , q 2 , q 3 {\displaystyle q_{1},q_{2},q_{3}}
∀ ( x , y ) ∈ R 2 {\displaystyle \forall (x,y)\in \mathbb {R} ^{2}} 原点ではなく、 を横切る直線が存在し 、この直線は x 軸、 y 軸、そして と 3 つの異なる点で交差します。 は 上で 2 次関数であり 、 は 3 つの異なる点で 0 なので、 は 上で 0 と等しく 、したがって となります 。したがって は 2 次関数です。 l {\displaystyle l} ( x , y ) {\displaystyle (x,y)} { x = y } {\displaystyle \{x=y\}} g {\displaystyle g} l {\displaystyle l} g {\displaystyle g} l {\displaystyle l} g ( x , y ) = 0 {\displaystyle g(x,y)=0} f = q 0 + q 1 + q 2 + q 3 {\displaystyle f=q_{0}+q_{1}+q_{2}+q_{3}}
次の 2 つの特徴付けは 、 （ 上のすべての確率測度の集合 、 ）上の発散に対するものです 。 Γ n {\displaystyle \Gamma _{n}} { 1 , 2 , . . . , n } {\displaystyle \{1,2,...,n\}} n ≥ 2 {\displaystyle n\geq 2}
上の発散を 型の任意の関数として定義し 、 すべての に対して 次の式が成り立つようにします。 Γ n {\displaystyle \Gamma _{n}} D : Γ n × Γ n → [ 0 , ∞ ] {\displaystyle D:\Gamma _{n}\times \Gamma _{n}\to [0,\infty ]} D ( x , x ) = 0 {\displaystyle D(x,x)=0} x ∈ Γ n {\displaystyle x\in \Gamma _{n}}
ブレグマンダイバージェンスと fダイバージェンスの 両方である唯一のダイバージェンスは、 カルバック・ライブラーダイバージェンス です 。 [6] Γ n {\displaystyle \Gamma _{n}} ならば、 データ処理不等式を 満たす 上 の任意のブレグマンダイバージェンスは、 カルバック・ライブラーダイバージェンスでなければならない。（実際には、「十分性」というより弱い仮定で十分である。） の場合には反例が存在する 。 [6] n ≥ 3 {\displaystyle n\geq 3} Γ n {\displaystyle \Gamma _{n}} n = 2 {\displaystyle n=2} ブレグマン・ダイバージェンス が与えられた場合 、 によって定義されるその「反対」は、 一般にブレグマン・ダイバージェンスではない。例えば、カルバック・ライバー・ダイバージェンスはブレグマン・ダイバージェンスであると同時にf-ダイバージェンスでもある。その逆もまたf-ダイバージェンスであるが、上記の特徴づけによれば、逆KLダイバージェンスはブレグマン・ダイバージェンスではない。 D F {\displaystyle D_{F}} D F ∗ ( v , w ) = D F ( w , v ) {\displaystyle D_{F}^{*}(v,w)=D_{F}(w,v)}
例 2乗 マハラノビス距離は凸 二次形式 によって生成されます 。 D F ( x , y ) = 1 2 ( x − y ) T Q ( x − y ) {\displaystyle D_{F}(x,y)={\tfrac {1}{2}}(x-y)^{T}Q(x-y)} F ( x ) = 1 2 x T Q x {\displaystyle F(x)={\tfrac {1}{2}}x^{T}Qx} ブレグマン距離の標準的な例は、ユークリッド距離の2乗 である。これは、 が恒等距離のとき、つまり の とき、上記の の特殊なケースとして得られる 。前述のように、アフィン差、つまり に加算される低次の階数は とは無関係である 。 D F ( x , y ) = ‖ x − y ‖ 2 {\displaystyle D_{F}(x,y)=\|x-y\|^{2}} Q {\displaystyle Q} F ( x ) = ‖ x ‖ 2 {\displaystyle F(x)=\|x\|^{2}} F {\displaystyle F} D F {\displaystyle D_{F}} 一般化されたカルバック・ライブラー・ダイバージェンスは、負の エントロピー 関数 によって生成されます。 単体 に制限されると 、最後の 2 つの項が打ち消され、分布の通常の カルバック・ライブラー・ダイバージェンス が得られます。 D F ( p , q ) = ∑ i p ( i ) log p ( i ) q ( i ) − ∑ i p ( i ) + ∑ i q ( i ) {\displaystyle D_{F}(p,q)=\sum _{i}p(i)\log {\frac {p(i)}{q(i)}}-\sum _{i}p(i)+\sum _{i}q(i)} F ( p ) = ∑ i p ( i ) log p ( i ) {\displaystyle F(p)=\sum _{i}p(i)\log p(i)} 板倉 -斉藤距離 は 、 凸関数によって生成されます。 D F ( p , q ) = ∑ i ( p ( i ) q ( i ) − log p ( i ) q ( i ) − 1 ) {\displaystyle D_{F}(p,q)=\sum _{i}\left({\frac {p(i)}{q(i)}}-\log {\frac {p(i)}{q(i)}}-1\right)} F ( p ) = − ∑ i log p ( i ) {\displaystyle F(p)=-\sum _{i}\log p(i)}
射影的双対性の一般化 計算幾何学 における重要なツールの一つは、 射影双対性 の概念です 。これは、入射角と上下関係を保ちながら、点を超平面に、またその逆方向にも写像するものです。射影双対性には様々な解析形式があり、一般的な形式の一つは、点を 超平面に写像するものです。この写像は（ 超平面を その法線と同一視することで）、点 p をその双対点 に写す凸共役写像として 解釈できます 。ここで、 F は d 次元放物面 を定義します 。 p = ( p 1 , … p d ) {\displaystyle p=(p_{1},\ldots p_{d})} x d + 1 = ∑ i = 1 d 2 p i x i {\textstyle x_{d+1}=\sum _{i=1}^{d}2p_{i}x_{i}} p ∗ = ∇ F ( p ) {\displaystyle p^{*}=\nabla F(p)} x d + 1 = ∑ i x i 2 {\textstyle x_{d+1}=\sum _{i}x_{i}^{2}}
ここで、放物面を任意の凸関数に置き換えると、標準的な射影双対の入射性と上下性を維持した、異なる双対写像が得られます。これは、 ボロノイ図 や ドロネー三角形分割 といった計算幾何学における自然な双対概念が、任意のブレグマン距離によって定義される距離空間においてもその意味を保持することを意味します。したがって、「通常の」幾何学のアルゴリズムは、これらの空間に直接拡張されます (Boissonnat, Nielsen and Nock, 2010)。
ブレグマンダイバージェンスの一般化 ブレグマン・ダイバージェンスは、歪んだジェンセン・ダイバージェンス の極限ケースとして解釈できる （ニールセンとボルツ, 2011参照）。ジェンセン・ダイバージェンスは比較凸性を用いて一般化することができ、これらの歪んだジェンセン・ダイバージェンスの一般化の極限ケースは、一般化ブレグマン・ダイバージェンスとなる（ニールセンとノック, 2017参照）。ブレグマン・コード・ダイバージェンス [7] は、接線の代わりにコードを取ることで得られる。
他の天体におけるブレグマン発散 ブレグマン ダイバージェンスは、行列間、関数間、および測度 (分布) 間で定義することもできます。行列間のブレグマン ダイバージェンスには、スタイン損失と フォン ノイマン エントロピーが 含まれます。関数間のブレグマン ダイバージェンスには、全二乗誤差、相対エントロピー、および二乗バイアスが含まれます。定義とプロパティについては、以下の Frigyik らによる参考文献を参照してください。同様に、ブレグマン ダイバージェンスは、 凸関数 の離散アナログとして知られる サブモジュラ セット関数 を通じて、セット上でも定義されています。サブモジュラ ブレグマン ダイバージェンスは、 ハミング距離 、 適合率と再現率 、 相互情報量 、およびその他のセット ベースの距離指標など、いくつかの離散距離指標を包含します (サブモジュラ ブレグマンの詳細とプロパティについては、Iyer および Bilmes、2012 を参照してください)。
一般的な行列ブレグマンダイバージェンスのリストについては、 [8]の表15.1を参照してください。
アプリケーション 機械学習では、ブレグマンダイバージェンスは双調性ロジスティック損失を計算するために使用され、ノイズの多いデータセットでは ソフトマックス関数 よりも優れたパフォーマンスを発揮します。 [9]
ブレグマン ダイバージェンスは、勾配降下法 や ヘッジ アルゴリズム などの機械学習で使用される最適化アルゴリズムを含む ミラー降下法 の定式化に使用されます 。
参考文献 ^ ab 「ブレグマン・ダイバージェンスによる学習」 （PDF） . utexas.edu . 2023年 8月19日 閲覧 。 ^ Adamčík, Martin (2014). 「ブレグマンダイバージェンスの情報幾何学とマルチエキスパート推論への応用」. エントロピー . 16 (12): 6338– 6381. Bibcode :2014Entrp..16.6338A. doi : 10.3390/e16126338 . ^ Dhillon, Inderjit ; Tropp, Joel (2008). 「ブレグマンダイバージェンスを伴う行列近接問題」 (PDF) . SIAM Journal on Matrix Analysis and Applications . 29 (4): 1120– 1146. doi :10.1137/060649021. はブレグマンダイバージェンスであり、 その 交点が空でない閉凸集合の有限集合であるとする。入力行列 Y が与えられたとき、我々の目標は、交点において Y からの乖離が最小となる行列 X を生成すること、すなわち を条件として 解くことである 。軽度の条件下では、解は一意であり、凸集合への直交射影の特性に類似した変分特性を持つ（詳細はs2.4、1125ページを参照）。 D φ {\displaystyle D_{\varphi }} C k {\displaystyle C_{k}} min X D φ ( X ; Y ) {\displaystyle \min _{\mathbf {X} }D_{\varphi }(\mathbf {X} ;\mathbf {Y} )} X ∈ ⋂ k C k {\textstyle \mathbf {X} \in \bigcap _{k}C_{k}} ^ Nielsen, Frank (2021年10月28日). 「指数多項式分布への混合分布変換による単変量ガウス混合分布間のJeffreys Divergenceの高速近似」. Entropy . 23 (11): 1417. arXiv : 2107.05901 . Bibcode :2021Entrp..23.1417N. doi : 10.3390/e23111417 . ISSN 1099-4300. PMC 8619509. PMID 34828115 . ^ ニールセン, フランク; ボワソナ, ジャン＝ダニエル ; ノック, リチャード (2010年9月). 「ブレグマン・ボロノイ図：特性、アルゴリズム、そして応用」. 離散幾何学と計算幾何学 . 44 (2): 281– 307. arXiv : 0709.2196 . doi :10.1007/s00454-010-9256-1. ISSN 0179-5376. S2CID 1327029. ^ ab Jiao, Jiantao; Courtade, Thomas; No, Albert; Venkat, Kartik; Weissman, Tsachy (2014年12月). 「情報尺度：バイナリアルファベットの奇妙な事例」. IEEE Transactions on Information Theory . 60 (12): 7616– 7626. arXiv : 1404.6810 . Bibcode :2014ITIT...60.7616J. doi :10.1109/TIT.2014.2360184. ISSN 0018-9448. S2CID 13108908. ^ ニールセン, フランク; ノック, リチャード (2019). 「ブレグマン弦発散」. 幾何学的情報科学 . コンピュータサイエンス講義ノート. 第11712巻. pp. 299– 308. arXiv : 1810.09113 . doi :10.1007/978-3-030-26980-7_31. ISBN 978-3-030-26979-1 . S2CID 53046425。 ^ 「Matrix Information Geometry」、R. Nock、B. Magdalou、E. Briys、F. Nielsen、pdf、本書より ^ Ehsan Amid、Manfred K. Warmuth、Rohan Anil、Tomer Koren (2019). 「Bregman Divergencesに基づくロバストなBi-Tempered Logistic Loss」. Conference on Neural Information Processing Systems. pp. 14987-14996. pdf アリンダム、バナジー。メルグ、スルジャナ。ディロン、インダージット S.ゴーシュ、ジョイディープ (2005)。 「ブレグマン発散によるクラスタリング」。 機械学習研究ジャーナル 。 6 : 1705 ～ 1749 年。 ブレグマン, LM (1967). 「凸集合の共通点を求める緩和法と凸計画問題への応用」. USSR計算数学・数理物理学 . 7 (3): 200– 217. doi :10.1016/0041-5553(67)90040-7. Frigyik, Bela A.; Srivastava, Santosh; Gupta, Maya R. (2008). 「関数的ブレグマンダイバージェンスと分布のベイズ推定」 (PDF) . IEEE Transactions on Information Theory . 54 (11): 5130– 5139. arXiv : cs/0611123 . Bibcode :2008ITIT...54.5130F. doi :10.1109/TIT.2008.929943. S2CID 1254. 2010年8月12日時点のオリジナル (PDF) からのアーカイブ。 アイアー、リシャブ；ビルメス、ジェフ (2012). 「サブモジュラー・ブレグマン・ダイバージェンスとロヴァース・ブレグマン・ダイバージェンスとその応用」 神経情報処理システム会議 。 Frigyik, Bela A.; Srivastava, Santosh; Gupta, Maya R. (2008). 関数微分入門 (PDF) . UWEE技術レポート 2008-0001. ワシントン大学、電気工学部。 2017年2月17日時点の オリジナル (PDF)からアーカイブ。 2014年 3月20日 閲覧 。 Harremoës, Peter (2017). 「凸最適化における発散と十分性」. エントロピー . 19 (5): 206. arXiv : 1701.01010 . Bibcode :2017Entrp..19..206H. doi : 10.3390/e19050206 . ニールセン, フランク; ノック, リチャード (2009). 「表現的ブレグマンダイバージェンスに関する双対ボロノイ図」 (PDF) . 第6回ボロノイ図国際シンポジウム講演論文集 . IEEE. doi :10.1109/ISVD.2009.15. ニールセン, フランク; ノック, リチャード (2007). 「対称化されたブレグマンダイバージェンスの重心について」 arXiv : 0711.3242 [cs.CG]. Nielsen, Frank; Boissonnat, Jean-Daniel; Nock, Richard (2007). 「Bregman Voronoi 図の可視化」 (PDF) . Proc. 23rd ACM Symposium on Computational Geometry (ビデオトラック) . doi :10.1145/1247069.1247089. ボワソナ, ジャン＝ダニエル ; ニールセン, フランク; ノック, リチャード (2010). 「ブレグマン・ボロノイ図」. 離散幾何学と計算幾何学 . 44 (2): 281– 307. arXiv : 0709.2196 . doi :10.1007/s00454-010-9256-1. S2CID 1327029. ニールセン, フランク; ノック, リチャード (2006). 「最小包囲ブレグマン球の近似について」. 第22回ACM計算幾何学シンポジウム講演論文集 . pp. 485– 486. doi :10.1145/1137856.1137931. ニールセン, フランク; ボルツ, シルヴァン (2011). 「バーベア＝ラオとバッタチャリヤの重心」. IEEE Transactions on Information Theory . 57 (8): 5455– 5466. arXiv : 1004.5049 . Bibcode :2011ITIT...57.5455N. doi :10.1109/TIT.2011.2159046. S2CID 14238708. ニールセン, フランク; ノック, リチャード (2017). 「比較凸性を用いた歪ジェンセンダイバージェンスとブレグマンダイバージェンスの一般化」. IEEE Signal Processing Letters . 24 (8): 1123– 1127. arXiv : 1702.04877 . Bibcode :2017ISPL...24.1123N. doi :10.1109/LSP.2017.2712195. S2CID 31899023. 
![{\displaystyle t\in [0,r]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/575f3a2ba17858e2914e7814c1cb1aa34d1328c2)
![{\displaystyle [x,x+v]\subset S}](https://wikimedia.org/api/rest_v1/media/math/render/svg/5fdb7ff6df479a7c92495a38c560f3fe413a2732)
![{\displaystyle D:\Gamma _{n}\times \Gamma _{n}\to [0,\infty ]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/c8cd9bd3c82705cbb89cded485560bcfb0af0be8)
