Information-theoretic measure
情報理論 において 、 同じ基礎的なイベント セットに対する 2 つの 確率分布 との間の クロスエントロピーは 、セットに使用されるコーディング スキームが、真の分布 ではなく 推定された確率分布 に対して最適化されている場合に、セットから抽出されたイベントを識別するために必要な平均 ビット 数を測定します。 p {\displaystyle p} q {\displaystyle q} q {\displaystyle q} p {\displaystyle p}
意味 与えられた集合上の 分布に対する 分布のクロスエントロピーは次のように定義されます。 q {\displaystyle q} p {\displaystyle p}
H ( p , q ) = − E p [ log q ] , {\displaystyle H(p,q)=-\operatorname {E} _{p}[\log q],}
ここで、は 分布 に関する 期待値 演算子です 。 E p [ ⋅ ] {\displaystyle \operatorname {E} _{p}[\cdot ]} p {\displaystyle p}
定義は、 カルバック・ライブラー距離 、から へ の の発散 （ に関する の 相対エントロピー としても知られる）を使用して定式化される。 D K L ( p ∥ q ) {\displaystyle D_{\mathrm {KL} }(p\parallel q)} p {\displaystyle p} q {\displaystyle q} p {\displaystyle p} q {\displaystyle q}
H ( p , q ) = H ( p ) + D K L ( p ∥ q ) , {\displaystyle H(p,q)=H(p)+D_{\mathrm {KL} }(p\parallel q),}
の エントロピー はどこ ですか ？ H ( p ) {\displaystyle H(p)} p {\displaystyle p}
離散 確率分布 と、 同じ サポート を持つ場合 、これは次のことを意味する。 p {\displaystyle p} q {\displaystyle q} X {\displaystyle {\mathcal {X}}}
H ( p , q ) = − ∑ x ∈ X p ( x ) log q ( x ) . {\displaystyle H(p,q)=-\sum _{x\in {\mathcal {X}}}p(x)\,\log q(x).} （ 式1 ）
連続 分布の場合も同様である。ある基準 測度 （通常は ボレル σ-代数 上の ルベーグ測度 ） に関して、 と が絶対連続であると仮定する必要がある。 と を と に関する 確率 密度 関数 とする 。 すると、 p {\displaystyle p} q {\displaystyle q} r {\displaystyle r} r {\displaystyle r} P {\displaystyle P} Q {\displaystyle Q} p {\displaystyle p} q {\displaystyle q} r {\displaystyle r}
− ∫ X P ( x ) log Q ( x ) d x = E p [ − log Q ] , {\displaystyle -\int _{\mathcal {X}}P(x)\,\log Q(x)\,\mathrm {d} x=\operatorname {E} _{p}[-\log Q],}
そしてそれゆえ
H ( p , q ) = − ∫ X P ( x ) log Q ( x ) d x . {\displaystyle H(p,q)=-\int _{\mathcal {X}}P(x)\,\log Q(x)\,\mathrm {d} x.} （ 式2 ）
注意: この表記法は、 と の 結合エントロピー という別の概念にも使用されます 。 H ( p , q ) {\displaystyle H(p,q)} p {\displaystyle p} q {\displaystyle q}
モチベーション 情報理論 において 、 クラフト・マクミラン定理は 、メッセージを符号化して 複数の可能性の中から1つの値を識別するための直接復号可能な符号化方式は 、 （ は の符号のビット長） 上の 暗黙の確率分布を表すものと見なせることを証明している 。したがって、クロスエントロピーは、 データが実際には分布 に従うにもかかわらず、誤った分布を仮定した場合の、データあたりの期待メッセージ長として解釈できる 。そのため、期待値は真の確率分布上でとられ 、 ではない。 実際、真の分布下での期待メッセージ長 は x i {\displaystyle x_{i}} { x 1 , … , x n } {\displaystyle \{x_{1},\ldots ,x_{n}\}} q ( x i ) = ( 1 2 ) ℓ i {\displaystyle q(x_{i})=\left({\frac {1}{2}}\right)^{\ell _{i}}} { x 1 , … , x n } {\displaystyle \{x_{1},\ldots ,x_{n}\}} ℓ i {\displaystyle \ell _{i}} x i {\displaystyle x_{i}} q {\displaystyle q} p {\displaystyle p} p {\displaystyle p} q . {\displaystyle q.} p {\displaystyle p}
E p [ ℓ ] = − E p [ ln q ( x ) ln ( 2 ) ] = − E p [ log 2 q ( x ) ] = − ∑ x i p ( x i ) log 2 q ( x i ) = − ∑ x p ( x ) log 2 q ( x ) = H ( p , q ) . {\displaystyle {\begin{aligned}\operatorname {E} _{p}[\ell ]&=-\operatorname {E} _{p}\left[{\frac {\ln {q(x)}}{\ln(2)}}\right]\\[1ex]&=-\operatorname {E} _{p}\left[\log _{2}{q(x)}\right]\\[1ex]&=-\sum _{x_{i}}p(x_{i})\,\log _{2}q(x_{i})\\[1ex]&=-\sum _{x}p(x)\,\log _{2}q(x)=H(p,q).\end{aligned}}}
推定 クロスエントロピーを測定する必要があるものの、 の分布が 不明な状況は数多くあります。一例として言語モデリングが挙げられます。 言語モデリング では、トレーニング セットに基づいてモデルを作成し 、テスト セットでそのクロスエントロピーを測定することで、モデルがテスト データを予測する際の精度を評価します。この例では、 は任意のコーパスにおける単語の真の分布であり、 はモデルによって予測された単語の分布です。真の分布が不明であるため、クロスエントロピーを直接計算することはできません。このような場合、クロスエントロピーの推定値は次の式を使用して計算されます。 p {\displaystyle p} T {\displaystyle T} p {\displaystyle p} q {\displaystyle q}
H ( T , q ) = − ∑ i = 1 N 1 N log 2 q ( x i ) {\displaystyle H(T,q)=-\sum _{i=1}^{N}{\frac {1}{N}}\log _{2}q(x_{i})}
ここで 、 はテストセットのサイズ、 はトレーニングセットから推定された 事象の確率です 。言い換えれば、 はテキストのi番目の単語が であるモデルの確率推定値です 。この合計は テストセットの単語全体で平均化されます。これは真のクロスエントロピーの モンテカルロ推定値 であり、テストセットは からのサンプルとして扱われます 。 [ 要出典 ] N {\displaystyle N} q ( x ) {\displaystyle q(x)} x {\displaystyle x} q ( x i ) {\displaystyle q(x_{i})} x i {\displaystyle x_{i}} N {\displaystyle N} p ( x ) {\displaystyle p(x)}
最大尤度との関係 クロスエントロピーは、対数尤度 関数を装って対数を導入するときに分類問題に発生します 。
このセクションでは、異なる離散結果の確率の推定について説明します。このために、 最適化の対象 となる分布のパラメータ化された族を で表します。 条件付きで独立した サンプリングから得られたトレーニング セットから取得した、特定の有限の 値のシーケンスについて考えます。 モデルの 考慮対象のパラメータに割り当てられる尤度は、すべての確率 の積で与えられます 。繰り返し発生する可能性があり、その場合、積の因数は等しくなります。 に等しい値の発生回数が で表されている場合 、その値の頻度は に等しくなります 。 が基礎となる確率分布である場合、 が大きい場合 、 大数の法則 により が 期待されます 。 q θ {\displaystyle q_{\theta }} θ {\displaystyle \theta } N {\displaystyle N} x i {\displaystyle x_{i}} θ {\displaystyle \theta } q θ ( X = x i ) {\displaystyle q_{\theta }(X=x_{i})} x {\displaystyle x} # x {\displaystyle \#x} # x / N {\displaystyle \#x/N} p ( X = x ) {\displaystyle p(X=x)} N {\displaystyle N} p ( X = x ) ≈ # x / N {\displaystyle p(X=x)\approx \#x/N}
尤度関数を分布 からの観測値の積として書きます 。
ここで 、最終行の 対数の計算規則 を使用しています。指数が に等しいことに注目してください 。両辺の対数を取ると、次のようになります
。 対数は 単調増加関数 であるため、 の最大値 はこの最終ステップの影響を受けません。同様に、 の最大値は の係数の影響を受けません。したがって、 尤度の最大化 はクロスエントロピーの最小化に等しいことが わかります。 q θ {\displaystyle q_{\theta }} L ( θ ; x ) = ∏ i q θ ( X = x i ) = ∏ x q θ ( X = x ) # x ≈ ∏ x q θ ( X = x ) N p ( X = x ) = exp log [ ∏ x q θ ( X = x ) N p ( X = x ) ] = exp ( ∑ x N ⋅ p ( X = x ) log q θ ( X = x ) ) , {\displaystyle {\begin{aligned}{\mathcal {L}}(\theta ;{\mathbf {x} })&=\prod _{i}q_{\theta }(X=x_{i})=\prod _{x}q_{\theta }(X=x)^{\#x}\\&\approx \prod _{x}q_{\theta }(X=x)^{Np(X=x)}=\exp \log \left[\prod _{x}q_{\theta }(X=x)^{Np(X=x)}\right]\\&=\exp \left(\sum _{x}N\cdot p(X=x)\log q_{\theta }(X=x)^{}\right),\end{aligned}}} − H ( p , q θ ) {\displaystyle -H(p,q_{\theta })} log L ( θ ; x ) = − N ⋅ H ( p , q θ ) . {\displaystyle \log {\mathcal {L}}(\theta ;{\mathbf {x} })=-N\cdot H(p,q_{\theta }).} θ {\displaystyle \theta } θ {\displaystyle \theta } N {\displaystyle N}
クロスエントロピー最小化 クロスエントロピー最小化は、最適化や稀事象確率推定において頻繁に用いられます。分布を 固定の参照分布 と比較する場合 、クロスエントロピーと KLダイバージェンス は、加法定数 （ は固定されているため）を除いて同一です。 ギブスの不等式 によれば、 は KLダイバージェンスの場合、 はクロスエントロピーの場合の のときに、どちらも最小値をとります 。工学文献では、KLダイバージェンスを最小化する原理（カルバックの「 最小識別情報原理」）は、しばしば 最小クロスエントロピー原理 （MCE）または Minxent と呼ばれます 。 q {\displaystyle q} p {\displaystyle p} p {\displaystyle p} p = q {\displaystyle p=q} 0 {\displaystyle 0} H ( p ) {\displaystyle \mathrm {H} (p)}
しかし、 Kullback–Leibler 情報量 の 記事で論じられているように 、分布は 固定の事前参照分布である場合があり、分布は何らかの制約の下で、可能な限り に近くなるように最適化されます 。この場合、2 つの最小化は同等では ありません 。このため文献ではあいまいさが生じており、一部の著者は、交差エントロピーを ではなく と言い換えることで矛盾を解決しようとしています。実際、交差エントロピーは 相対エントロピー の別名です 。Cover と Thomas [1]および Good [2] を参照してください 。 一方、 は文献と一致しておらず、誤解を招く可能性があります。 q {\displaystyle q} p {\displaystyle p} q {\displaystyle q} D K L ( p ∥ q ) {\displaystyle D_{\mathrm {KL} }(p\parallel q)} H ( p , q ) {\displaystyle H(p,q)} H ( p , q ) {\displaystyle H(p,q)}
クロスエントロピー損失関数とロジスティック回帰 クロスエントロピーは、機械学習 と 最適化 における損失関数を定義するために使用できます 。Mao、Mohri、Zhong (2023) は、機械学習におけるクロスエントロピー損失関数群の特性について、理論的な学習保証や 敵対的 学習への拡張など、広範な分析を行っています。 [3] 真の確率 は真のラベルであり、与えられた分布は現在のモデルの予測値です。これは 対数損失 （または 対数損失 [4] 、 ロジスティック損失 ） とも呼ばれます。 [5] 「対数損失」と「クロスエントロピー損失」という用語は同じ意味で使用されます。 [6] p i {\displaystyle p_{i}} q i {\displaystyle q_{i}}
より具体的には、観測値を2つのクラス（多くの場合、単に と と ラベル付けされる）に分類できる 2値回帰 モデルを考える。入力特徴ベクトル が与えられた場合、与えられた観測値に対するモデルの出力は 確率として解釈でき、これが観測値を分類するための基礎となる。 ロジスティック回帰 では、確率は ロジスティック関数 を用いてモデル化される。ここで は 入力ベクトル の何らかの関数であり 、通常は単なる線形関数である。出力の確率 は で与えられる。 ここで、重みベクトルは 勾配降下 法 などの適切なアルゴリズムによって最適化される 。同様に、出力を求める相補確率 は で与えられる。 0 {\displaystyle 0} 1 {\displaystyle 1} x {\displaystyle x} g ( z ) = 1 / ( 1 + e − z ) {\displaystyle g(z)=1/(1+e^{-z})} z {\displaystyle z} x {\displaystyle x} y = 1 {\displaystyle y=1} q y = 1 = y ^ ≡ g ( w ⋅ x ) = 1 1 + e − w ⋅ x , {\displaystyle q_{y=1}={\hat {y}}\equiv g(\mathbf {w} \cdot \mathbf {x} )={\frac {1}{1+e^{-\mathbf {w} \cdot \mathbf {x} }}},} w {\displaystyle \mathbf {w} } y = 0 {\displaystyle y=0} q y = 0 = 1 − y ^ . {\displaystyle q_{y=0}=1-{\hat {y}}.}
および という 表記法を設定したら、 クロスエントロピーを使用して と の相違度の尺度を取得できます 。 p ∈ { y , 1 − y } {\displaystyle p\in \{y,1-y\}} q ∈ { y ^ , 1 − y ^ } {\displaystyle q\in \{{\hat {y}},1-{\hat {y}}\}} p {\displaystyle p} q {\displaystyle q} H ( p , q ) = − ∑ m p m log q m = − y log y ^ − ( 1 − y ) log ( 1 − y ^ ) . {\displaystyle {\begin{aligned}H(p,q)&=-\sum _{m}p_{m}\log q_{m}=-y\log {\hat {y}}-(1-y)\log(1-{\hat {y}}).\end{aligned}}}
このプロットは、バイナリ分類器の学習に使用できる様々な損失関数を示しています。ターゲット出力が1の場合のみを示しています。ターゲットが出力と等しい場合、損失は0であり、出力の不正確さが増すにつれて損失が増加することがわかります。 ロジスティック回帰は、通常、訓練対象となるすべての観測値について対数損失を最適化します。これは、サンプル内の平均クロスエントロピーを最適化することと同じです。エラーに異なるペナルティを課す他の損失関数も訓練に使用でき、その結果、最終的なテスト精度が異なるモデルが生成されます。 [7] 例えば、 各サンプルが でインデックス付けされたサンプルがあるとします 。 損失関数の 平均は次のように与えられます。 N {\displaystyle N} n = 1 , … , N {\displaystyle n=1,\dots ,N}
J ( w ) = 1 N ∑ i = 1 N H ( p i , q i ) = − 1 N ∑ i = 1 N [ y i log y ^ i + ( 1 − y i ) log ( 1 − y ^ i ) ] , {\displaystyle {\begin{aligned}J(\mathbf {w} )&={\frac {1}{N}}\sum _{i=1}^{N}H(p_{i},q_{i})\\&=-{\frac {1}{N}}\sum _{i=1}^{N}\ \left[y_{i}\log {\hat {y}}_{i}+(1-y_{i})\log(1-{\hat {y}}_{i})\right],\end{aligned}}}
ここで 、 は 前と同じロジスティック関数です。 y ^ i ≡ g ( w ⋅ x i ) = 1 / ( 1 + e − w ⋅ x i ) {\displaystyle {\hat {y}}_{i}\equiv g(\mathbf {w} \cdot \mathbf {x} _{i})=1/(1+e^{-\mathbf {w} \cdot \mathbf {x} _{i}})} g ( z ) {\displaystyle g(z)}
線形回帰との関係 ロジスティック回帰のクロスエントロピー損失の勾配は、線形 回帰 の二乗誤差損失の勾配（定数倍まで）に等しい。これを確認するには、次のように定義する。
X ≡ ( 1 x 11 … x 1 p 1 x 21 ⋯ x 2 p ⋮ ⋮ ⋮ 1 x N 1 ⋯ x N p ) ∈ R N × ( p + 1 ) , {\displaystyle X\equiv {\begin{pmatrix}1&x_{11}&\dots &x_{1p}\\1&x_{21}&\cdots &x_{2p}\\\vdots &\vdots &&\vdots \\1&x_{N1}&\cdots &x_{Np}\\\end{pmatrix}}\in \mathbb {R} ^{N\times (p+1)},} y i ^ = g ( w ⋅ X i ) = 1 1 + exp ( − w 0 − w 1 x i 1 − ⋯ − w p x i p ) , {\displaystyle {\hat {y_{i}}}=g(\mathbf {w} \cdot X^{i})={\frac {1}{1+\exp(-w_{0}-w_{1}x_{i1}-\dots -w_{p}x_{ip})}},} L ( w ) ≡ − ∑ i = 1 N [ y i ln y ^ i + ( 1 − y i ) ln ( 1 − y ^ i ) ] . {\displaystyle L(\mathbf {w} )\equiv -\sum _{i=1}^{N}\left[y_{i}\ln {\hat {y}}_{i}+(1-y_{i})\ln(1-{\hat {y}}_{i})\right].}
結果はこうだ
∇ w L ( w ) = X T ( y ^ − y ) . {\displaystyle \nabla _{\mathbf {w} }L(\mathbf {w} )=X^{\mathsf {T}}({\hat {\mathbf {y} }}-\mathbf {y} ).}
証明： 任意 の y ^ i {\displaystyle {\hat {y}}_{i}}
∂ ∂ w 0 ln y ^ i = ∂ ∂ w 0 ln 1 1 + e − w 0 + k 0 = e − w 0 + k 0 1 + e − w 0 + k 0 = 1 − y ^ i , {\displaystyle {\frac {\partial }{\partial w_{0}}}\ln {\hat {y}}_{i}={\frac {\partial }{\partial w_{0}}}\ln {\frac {1}{1+e^{-w_{0}+k_{0}}}}={\frac {e^{-w_{0}+k_{0}}}{1+e^{-w_{0}+k_{0}}}}=1-{\hat {y}}_{i},} ∂ ∂ w 0 ln ( 1 − y ^ i ) = ∂ ∂ w 0 ln ( 1 − 1 1 + e − w 0 + k 0 ) = − 1 1 + e − w 0 + k 0 = − y ^ i {\displaystyle {\frac {\partial }{\partial w_{0}}}\ln(1-{\hat {y}}_{i})={\frac {\partial }{\partial w_{0}}}\ln \left(1-{\frac {1}{1+e^{-w_{0}+k_{0}}}}\right)={\frac {-1}{1+e^{-w_{0}+k_{0}}}}=-{\hat {y}}_{i}} そしてこうして ∂ L ∂ w 0 = − ∑ i = 1 N [ y i ( 1 − y ^ i ) − ( 1 − y i ) y ^ i ] = − ∑ i = 1 N [ y i − y ^ i ] = ∑ i = 1 N X i 0 ( y ^ i − y i ) . {\displaystyle {\begin{aligned}{\frac {\partial L}{\partial w_{0}}}&=-\sum _{i=1}^{N}[y_{i}(1-{\hat {y}}_{i})-(1-y_{i}){\hat {y}}_{i}]=-\sum _{i=1}^{N}[y_{i}-{\hat {y}}_{i}]=\sum _{i=1}^{N}X_{i0}({\hat {y}}_{i}-y_{i}).\end{aligned}}}
同様に、任意の とに対して、 となり 、したがって y ^ i {\displaystyle {\hat {y}}_{i}} j = 1 , … , p {\displaystyle j=1,\dots ,p} ∂ ∂ w j ln y ^ i = ∂ ∂ w j ln 1 1 + e − w j x i j + k j = x i j e − w j x i j + k j 1 + e − w j x i j + k j = x i j ( 1 − y ^ i ) , {\displaystyle {\frac {\partial }{\partial w_{j}}}\ln {\hat {y}}_{i}={\frac {\partial }{\partial w_{j}}}\ln {\frac {1}{1+e^{-w_{j}x_{ij}+k_{j}}}}={\frac {x_{ij}e^{-w_{j}x_{ij}+k_{j}}}{1+e^{-w_{j}x_{ij}+k_{j}}}}=x_{ij}(1-{\hat {y}}_{i}),} ∂ ∂ w j ln ( 1 − y ^ i ) = ∂ ∂ w j ln [ 1 − 1 1 + e − w j x i j + k j ] = − x i j 1 + e − w j x i j + k j = − x i j y ^ i {\displaystyle {\frac {\partial }{\partial w_{j}}}\ln(1-{\hat {y}}_{i})={\frac {\partial }{\partial w_{j}}}\ln \left[1-{\frac {1}{1+e^{-w_{j}x_{ij}+k_{j}}}}\right]={\frac {-x_{ij}}{1+e^{-w_{j}x_{ij}+k_{j}}}}=-x_{ij}{\hat {y}}_{i}} ∂ L ∂ w j = − ∑ i = 1 N x i j [ y i ( 1 − y ^ i ) − ( 1 − y i ) y ^ i ] = ∑ i = 1 N X i j ( y ^ i − y i ) . {\displaystyle {\begin{aligned}{\frac {\partial L}{\partial w_{j}}}&=-\sum _{i=1}^{N}x_{ij}[y_{i}(1-{\hat {y}}_{i})-(1-y_{i}){\hat {y}}_{i}]=\sum _{i=1}^{N}X_{ij}({\hat {y}}_{i}-y_{i}).\end{aligned}}}
これらをまとめると、目的の結果が得られます。ここで、損失関数 において （標準的な） ではなく 自然対数を使用していることに注意してください 。これは、結果を 倍に変えるだけです 。さらに、すべての について 、 と を各 に関して定数として 再利用しました 。 l n {\displaystyle ln} l o g {\displaystyle log} l o g 2 {\displaystyle log_{2}} L {\displaystyle L} l o g ( e ) {\displaystyle log(e)} i {\displaystyle i} k 0 := − ∑ l = 1 p w l x i l {\displaystyle k_{0}:=-\sum _{l=1}^{p}w_{l}x_{il}} k j := − w 0 − ∑ l ≠ j w l x i l {\displaystyle k_{j}:=-w_{0}-\sum _{l\neq j}w_{l}x_{il}} w j {\displaystyle w_{j}}
修正されたクロスエントロピー 多様性のあるモデルのアンサンブルを訓練することは、それらを組み合わせることで予測精度が向上するため有益である可能性がある。 [8] [9] 出力を平均化することで分類器
の単純なアンサンブル を組み立てると仮定すると、修正クロスエントロピーは次のように与えられる。 ここで、は分類器 のコスト関数 、 は分類器の出力確率 、 は推定される真の確率、そして は0から1の間のパラメータであり、アンサンブル間で確立したい「多様性」を定義する。これは、 各分類器がアンサンブルに関係なく最善を尽くすことを望む場合、および 分類器が可能な限り多様であることを望む場合である。 K {\displaystyle K} e k = H ( p , q k ) − λ K ∑ j ≠ k H ( q j , q k ) {\displaystyle e^{k}=H(p,q^{k})-{\frac {\lambda }{K}}\sum _{j\neq k}H(q^{j},q^{k})} e k {\displaystyle e^{k}} k t h {\displaystyle k^{th}} q k {\displaystyle q^{k}} k t h {\displaystyle k^{th}} p {\displaystyle p} λ {\displaystyle \lambda } λ = 0 {\displaystyle \lambda =0} λ = 1 {\displaystyle \lambda =1}
参照
参考文献 ^ Thomas M. Cover、Joy A. Thomas著『情報理論の要素』第2版、Wiley、80ページ ^ IJ Good, 仮説定式化のための最大エントロピー、特に多次元分割表の場合、Ann. of Math. Statistics、1963 ^ Anqi Mao, Mehryar Mohri, Yutao Zhong. クロスエントロピー損失関数：理論分析と応用. ICML 2023. https://arxiv.org/pdf/2304.07288.pdf ^ジョージ・サイベンコ、ダイアン・P・オリアリー、ヨルマ・リッサネン著 『情報の符号化、抽出、配布の数学』 1999年、82ページ ^ Probability for Machine Learning: Discover How To Harness Uncertainty With Python 、Jason Brownlee、2019年、p. 220：「ロジスティック損失とは、ロジスティック回帰モデルを最適化するために一般的に使用される損失関数を指します。対数損失（紛らわしい）または単に対数損失と呼ばれることもあります。」 ^ "sklearn.metrics.log_loss". APIリファレンス — scikit-learn 1.7.1ドキュメント . ^ Noel, Mathew; Banerjee, Arindam; D, Geraldine Bessie Amali; Muthiah-Nakarajan, Venkataraman (2023年3月17日). 「分類とロバスト回帰における代替損失関数は人工ニューラルネットワークの精度を向上させることができる」 arXiv : 2303.09935 [cs.NE]. ^ Shoham, Ron; Permuter, Haim H. (2019). 「修正されたクロスエントロピーコスト：分類アンサンブルにおける多様性を促進するためのアプローチ（概要発表）」. Dolev, Shlomi; Hendler, Danny; Lodha, Sachin; Yung, Moti (編). サイバーセキュリティ暗号と機械学習 – 第3回国際シンポジウム, CSCML 2019, ベエルシェバ, イスラエル, 2019年6月27～28日, Proceedings . Lecture Notes in Computer Science. Vol. 11527. Springer. pp. 202– 207. doi :10.1007/978-3-030-20951-3_18. ISBN 978-3-030-20950-6 。 ^ Shoham, Ron; Permuter, Haim (2020). 「修正されたクロスエントロピーコスト：明示的な多様性促進のための枠組み」 arXiv : 2007.08140 [cs.LG].
さらに読む de Boer, Kroese, DP, Mannor, S., Rubinstein, RY (2005). クロスエントロピー法のチュートリアル. Annals of Operations Research 134 (1), 19–67. 
![{\displaystyle H(p,q)=-\operatorname {E} _{p}[\log q],}](https://wikimedia.org/api/rest_v1/media/math/render/svg/268ca3c9c9fe130daec06698c3b5f5f3fdabc45b)
![{\displaystyle \operatorname {E} _{p}[\cdot ]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/3d73eb62679ea07b8a7fb08f08469ae43539cd78)
![{\displaystyle -\int _{\mathcal {X}}P(x)\,\log Q(x)\,\mathrm {d} x=\演算子名 {E} _{p}[-\log Q],}](https://wikimedia.org/api/rest_v1/media/math/render/svg/3f9b06c86a803a0cd88d1303b6b22c5dcc5e8182)
![{\displaystyle {\begin{aligned}\operatorname {E} _{p}[\ell ]&=-\operatorname {E} _{p}\left[{\frac {\ln {q(x)}}{\ln(2)}}\right]\\[1ex]&=-\operatorname {E} _{p}\left[\log _{2}{q(x)}\right]\\[1ex]&=-\sum _{x_{i}}p(x_{i})\,\log _{2}q(x_{i})\\[1ex]&=-\sum _{x}p(x)\,\log _{2}q(x)=H(p,q).\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/a99243c3b8797770fe2c6548b53b2b49d695924f)
![{\displaystyle {\begin{aligned}{\mathcal {L}}(\theta ;{\mathbf {x} })&=\prod _{i}q_{\theta }(X=x_{i})=\prod _{x}q_{\theta }(X=x)^{\#x}\\&\approx \prod _{x}q_{\theta }(X=x)^{Np(X=x)}=\exp \log \left[\prod _{x}q_{\theta }(X=x)^{Np(X=x)}\right]\\&=\exp \left(\sum _{x}N\cdot p(X=x)\log q_{\theta }(X=x)^{}\right),\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/d0c4d2f928be3f7898e628ec4cfa5de3ac5ed260)
![{\displaystyle {\begin{aligned}J(\mathbf {w} )&={\frac {1}{N}}\sum _{i=1}^{N}H(p_{i},q_{i})\\&=-{\frac {1}{N}}\sum _{i=1}^{N}\ \left[y_{i}\log {\hat {y}}_{i}+(1-y_{i})\log(1-{\hat {y}}_{i})\right],\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/4d40a458c610bd50039d30635ec0b95ca6359c8a)
![{\displaystyle L(\mathbf {w} )\equiv -\sum _{i=1}^{N}\left[y_{i}\ln {\hat {y}}_{i}+(1-y_{i})\ln(1-{\hat {y}}_{i})\right].}](https://wikimedia.org/api/rest_v1/media/math/render/svg/24987fe9319e4968b07055ebcc267e479ff022de)
![{\displaystyle {\begin{aligned}{\frac {\partial L}{\partial w_{0}}}&=-\sum _{i=1}^{N}[y_{i}(1-{\hat {y}}_{i})-(1-y_{i}){\hat {y}}_{i}]=-\sum _{i=1}^{N}[y_{i}-{\hat {y}}_{i}]=\sum _{i=1}^{N}X_{i0}({\hat {y}}_{i}-y_{i}).\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/3cbfb2528211248135c1614b365ce81ec8c3a0a8)
![{\displaystyle {\frac {\partial }{\partial w_{j}}}\ln(1-{\hat {y}}_{i})={\frac {\partial }{\partial w_{j}}}\ln \left[1-{\frac {1}{1+e^{-w_{j}x_{ij}+k_{j}}}}\right]={\frac {-x_{ij}}{1+e^{-w_{j}x_{ij}+k_{j}}}}=-x_{ij}{\hat {y}}_{i}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/bcfb9f3e31cffdc0cd73d03cc27818c67de64be1)
![{\displaystyle {\begin{aligned}{\frac {\partial L}{\partial w_{j}}}&=-\sum _{i=1}^{N}x_{ij}[y_{i}(1-{\hat {y}}_{i})-(1-y_{i}){\hat {y}}_{i}]=\sum _{i=1}^{N}X_{ij}({\hat {y}}_{i}-y_{i}).\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/0e1a2bfb76c38864345bf2732979be299b06bb23)
