インセプションスコア

Image algorithm

インセプションスコア（IS）は、生成的敵対ネットワーク（GAN）^[1]などの生成画像モデルによって生成された画像の品質を評価するために使用されるアルゴリズムです。このスコアは、生成モデルによって生成された画像サンプル（通常約30,000枚）に、別途事前学習済みのInception v3画像分類モデルを適用し、その出力に基づいて計算されます。インセプションスコアは、以下の条件が満たされる場合に最大化されます。

1. Inceptionv3モデルによって生成された画像に対して予測されるラベル分布のエントロピーは最小化されます。言い換えれば、分類モデルは各画像に対して単一のラベルを自信を持って予測します。直感的には、これは生成された画像が「鮮明」または「明瞭」であるという要件に相当します。
2. 分類モデルの予測は、すべての可能なラベルにわたって均等に分布しています。これは、生成モデルの出力が「多様」であるという要件に対応しています。^[2]

これは、関連するフレシェ開始距離に多少取って代わられました。^[3]インセプションスコアは生成された画像の分布のみを評価するのに対し、FIDは生成された画像の分布を実際の画像セット（「グラウンドトゥルース」）の分布と比較します。

意味

画像の空間とラベルの空間という2つの空間があるとする。ラベルの空間は有限である。 ${\displaystyle \Omega _{X}}$ ${\displaystyle \Omega _{Y}}$

を判断したい確率分布とします。 ${\displaystyle p_{gen}}$ ${\displaystyle \Omega _{X}}$

識別器を 型の関数とし、は上のすべての確率分布の集合とする。任意の画像および任意のラベルについて、 は識別器に従って画像がラベル を持つ確率とする。識別器は通常、ImageNet で学習された Inception-v3 ネットワークとして実装される。 $${\displaystyle p_{dis}:\Omega _{X}\to M(\Omega _{Y})}$$ ${\displaystyle M(\Omega _{Y})}$ ${\displaystyle \Omega _{Y}}$ ${\displaystyle x}$ ${\displaystyle y}$ ${\displaystyle p_{dis}(y|x)}$ ${\displaystyle x}$ ${\displaystyle y}$

に対するのInception Scoreは、同等の書き換えには、Jensen の不等式により非負が含まれます。 ${\displaystyle p_{gen}}$ ${\displaystyle p_{dis}}$ $${\displaystyle IS(p_{gen},p_{dis}):=\exp \left(\mathbb {E} _{x\sim p_{gen}}\left[D_{KL}\left(p_{dis}(\cdot |x)\|\int p_{dis}(\cdot |x)p_{gen}(x)dx\right)\right]\right)}$$ $${\displaystyle \ln IS(p_{gen},p_{dis}):=\mathbb {E} _{x\sim p_{gen}}\left[D_{KL}\left(p_{dis}(\cdot |x)\|\mathbb {E} _{x\sim p_{gen}}[p_{dis}(\cdot |x)]\right)\right]}$$ $${\displaystyle \ln IS(p_{gen},p_{dis}):=H[\mathbb {E} _{x\sim p_{gen}}[p_{dis}(\cdot |x)]]-\mathbb {E} _{x\sim p_{gen}}[H[p_{dis}(\cdot |x)]]}$$ ${\displaystyle \ln IS}$

擬似コード:

INPUT識別子。 ${\displaystyle p_{dis}}$

入力ジェネレータ。 ${\displaystyle g}$

ジェネレータからのサンプル画像。 ${\displaystyle x_{i}}$

画像 の条件付きでラベル上の確率分布 を計算します。 ${\displaystyle p_{dis}(\cdot |x_{i})}$ ${\displaystyle x_{i}}$

結果を合計すると、 の経験的推定値が得られます。 ${\displaystyle {\hat {p}}}$ ${\displaystyle \int p_{dis}(\cdot |x)p_{gen}(x)dx}$

ジェネレータからさらに画像をサンプリングし、それぞれについて を計算します。 ${\displaystyle x_{i}}$ ${\displaystyle D_{KL}\left(p_{dis}(\cdot |x_{i})\|{\hat {p}}\right)}$

結果を平均し、その指数をとります。

結果を返します。

解釈

インセプション スコアが高いほど「優れている」と解釈され、それは「鮮明で独特な」写真コレクションであることを意味します。 ${\displaystyle p_{gen}}$

${\displaystyle \ln IS(p_{gen},p_{dis})\in [0,\ln N]}$、ここでは可能なラベルの合計数です。 ${\displaystyle N}$

${\displaystyle \ln IS(p_{gen},p_{dis})=0}$ほぼすべての の場合、つまり は完全に「区別できない」ことを意味します。つまり、からサンプリングされた任意の画像に対して、識別器は全く同じラベル予測 を返します。 ${\displaystyle x\sim p_{gen}}$ $${\displaystyle p_{dis}(\cdot |x)=\int p_{dis}(\cdot |x)p_{gen}(x)dx}$$ ${\displaystyle p_{gen}}$ ${\displaystyle x}$ ${\displaystyle p_{gen}}$ ${\displaystyle p_{dis}(\cdot |x)}$

最高の開始スコアは、次の 2 つの条件が両方とも満たされている場合にのみ達成されます。 ${\displaystyle N}$

• ほぼすべての において、分布は1つのラベルに集中しています。つまり、 です。つまり、 からサンプリングされたすべての画像は、識別器によって正確に分類されます。 ${\displaystyle x\sim p_{gen}}$ ${\displaystyle p_{dis}(y|x)}$ ${\displaystyle H_{y}[p_{dis}(y|x)]=0}$ ${\displaystyle p_{gen}}$
• すべてのラベル について、生成された画像のうち とラベル付けされた画像の割合はちょうど です。つまり、生成された画像はすべてのラベルに均等に分布しています。 ${\displaystyle y}$ ${\displaystyle y}$ ${\displaystyle \mathbb {E} _{x\sim p_{gen}}[p_{dis}(y|x)]={\frac {1}{N}}}$

参考文献

1. Salimans, Tim; Goodfellow, Ian; Zaremba, Wojciech; Cheung, Vicki; Radford, Alec; Chen, Xi; Chen, Xi (2016). 「GANのトレーニングのための改良技術」.ニューラル情報処理システムの進歩. 29. Curran Associates, Inc. arXiv : 1606.03498 .
2. Frolov, Stanislav; Hinz, Tobias; Raue, Federico; Hees, Jörn; Dengel, Andreas (2021年12月). 「敵対的テキスト画像合成：レビュー」. Neural Networks . 144 : 187–209 . arXiv : 2101.09983 . doi : 10.1016/j.neunet.2021.07.019 . PMID  34500257. S2CID  231698782.
3. Borji, Ali (2022). 「GAN評価尺度の長所と短所：新たな展開」. Computer Vision and Image Understanding . 215 103329. arXiv : 2103.09396 . doi :10.1016/j.cviu.2021.103329. S2CID  232257836.

Retrieved from "https://en.wikipedia.org/w/index.php?title=Inception_score&oldid=1315242471"