専門家の製品

プロダクト・オブ・エキスパート（PoE）は機械学習の手法です。複数のより単純な分布からの出力を組み合わせることで、確率分布をモデル化します。これは1999年にジェフリー・ヒントンによって提案され、同時にそのようなシステムのパラメータを学習するためのアルゴリズムも提案されました^{[1] 。}

核となるアイデアは、複数の確率分布（「エキスパート」）の密度関数を乗算することで組み合わせることです。これにより、PoE分類は「AND」演算に似たものになります。これにより、各エキスパートは、問題の全次元をカバーすることなく、いくつかの次元に基づいて意思決定を行うことができます。 $P(y|\{x_{k}\})={\frac {1}{Z}}\prod _{j=1}^{M}f_{j}(y|\{x_{k}\})$

ここで、は正規化されていないエキスパート密度であり、は正規化定数です（パーティション関数（統計力学）を参照）。 $f_{j}$ $Z=\int {\mbox{d}}y\prod _{j=1}^{M}f_{j}(y|\{x_{k}\})$

これは、複数の確率分布を「または」演算（密度関数の重み付け和）で組み合わせる混合モデルと関連している（ただし、全く異なる）。 $p_{j}(y|\{x_{j}\})$ $P(y|\{x_{k}\})=\sum _{j=1}^{M}\alpha _{j}p_{j}(y|\{x_{k}\}),$ $\sum _{j}\alpha _{j}=1.$

専門家はそれぞれ、高次元空間における制約を強制する責任を負っていると理解できます。データポイントが尤もらしいと判断されるのは、どの専門家もそのポイントが制約に違反していると言わない場合のみです。

これを最適化するため、彼は対照的ダイバージェンス最小化アルゴリズムを提案した。^{[2]このアルゴリズムは、}制限付きボルツマンマシンの学習に最もよく使用される。

参照

参考文献

^ Hinton, GE (1999). 「専門家の成果」.第9回国際人工ニューラルネットワーク会議: ICANN '99 . 第1巻. IEE. pp. 1– 6. doi :10.1049/cp:19991075. ISBN 978-0-85296-721-8。
^ Hinton, Geoffrey E. (2002-08-01). 「対照的ダイバージェンスの最小化によるエキスパートの学習」 .ニューラル・コンピュテーション. 14 (8): 1771– 1800. doi :10.1162/089976602760128018. ISSN 0899-7667. PMID 12180402. S2CID 207596505.

外部リンク

Scholarpediaの専門家による記事
ジェフリー・ヒントンのPoEに関する記事

この機械学習関連の記事はスタブです。記事を拡張することでWikipediaに貢献できます。

[1] Hinton, GE (1999). 「専門家の成果」.第9回国際人工ニューラルネットワーク会議: ICANN '99 . 第1巻. IEE. pp. 1– 6. doi :10.1049/cp:19991075. ISBN 978-0-85296-721-8。

[2] Hinton, Geoffrey E. (2002-08-01). 「対照的ダイバージェンスの最小化によるエキスパートの学習」 .ニューラル・コンピュテーション. 14 (8): 1771– 1800. doi :10.1162/089976602760128018. ISSN 0899-7667. PMID 12180402. S2CID 207596505.