ボルツマンマシン

Type of stochastic recurrent neural network

ボルツマンマシンの例をグラフィカルに表現したものです。各無向辺は依存関係を表します。この例では、隠れユニットが3つ、可視ユニットが4つあります。これは制約付きボルツマンマシンではありません。

ボルツマンマシン（外場付きシェリントン・カークパトリックモデル、あるいは確率的イジングモデルとも呼ばれる）は、ルートヴィヒ・ボルツマンにちなんで名付けられ、外場付きスピングラスモデル、すなわちシェリントン・カークパトリックモデルであり^[1]、確率的イジングモデルの一種である。これは、認知科学の文脈で応用されている統計物理学の手法である^[2]。また、マルコフ確率場としても分類される^[3]。

ボルツマンマシンは、その訓練アルゴリズムの局所性とヘブビアン性（ヘブの規則に従って訓練される）、そしてその並列性や単純な物理プロセスとのダイナミクスの類似性から、理論的に興味深いものです。制約のない接続性を持つボルツマンマシンは、機械学習や推論における実用的な問題への有用性が証明されていませんが、接続性が適切に制約されていれば、学習は実用的な問題に有用なほど効率的に行うことができます。^[4]

これらは、統計力学におけるボルツマン分布にちなんで名付けられており、この分布はサンプリング関数に用いられています。ジェフリー・ヒントン、テリー・セジュスキー、ヤン・ルカンによって認知科学コミュニティ、特に機械学習において広く普及・推進されました。^[2]スピングラスのハミルトニアンをエネルギーとして用い、学習タスクを定義するための出発点として用いることから、「エネルギーベースモデル」（EBM） の一部として広く普及・推進されました。^[5]

構造

いくつかの重みがラベル付けされたボルツマンマシンのグラフィカル表現。各無向辺は依存関係を表し、重み で重み付けされています。この例では、3つの隠れユニット（青）と4つの可視ユニット（白）があります。これは制限付きボルツマンマシンではありません。 ${\displaystyle w_{ij}}$

ボルツマンマシンは、シェリントン・カークパトリックモデルと同様に、ネットワーク全体に対して定義された総エネルギー（ハミルトニアン）を持つユニットのネットワークです。ユニットは2値の結果を生成します。ボルツマンマシンの重みは確率的です。ボルツマンマシンの全体エネルギーは、ホップフィールドネットワークやイジングモデルの全体エネルギーと同一の形式をとります。 ${\displaystyle E}$

${\displaystyle E=-\left(\sum _{i<j}w_{ij}\,s_{i}\,s_{j}+\sum _{i}\theta _{i}\,s_{i}\right)}$

どこ：

• ${\displaystyle w_{ij}}$ユニットとユニット間の接続強度です。 ${\displaystyle j}$ ${\displaystyle i}$
• ${\displaystyle s_{i}}$はユニット の状態 です。 ${\displaystyle s_{i}\in \{0,1\}}$ ${\displaystyle i}$
• ${\displaystyle \theta _{i}}$は、グローバルエネルギー関数におけるユニットのバイアスです。（は、ユニットの活性化しきい値です。） ${\displaystyle i}$ ${\displaystyle -\theta _{i}}$

多くの場合、重みは対角線に沿ってゼロを持つ対称行列として表されます。 ${\displaystyle w_{ij}}$ ${\displaystyle W=[w_{ij}]}$

単位状態確率

対称的な重み行列を仮定すると、と表記される単一ユニットが 0 (オフ) と 1 (オン) に等しいことから生じるグローバル エネルギーの差は、次のように表されます。 ${\displaystyle i}$ ${\displaystyle \Delta E_{i}}$

${\displaystyle \Delta E_{i}=\sum _{j>i}w_{ij}\,s_{j}+\sum _{j<i}w_{ji}\,s_{j}+\theta _{i}}$

これは 2 つの状態のエネルギーの差として表現できます。

${\displaystyle \Delta E_{i}=E_{\text{i=off}}-E_{\text{i=on}}}$

各状態のエネルギーをボルツマン因子（状態のエネルギーがその状態の負の対数確率に比例するというボルツマン分布の特性）に従って相対確率に置き換えると、次のようになります。

${\displaystyle \Delta E_{i}=-k_{B}T\ln(p_{\text{i=off}})-(-k_{B}T\ln(p_{\text{i=on}})),}$

ここではボルツマン定数であり、温度という人工的な概念に吸収されます。ユニットがオンまたはオフになる確率の合計が になることに注目すると、次のように簡略化できます。 ${\displaystyle k_{B}}$ ${\displaystyle T}$ ${\displaystyle 1}$

${\displaystyle -{\frac {\Delta E_{i}}{k_{B}T}}=-\ln(p_{i={\text{on}}})+\ln(p_{i={\text{off}}})=\ln {\Big (}{\frac {1-p_{i={\text{on}}}}{p_{i={\text{on}}}}}{\Big )}=\ln(p_{i={\text{on}}}^{-1}-1),}$

したがって、-番目のユニットが ${\displaystyle i}$

${\displaystyle p_{i={\text{on}}}={\frac {1}{1+\exp {\Big (}-{\frac {\Delta E_{i}}{k_{B}T}}{\Big )}}},}$

ここで、スカラーは系の 温度と呼ばれます。この関係は、ボルツマンマシンの変種における確率表現に見られるロジスティック関数の源です。 ${\displaystyle T}$

平衡状態

ネットワークは、ユニットを繰り返し選択し、その状態をリセットすることで動作します。ある温度で十分長い時間動作させた後、ネットワークの全体状態の確率は、ボルツマン分布に従って、その全体状態のエネルギーのみに依存し、プロセス開始時の初期状態には依存しなくなります。つまり、全体状態の対数確率はエネルギーに対して線形になります。この関係は、マシンが「熱平衡状態」にあるとき、つまり全体状態の確率分布が収束しているときに成立します。高温からネットワークを動作させると、その温度は徐々に低下し、より低い温度で熱平衡に達します。その後、エネルギーレベルが全体最小値付近で変動する分布に収束する可能性があります。このプロセスはシミュレーテッドアニーリングと呼ばれます。

ネットワークを学習させ、これらの状態に対する外部分布に従ってグローバル状態に収束する確率を高めるには、最も高い確率を持つグローバル状態が最低のエネルギーを得るように重みを設定する必要があります。これは学習によって行われます。

トレーニング

ボルツマン マシンのユニットは、「可視」ユニット V と「隠れた」ユニット H に分かれています。可視ユニットは、「環境」から情報を受け取るユニットです。つまり、トレーニング セットはセット V 上のバイナリ ベクトルのセットです。トレーニング セット上の分布は で示されます。 ${\displaystyle P^{+}(V)}$

ボルツマンマシンが熱平衡に達すると、全体状態における分布は収束する。この分布を隠れユニット上で周辺化した後、 と表記する。 ${\displaystyle P^{-}(V)}$

私たちの目標は、機械が生成した分布を用いて「真の」分布を近似することです。2つの分布の類似性は、カルバック・ライブラー情報によって測定されます。 ${\displaystyle P^{+}(V)}$ ${\displaystyle P^{-}(V)}$ ${\displaystyle G}$

${\displaystyle G=\sum _{v}{P^{+}(v)\ln \left({\frac {P^{+}(v)}{P^{-}(v)}}\right)}}$

ここで、和は のすべての可能な状態にわたって となる。は重みの関数である。なぜなら、重みは状態のエネルギーを決定し、エネルギーはボルツマン分布の仮定に従って を決定するからである。上の勾配降下法アルゴリズムは、の偏微分を重みに関して減算することで、与えられた重み を変化させる。 ${\displaystyle V}$ ${\displaystyle G}$ ${\displaystyle P^{-}(v)}$ ${\displaystyle G}$ ${\displaystyle w_{ij}}$ ${\displaystyle G}$

ボルツマンマシンの学習には、2つのフェーズが交互に繰り返される。1つは「正」フェーズで、可視ユニットの状態は学習セットからサンプリングされた特定の2値状態ベクトルに固定される（ に従って）。もう1つは「負」フェーズで、ネットワークは自由に動作できる。つまり、入力ノードの状態のみが外部データによって決定され、出力ノードの状態は変化しない。与えられた重み に対する勾配は、次式で表される。^[2] ${\displaystyle P^{+}}$ ${\displaystyle w_{ij}}$

${\displaystyle {\frac {\partial {G}}{\partial {w_{ij}}}}=-{\frac {1}{R}}[p_{ij}^{+}-p_{ij}^{-}]}$

どこ：

• ${\displaystyle p_{ij}^{+}}$機械が正相で平衡状態にあるときにユニットiとjが両方ともオンになる確率です。
• ${\displaystyle p_{ij}^{-}}$機械が負の位相で平衡状態にあるときにユニットiとjが両方ともオンになる確率です。
• ${\displaystyle R}$学習率を表す

この結果は、熱平衡状態では、ネットワークが自由実行されているときのあらゆるグローバル状態の確率がボルツマン分布によって与えられるという事実から生じます。 ${\displaystyle P^{-}(s)}$ ${\displaystyle s}$

この学習則は生物学的に妥当です。なぜなら、重みを変化させるために必要な情報は「局所的」情報によってのみ提供されるからです。つまり、接続（生物学的にはシナプス）は、それが接続する2つのニューロン以外の情報を必要としません。これは、バックプロパゲーションなどの他の多くのニューラルネットワーク学習アルゴリズムにおける接続に必要な情報よりも、生物学的に現実的です。

ボルツマンマシンの学習では、機械学習で多用されるEMアルゴリズムは使用されません。KLダイバージェンスを最小化することは、データの対数尤度を最大化することと等価です。したがって、学習手順では、観測データの対数尤度に対して勾配上昇法を実行します。これは、Mステップにおける完全データ尤度の期待値を最大化する前に、隠れノードの事後分布を計算する必要があるEMアルゴリズムとは対照的です。

バイアスのトレーニングも同様ですが、単一ノードのアクティビティのみを使用します。

${\displaystyle {\frac {\partial {G}}{\partial {\theta _{i}}}}=-{\frac {1}{R}}[p_{i}^{+}-p_{i}^{-}]}$

問題

理論的には、ボルツマンマシンは非常に汎用的な計算媒体です。例えば、写真で訓練すれば、写真の分布を理論的にモデル化し、そのモデルを用いて例えば部分的な写真を完成させることができます。

残念ながら、ボルツマン マシンには重大な実際上の問題があります。つまり、マシンを些細なサイズよりも大きくすると、正しく学習しなくなるようです。^{[引用が必要]}これは、具体的には次のような重要な影響によるものです。

• 平衡統計を収集するために必要な時間は、マシンのサイズと接続強度の大きさに応じて指数関数的に増加する^[要出典]
• 接続されたユニットの活性化確率が0と1の中間にある場合、接続強度はより可塑的になり、いわゆる分散トラップに陥ります。最終的な効果は、ノイズによって接続強度がランダムウォークを辿り、活動が飽和するまで続くことです。

種類

制限付きボルツマンマシン

制限付きボルツマンマシンのグラフィカル表現。4つの青いユニットは隠れユニットを表し、3つの赤いユニットは可視状態を表します。制限付きボルツマンマシンでは、隠れユニットと可視ユニット間の接続（依存関係）のみが存在し、同じ種類のユニット間の接続（隠れユニット間の接続、可視ユニットと可視ユニット間の接続）は存在しません。

一般的なボルツマンマシンでは学習は非現実的ですが、隠れユニットと可視ユニット間の層内接続を許さない、つまり可視ユニット同士、隠れユニット同士の接続を許さない制限付きボルツマンマシン（RBM）では、非常に効率的に学習を行うことができます。1つのRBMを学習した後、その隠れユニットの活動を、より高次のRBMを学習するためのデータとして扱うことができます。このRBMの積み重ね方法は、多層の隠れユニットを効率的に学習することを可能にし、最も一般的なディープラーニング戦略の一つです。新しい層が追加されるたびに、生成モデルは向上します。

制限付きボルツマンマシンの拡張により、バイナリデータではなく実数値データを使用できるようになります。^[6]

RBMの実用的な応用例の一つは音声認識である。^[7]

ディープボルツマンマシン

ディープ・ボルツマン・マシン（DBM）は、複数の隠れ確率変数層を持つ2値対マルコフ確率場（無向確率グラフィカルモデル）の一種である。これは、対称的に結合した確率的2値ユニットのネットワークである。可視ユニットの集合と隠れユニットの層で構成される。同じ層のユニットは接続されていない（RBMと同様）。DBMでは、ベクトルνに割り当てられる確率は ${\displaystyle {\boldsymbol {\nu }}\in \{0,1\}^{D}}$ ${\displaystyle {\boldsymbol {h}}^{(1)}\in \{0,1\}^{F_{1}},{\boldsymbol {h}}^{(2)}\in \{0,1\}^{F_{2}},\ldots ,{\boldsymbol {h}}^{(L)}\in \{0,1\}^{F_{L}}}$

${\displaystyle p({\boldsymbol {\nu }})={\frac {1}{Z}}\sum _{h}e^{\sum _{ij}W_{ij}^{(1)}\nu _{i}h_{j}^{(1)}+\sum _{jl}W_{jl}^{(2)}h_{j}^{(1)}h_{l}^{(2)}+\sum _{lm}W_{lm}^{(3)}h_{l}^{(2)}h_{m}^{(3)}},}$

ここで、は隠れユニットの集合、はモデルパラメータであり、可視-隠れ相互作用と隠れ-隠れ相互作用を表す。^[8] DBNでは、上位2層のみが制限付きボルツマンマシン（無向グラフィカルモデル）を形成し、下位層は有向生成モデルを形成する。DBMでは、すべての層が対称かつ無向である。 ${\displaystyle {\boldsymbol {h}}=\{{\boldsymbol {h}}^{(1)},{\boldsymbol {h}}^{(2)},{\boldsymbol {h}}^{(3)}\}}$ ${\displaystyle \theta =\{{\boldsymbol {W}}^{(1)},{\boldsymbol {W}}^{(2)},{\boldsymbol {W}}^{(3)}\}}$

DBNと同様に、DBMは物体認識や音声認識などのタスクにおいて、入力の複雑で抽象的な内部表現を学習することができます。限られたラベル付きデータを用いて、大量のラベルなし感覚入力データを用いて構築された表現を微調整します。しかし、DBNや深層畳み込みニューラルネットワークとは異なり、DBMはボトムアップとトップダウンの両方向で推論と学習を行うため、入力構造の表現をより適切に解明することができます。^{[9] [10] [11]}

しかし、DBMの速度の遅さは、その性能と機能を制限します。DBMでは正確な最尤学習は不可能であるため、近似的な最尤学習しか不可能です。別の選択肢として、平均場推論を用いてデータ依存の期待値を推定し、マルコフ連鎖モンテカルロ法（MCMC）を用いて期待される十分統計量を近似する方法があります。^[8]この近似推論は各テスト入力に対して行う必要があり、DBMにおける単一のボトムアップパスよりも約25～50倍遅くなります。そのため、大規模なデータセットでは共同最適化は非現実的であり、特徴表現などのタスクにおけるDBMの使用は制限されます。

スパイクアンドスラブRBM

ガウスRBMのような実数値入力による深層学習の必要性から、連続値入力をバイナリ潜在変数でモデル化するスパイクアンドスラブRBM（ss RBM ）が生まれた。^[12]基本RBMとその変種と同様に、スパイクアンドスラブRBMは二部グラフであるが、G RBMと同様に、可視ユニット（入力）は実数値である。違いは隠れ層にあり、各隠れユニットにはバイナリスパイク変数と実数値スラブ変数がある。スパイクはゼロにおける離散確率質量であるのに対し、スラブは連続領域上の密度である。 ^[13]これらが混在することで事前分布が形成される。^[14]

ss RBMの拡張であるμ-ss RBMは、エネルギー関数に追加の項を用いることで、より高度なモデリング能力を提供します。これらの項の1つは、観測値が与えられた場合にスラブ変数を周辺化することで、スパイク変数の条件付き分布を形成することを可能にします。

数学では

より一般的な数学的設定では、ボルツマン分布はギブス測度とも呼ばれます。統計学や機械学習では、対数線形モデルと呼ばれます。深層学習では、ボルツマン分布はボルツマンマシンなどの確率的ニューラルネットワークの標本分布に用いられます。

歴史

ボルツマンマシンは、デイビッド・シェリントンとスコット・カークパトリックによるシェリントン・カークパトリックスピングラスモデルに基づいています。^[15]ジョン・ホップフィールドによる1982年の重要な論文では、統計力学の手法、主に当時（1970年代）開発されたスピングラス理論を連想記憶（後に「ホップフィールドネットワーク」と名付けられました）の研究に適用しました。^[16]

このようなエネルギーベースのモデルを認知科学に適用する最初の貢献は、ジェフリー・ヒントンとテリー・セジュスキーの論文に現れました。^{[17] [18] [19] 1995年のインタビューで、ヒントンは1983年の2月か3月にホップフィールドネットワークにおける}シミュレーテッドアニーリングに関する講演を行う予定だったので、講演用の学習アルゴリズムを設計する必要があり、その結果としてボルツマン機械学習アルゴリズムが生まれたと述べています。^[20]

アニールされたギブスサンプリングを用いたイジングモデルを適用するというアイデアは、ダグラス・ホフスタッターのコピーキャットプロジェクト（1984年）で使用されました。^{[21] [22]}

ボルツマンマシンの定式化において統計力学との明確な類似性が示された結果、物理学から借用した用語（例えば「エネルギー」）が使用され、この分野の標準となりました。この用語の広範な採用は、その使用が統計力学からの様々な概念や手法の採用につながったという事実によって促進された可能性があります。シミュレーテッドアニーリングを推論に利用するという様々な提案は、明らかに独立していました。

同様の考え方（エネルギー関数の符号の変化を伴う）は、ポール・スモレンスキーの「調和理論」にも見られます。^{[23]イジングモデルは}マルコフ確率場へと一般化することができ、言語学、ロボット工学、コンピュータービジョン、人工知能など幅広い分野で応用されています。

2024年、ホップフィールドとヒントンは、ボルツマンマシンなどの機械学習への基礎的貢献によりノーベル物理学賞を受賞しました。 ^[24]

参照

• 制限付きボルツマンマシン
• ヘルムホルツマシン
• マルコフ確率場（MRF）
• イジングモデル（レンツ・イジングモデル）
• ホップフィールドネットワーク

参考文献

1. シェリントン、デイビッド；カークパトリック、スコット（1975）、「スピングラスの可解モデル」、フィジカル・レビュー・レターズ、35（35）：1792– 1796、Bibcode：1975PhRvL..35.1792S、doi：10.1103/PhysRevLett.35.1792
2. Ackley, David H.; Hinton, Geoffrey E.; Sejnowski, Terrence J. (1985). 「ボルツマンマシンのための学習アルゴリズム」(PDF) .認知科学. 9 (1): 147– 169. doi : 10.1207/s15516709cog0901_7 . 2011年7月18日時点のオリジナル(PDF)からのアーカイブ。
3. Hinton, Geoffrey E. (2007-05-24). 「ボルツマンマシン」. Scholarpedia . 2 (5): 1668. Bibcode :2007SchpJ...2.1668H. doi : 10.4249/scholarpedia.1668 . ISSN  1941-6016.
4. Osborn, Thomas R. (1990年1月1日). 「局所抑制を用いたボルツマンマシンの高速ティーチング」.国際ニューラルネットワーク会議. Springer Netherlands. pp. 785. doi :10.1007/978-94-009-0643-3_76. ISBN 978-0-7923-0831-7。
5. Nijkamp, E.; Hill, M. E; Han, T. (2020)「エネルギーベースモデルのMCMCベース最大尤度学習の解剖学について」AAAI人工知能会議論文集、4 (34): 5272– 5280、arXiv : 1903.12370、doi : 10.1609/aaai.v34i04.5973
6. Recent Developments in Deep Learning、2010年3月22日、2021年12月22日時点のオリジナルよりアーカイブ、 2020年2月17日閲覧。
7. Yu, Dong; Dahl, George; Acero, Alex; Deng, Li (2011). 「コンテキスト依存型事前学習済みディープニューラルネットワークによる大規模語彙音声認識」(PDF) . Microsoft Research . 20 .
8. Hinton, Geoffrey; Salakhutdinov, Ruslan (2012). 「深層ボルツマンマシンの事前学習のためのより良い方法」(PDF) . Advances in Neural Networks . 3 : 1– 9. 2017年8月13日時点のオリジナル(PDF)からアーカイブ。 2017年8月18日閲覧。
9. Hinton, Geoffrey; Salakhutdinov, Ruslan (2009). 「ディープ・ボルツマン・マシンの効率的な学習」(PDF) .第12回国際人工知能統計会議議事録. 第3巻. pp.  448– 455. 2015年11月6日時点のオリジナル(PDF)からアーカイブ。 2017年8月18日閲覧。
10. ベンジオ、ヨシュア;ルカン、ヤン (2007)。 「AI に向けた学習アルゴリズムのスケーリング」(PDF)。モントリオール大学(プレプ​​リント)。
11. Larochelle, Hugo; Salakhutdinov, Ruslan (2010). 「ディープ・ボルツマン・マシンの効率的な学習」(PDF) . Proceedings of the Thirteenth International Conference on Artificial Intelligence and Statistics . pp.  693– 700. 2017年8月14日時点のオリジナル(PDF)からアーカイブ。 2017年8月18日閲覧。
12. Courville, Aaron; Bergstra, James; Bengio, Yoshua (2011). 「スパイクとスラブによる制限付きボルツマンマシン」(PDF) . JMLR: ワークショップおよび会議議事録. 15 : 233– 241. 2016年3月4日時点のオリジナル(PDF)からアーカイブ。 2019年8月25日閲覧。
13. Courville, Aaron; Bergstra, James; Bengio, Yoshua (2011). 「Spike-and-Slab RBMによる画像の教師なしモデル」(PDF) . Proceedings of the 28th International Conference on Machine Learning . Vol. 10. pp.  1– 8. 2016年3月4日時点のオリジナル(PDF)からアーカイブ。 2019年8月25日閲覧。
14. Mitchell, T; Beauchamp, J (1988). 「線形回帰におけるベイズ変数選択」アメリカ統計学会誌. 83 (404): 1023– 1032. doi :10.1080/01621459.1988.10478694.
15. Sherrington, David; Kirkpatrick, Scott (1975-12-29). 「スピングラスの可解モデル」. Physical Review Letters . 35 (26): 1792– 1796. Bibcode :1975PhRvL..35.1792S. doi :10.1103/physrevlett.35.1792. ISSN  0031-9007.
16. Hopfield, JJ (1982). 「ニューラルネットワークと創発的な集合的計算能力を備えた物理システム」.米国科学アカデミー紀要. 79 (8). [sn]: 2554–8 . Bibcode :1982PNAS...79.2554H. doi : 10.1073/pnas.79.8.2554 . OCLC  848771572. PMC 346238. PMID  6953413 . 
17. Hinton, Geoffery; Sejnowski, Terrence J. (1983年5月). 「協調計算の分析」. 第5回認知科学会年次大会. ニューヨーク州ロチェスター. 2020年2月17日閲覧。^{[永久リンク切れ]}
18. Hinton, Geoffrey E.; Sejnowski, Terrence J. (1983年6月).最適知覚推論. IEEE Con​​ference on Computer Vision and Pattern Recognition (CVPR). ワシントンD.C.: IEEE Computer Society. pp.  448– 453.
19. Fahlman SE, Hinton GE, Sejnowski TJ. AIのための超並列アーキテクチャ：NETL、Thistle、およびボルツマンマシン. Genesereth MR編. AAAI-83.ワシントンD.C.: AAAI; 1983. pp. 109–113
20. 第16章。エドワード・ローゼンフェルド、ジェームズ・A・アンダーソン編。2000年。『Talking Nets: An Oral History of Neural Networks』。復刻版。MITプレス。
21. ホフスタッター, DR (1984年1月). 「コピーキャット・プロジェクト：非決定論と創造的アナロジーの実験」 . 国防技術情報センター. OCLC  227617764.
22. ホフスタッター、ダグラス・R. (1988). 「強磁性のイジングモデルを用いたアナロジーへの非決定論的アプローチ」カイアニエロ、エドゥアルド・R. (編).認知プロセスの物理学. ニュージャージー州ティーネック: ワールド・サイエンティフィック. ISBN 9971-5-0255-0. OCLC  750950619。
23. スモレンスキー、ポール. 「動的システムにおける情報処理：調和理論の基礎」（1986年）：194-281。
24. ジョンストン、ハミッシュ (2024年10月8日). 「ジョン・ホップフィールドとジェフリー・ヒントンが2024年のノーベル物理学賞を共同受賞」. Physics World . 2024年10月18日閲覧。

さらに読む

• Hinton, GE ; Sejnowski, TJ (1986). DE Rumelhart; JL McClelland (編). 「ボルツマンマシンにおける学習と再学習」(PDF) .並列分散処理：認知の微細構造の探究. 第1巻：基礎編：282–317 . 2010年7月5日時点のオリジナル(PDF)からアーカイブ。
• Hinton, GE (2002). 「対照的ダイバージェンスの最小化によるエキスパートの学習」(PDF) .ニューラル・コンピュテーション. 14 (8): 1771– 1800. CiteSeerX  10.1.1.35.8613 . doi :10.1162/089976602760128018. PMID  12180402. S2CID  207596505.
• Hinton, GE ; Osindero, S.; Teh, Y. (2006). 「ディープビリーフネットのための高速学習アルゴリズム」(PDF) . Neural Computation . 18 (7): 1527– 1554. CiteSeerX  10.1.1.76.1541 . doi :10.1162/neco.2006.18.7.1527. PMID  16764513. S2CID  2309950.
• コタリ P (2020): https://www.forbes.com/sites/tomtaulli/2020/02/02/coronavirus-can-ai-artificial-intelligence-make-a-difference/?sh=1eca51e55817
• Montufar, Guido (2018). 「制限付きボルツマンマシン：概要とレビュー」（PDF） . MPI MiS（プレプリント） . 2023年8月1日閲覧。

外部リンク

• ボルツマンマシンに関するヒントンによるScholarpediaの記事
• ジェフリー・ヒントンによる Google での講演

Retrieved from "https://en.wikipedia.org/w/index.php?title=Boltzmann_machine&oldid=1272470985"