ベイズ計画法

Statistics concept

ベイズ計画法は、必要な情報が少ない場合に確率モデルを指定して問題を解決する手法を持つ形式論および方法論です。

エドウィン・T・ジェインズは、不完全で不確実な情報に基づく合理的推論において、確率は論理の代替手段であり、論理の拡張として捉えられると提唱した。彼はその創始的な著書『確率論：科学の論理』^[1]においてこの理論を展開し、「ロボット」と名付けた装置を提唱した。これは物理的な装置ではなく、確率的推論を自動化する推論エンジンであり、論理ではなく確率のためのPrologのようなものであった。ベイズ計画法^[2]は、この「ロボット」の形式的かつ具体的な実装である。

ベイズ計画法は、例えばベイジアンネットワーク、動的ベイジアンネットワーク、カルマンフィルタ、隠れマルコフモデルといったグラフィカルモデルを規定するための代数的形式主義とも捉えられる。実際、ベイズ計画法はベイジアンネットワークよりも汎用性が高く、確率因子グラフと同等の表現力を持つ。^[3]

形式主義

ベイズ計画法は、確率分布の族を特定する手段です

ベイズ計画の構成要素は以下の通りである。^[4]

${\displaystyle {\text{Program}}{\begin{cases}{\text{Description}}{\begin{cases}{\text{Specification}}(\pi ){\begin{cases}{\text{Variables}}\\{\text{Decomposition}}\\{\text{Forms}}\\\end{cases}}\\{\text{Identification (based on }}\delta )\end{cases}}\\{\text{Question}}\end{cases}}}$

1. プログラムは説明と質問から構成されます。
2. 記述は、プログラマーによって与えられた仕様 ( ) と、仕様で完全には指定されていないパラメータの識別または学習プロセス (データセット ( ) を使用) を使用して構築されます。 ${\displaystyle \pi }$ ${\displaystyle \delta }$
3. 仕様は、関連する変数のセット、分解、およびフォームのセットから構成されます。
4. フォームは、パラメトリック フォームか、他のベイジアン プログラムへの質問のいずれかです。
5. 質問では、どの確率分布を計算する必要があるかを指定します。

説明

説明の目的は、一連の実験データと何らかの仕様が与えられた場合に、一連の変数の結合確率分布を計算する効果的な方法を指定することです。この結合分布は次のように表されます。^[5] ${\displaystyle \left\{X_{1},X_{2},\cdots ,X_{N}\right\}}$ ${\displaystyle \delta }$ ${\displaystyle \pi }$ ${\displaystyle P\left(X_{1}\wedge X_{2}\wedge \cdots \wedge X_{N}\mid \delta \wedge \pi \right)}$

予備知識を指定するために、プログラマーは次のことを行う必要があります。 ${\displaystyle \pi }$

1. 結合分布が定義される関連変数 のセットを定義します。 ${\displaystyle \left\{X_{1},X_{2},\cdots ,X_{N}\right\}}$
2. 結合分布を分解します（関連する独立確率または条件付き確率に分割します）。
3. 各分布の形式を定義します（たとえば、各変数に対して、確率分布のリストの1 つ）。

分解

部分集合の分割が与えられた場合、各変数はこれらの部分集合の1つに対応して定義されます。各変数は、部分集合に属する変数の結合として得られます。ベイズの定理を再帰的に適用すると、次のようになります ${\displaystyle \left\{X_{1},X_{2},\ldots ,X_{N}\right\}}$ ${\displaystyle K}$ ${\displaystyle K}$ ${\displaystyle L_{1},\cdots ,L_{K}}$ ${\displaystyle L_{k}}$ ${\displaystyle \left\{X_{k_{1}},X_{k_{2}},\cdots \right\}}$ ${\displaystyle k^{th}}$

${\displaystyle {\begin{aligned}&P\left(X_{1}\wedge X_{2}\wedge \cdots \wedge X_{N}\mid \delta \wedge \pi \right)\\={}&P\left(L_{1}\wedge \cdots \wedge L_{K}\mid \delta \wedge \pi \right)\\={}&P\left(L_{1}\mid \delta \wedge \pi \right)\times P\left(L_{2}\mid L_{1}\wedge \delta \wedge \pi \right)\times \cdots \times P\left(L_{K}\mid L_{K-1}\wedge \cdots \wedge L_{1}\wedge \delta \wedge \pi \right)\end{aligned}}}$

条件付き独立性仮説は、さらなる単純化を可能にする。変数 の条件付き独立性仮説は、連言 に現れる変数の中から任意の変数を選択し、それらの選択された変数の連言 を とラベル付けし、次のように設定することによって定義される。 ${\displaystyle L_{k}}$ ${\displaystyle X_{n}}$ ${\displaystyle L_{k-1}\wedge \cdots \wedge L_{2}\wedge L_{1}}$ ${\displaystyle R_{k}}$

${\displaystyle P\left(L_{k}\mid L_{k-1}\wedge \cdots \wedge L_{1}\wedge \delta \wedge \pi \right)=P\left(L_{k}\mid R_{k}\wedge \delta \wedge \pi \right)}$

すると次のようになります:

${\displaystyle {\begin{aligned}&P\left(X_{1}\wedge X_{2}\wedge \cdots \wedge X_{N}\mid \delta \wedge \pi \right)\\={}&P\left(L_{1}\mid \delta \wedge \pi \right)\times P\left(L_{2}\mid R_{2}\wedge \delta \wedge \pi \right)\times \cdots \times P\left(L_{K}\mid R_{K}\wedge \delta \wedge \pi \right)\end{aligned}}}$

より単純な分布の積としての結合分布のこのような単純化は分解と呼ばれ、連鎖律を使用して導出されます。

これにより、各変数が条件付けバーの左側に最大1回出現することが保証され、これは数学的に有効な分解を記述するための必要かつ十分な条件となります。^[6]

形式

積に現れる各分布は、パラメトリック形式（つまり関数）または別のベイズ計画への質問のいずれかに関連付けられます ${\displaystyle P\left(L_{k}\mid R_{k}\wedge \delta \wedge \pi \right)}$ ${\displaystyle f_{\mu }\left(L_{k}\right)}$ ${\displaystyle P\left(L_{k}\mid R_{k}\wedge \delta \wedge \pi \right)=P\left(L\mid R\wedge {\widehat {\delta }}\wedge {\widehat {\pi }}\right)}$

形式 の場合、一般に は、または 、あるいはその両方に依存するパラメータのベクトルです。学習は、データセット を用いてこれらのパラメータの一部が計算されるときに行われます。 ${\displaystyle f_{\mu }\left(L_{k}\right)}$ ${\displaystyle \mu }$ ${\displaystyle R_{k}}$ ${\displaystyle \delta }$ ${\displaystyle \delta }$

ベイズプログラミングの重要な特徴は、他のベイズプログラムへの質問を、新しいベイズプログラムの定義の構成要素として利用できることです。これは、仕様とデータによって定義された別のベイズプログラムによって行われる推論によって得られます。これは、従来のプログラミングにおけるサブルーチンの呼び出しに似ており、階層モデルを容易に構築できます。 ${\displaystyle P\left(L_{k}\mid R_{k}\wedge \delta \wedge \pi \right)}$ ${\displaystyle {\widehat {\pi }}}$ ${\displaystyle {\widehat {\delta }}}$

質問

説明（すなわち、 ）が与えられた場合、検索変数、既知の変数、自由変数の3つの集合に分割することで質問が得られます ${\displaystyle P\left(X_{1}\wedge X_{2}\wedge \cdots \wedge X_{N}\mid \delta \wedge \pi \right)}$ ${\displaystyle \left\{X_{1},X_{2},\cdots ,X_{N}\right\}}$

3 つの変数、、は、これらのセットに属する変数の結合として定義されます。 ${\displaystyle Searched}$ ${\displaystyle Known}$ ${\displaystyle Free}$

質問は分布の集合として定義されます。

${\displaystyle P\left(Searched\mid {\text{Known}}\wedge \delta \wedge \pi \right)}$

は の基数として多くの「インスタンス化された質問」で構成され、各インスタンス化された質問は次の分布になります。 ${\displaystyle Known}$

${\displaystyle P\left({\text{Searched}}\mid {\text{Known}}\wedge \delta \wedge \pi \right)}$

推論

結合分布が与えられれば、以下の一般的な推論を用いて、あらゆる可能性のある問題を計算することが常に可能です ${\displaystyle P\left(X_{1}\wedge X_{2}\wedge \cdots \wedge X_{N}\mid \delta \wedge \pi \right)}$

${\displaystyle {\begin{aligned}&P\left({\text{Searched}}\mid {\text{Known}}\wedge \delta \wedge \pi \right)\\={}&\sum _{\text{Free}}\left[P\left({\text{Searched}}\wedge {\text{Free}}\mid {\text{Known}}\wedge \delta \wedge \pi \right)\right]\\={}&{\frac {\displaystyle \sum _{\text{Free}}\left[P\left({\text{Searched}}\wedge {\text{Free}}\wedge {\text{Known}}\mid \delta \wedge \pi \right)\right]}{\displaystyle P\left({\text{Known}}\mid \delta \wedge \pi \right)}}\\={}&{\frac {\displaystyle \sum _{\text{Free}}\left[P\left({\text{Searched}}\wedge {\text{Free}}\wedge {\text{Known}}\mid \delta \wedge \pi \right)\right]}{\displaystyle \sum _{{\text{Free}}\wedge {\text{Searched}}}\left[P\left({\text{Searched}}\wedge {\text{Free}}\wedge {\text{Known}}\mid \delta \wedge \pi \right)\right]}}\\={}&{\frac {1}{Z}}\times \sum _{\text{Free}}\left[P\left({\text{Searched}}\wedge {\text{Free}}\wedge {\text{Known}}\mid \delta \wedge \pi \right)\right]\end{aligned}}}$

ここで、最初の等式は周辺化規則から生じ、2番目の等式はベイズの定理から生じ、3番目の等式は周辺化の2回目の適用に対応します。分母は正規化項のようで、定数 に置き換えることができます。 ${\displaystyle Z}$

理論的には、これによりあらゆるベイズ推論問題を解くことができます。しかし、実際には、網羅的かつ正確な計算コストは​​ほとんどの場合に大きすぎます。 ${\displaystyle P\left({\text{Searched}}\mid {\text{Known}}\wedge \delta \wedge \pi \right)}$

結合分布をその分解に置き換えると次のようになります。

${\displaystyle {\begin{aligned}&P\left({\text{Searched}}\mid {\text{Known}}\wedge \delta \wedge \pi \right)\\={}&{\frac {1}{Z}}\sum _{\text{Free}}\left[\prod _{k=1}^{K}\left[P\left(L_{i}\mid K_{i}\wedge \pi \right)\right]\right]\end{aligned}}}$

これは通常、問題の次元が低次元分布の積に分解することによって大幅に削減されるため、計算がはるかに簡単な式になります。

例

ベイジアンスパム検出

ベイジアンスパムフィルタリングの目的は、迷惑メールを排除することです

問題の定式化は非常に簡単です。電子メールは、非スパムとスパムの2つのカテゴリのいずれかに分類する必要があります。電子メールを分類するために利用できる唯一の情報は、そのコンテンツ、つまり単語の集合です。これらの単語を順序を考慮せずに使用するモデルは、一般的に「バッグ・オブ・ワード・モデル」と呼ばれます。

さらに、分類器はユーザーに適応し、経験から学習する能力も備えている必要があります。初期の標準設定から開始し、ユーザーが自身の判定に同意しない場合、分類器は内部パラメータを修正する必要があります。これにより、分類器はユーザーの基準に適応し、非スパムとスパムを区別できるようになります。分類対象となるメールが増えるにつれて、分類結果も向上していくでしょう。

変数

このプログラムを書くために必要な変数は次のとおりです

1. ${\displaystyle Spam}$: バイナリ変数。電子メールがスパムでない場合は false、それ以外の場合は true になります。
2. ${\displaystyle W_{0},W_{1},\ldots ,W_{N-1}}$:バイナリ変数。辞書の単語がテキスト内に存在する場合は true になります。 ${\displaystyle N}$ ${\displaystyle W_{n}}$ ${\displaystyle n^{th}}$

これらのバイナリ変数は、電子メールに関するすべての情報を合計します。 ${\displaystyle N+1}$

分解

結合分布から始めて、ベイズの定理を再帰的に適用すると、次の式が得られます

${\displaystyle {\begin{aligned}&P({\text{Spam}}\wedge W_{0}\wedge \cdots \wedge W_{N-1})\\={}&P({\text{Spam}})\times P(W_{0}\mid {\text{Spam}})\times P(W_{1}\mid {\text{Spam}}\wedge W_{0})\\&\times \cdots \\&\times P\left(W_{N-1}\mid {\text{Spam}}\wedge W_{0}\wedge \cdots \wedge W_{N-2}\right)\end{aligned}}}$

これは正確な数学的表現です。

テキストの性質（スパムかどうか）が分かっている単語の出現確率は、他の単語の出現確率とは独立していると仮定することで、この仮定は大幅に単純化されます。これはナイーブベイズの仮定であり、このスパムフィルターはナイーブベイズモデルとなります。

たとえば、プログラマーは次のように想定できます。

${\displaystyle P(W_{1}\mid {\text{Spam}}\land W_{0})=P(W_{1}\mid {\text{Spam}})}$

最終的に得るもの：

${\displaystyle P({\text{Spam}}\land W_{0}\land \ldots \land W_{N-1})=P({\text{Spam}})\prod _{n=0}^{N-1}[P(W_{n}\mid {\text{Spam}})]}$

この種の仮定は、単純ベイズの仮定として知られています。これは、単語間の独立性が明らかに完全には真ではないという意味で「単純」です。例えば、単語のペアの出現が単独の出現よりも重要である可能性があることを完全に無視しています。しかし、プログラマーはこの仮説を仮定し、モデルと関連する推論を開発して、それがどれほど信頼性が高く効率的であるかをテストすることができます

媒介変数形式

同時分布を計算するには、プログラマーは分解に現れる分布 を指定する必要があります ${\displaystyle N+1}$

1. ${\displaystyle P({\text{Spam}})}$事前定義は、例えば ${\displaystyle P([{\text{Spam}}=1])=0.75}$
2. それぞれの 形式は、ラプラス継承規則を使用して指定できます(これは、これまでに見たことのない単語のゼロ頻度問題に対処するための擬似カウント ベースの平滑化手法です)。 ${\displaystyle N}$ ${\displaystyle P(W_{n}\mid {\text{Spam}})}$
   1. ${\displaystyle P(W_{n}\mid [{\text{Spam}}={\text{false}}])={\frac {1+a_{f}^{n}}{2+a_{f}}}}$
   2. ${\displaystyle P(W_{n}\mid [{\text{Spam}}={\text{true}}])={\frac {1+a_{t}^{n}}{2+a_{t}}}}$

ここで、 は非スパムメールにおける単語の出現回数、 は非スパムメールの総数を表します。同様に、 はスパムメールにおける単語の出現回数、 はスパムメールの総数を表します。 ${\displaystyle a_{f}^{n}}$ ${\displaystyle n^{th}}$ ${\displaystyle a_{f}}$ ${\displaystyle a_{t}^{n}}$ ${\displaystyle n^{th}}$ ${\displaystyle a_{t}}$

識別

パラメータ、、にはまだ値がないため、フォームはまだ完全には指定されていませ ん ${\displaystyle N}$ ${\displaystyle P(W_{n}\mid {\text{Spam}})}$ ${\displaystyle 2N+2}$ ${\displaystyle a_{f}^{n=0,\ldots ,N-1}}$ ${\displaystyle a_{t}^{n=0,\ldots ,N-1}}$ ${\displaystyle a_{f}}$ ${\displaystyle a_{t}}$

これらのパラメータの識別は、一連の分類された電子メールをバッチ処理するか、電子メールが到着したときにユーザーの分類を使用してパラメータを増分更新することによって実行できます。

両方の方法を組み合わせることも可能です。つまり、システムは汎用データベースから発行されたこれらのパラメータの初期標準値から開始し、その後、増分学習によって分類器を個々のユーザーに合わせてカスタマイズすることができます。

質問

プログラムに尋ねられる質問は、「与えられたテキストにどの単語が出現し、どの単語が出現しないかがわかっている場合、そのテキストがスパムである確率はどれくらいですか？」です。これは次のように形式化できます

${\displaystyle P({\text{Spam}}\mid w_{0}\wedge \cdots \wedge w_{N-1})}$

これは次のように計算できます。

${\displaystyle {\begin{aligned}&P({\text{Spam}}\mid w_{0}\wedge \cdots \wedge w_{N-1})\\={}&{\frac {\displaystyle P({\text{Spam}})\prod _{n=0}^{N-1}[P(w_{n}\mid {\text{Spam}})]}{\displaystyle \sum _{\text{Spam}}[P({\text{Spam}})\prod _{n=0}^{N-1}[P(w_{n}\mid {\text{Spam}})]]}}\end{aligned}}}$

分母は正規化定数のようです。スパムかどうかを判定するためにこれを計算する必要はありません。例えば、比率を計算する簡単な方法があります。

${\displaystyle {\begin{aligned}&{\frac {P([{\text{Spam}}={\text{true}}]\mid w_{0}\wedge \cdots \wedge w_{N-1})}{P([{\text{Spam}}={\text{false}}]\mid w_{0}\wedge \cdots \wedge w_{N-1})}}\\={}&{\frac {P([{\text{Spam}}={\text{true}}])}{P([{\text{Spam}}={\text{false}}])}}\times \prod _{n=0}^{N-1}\left[{\frac {P(w_{n}\mid [{\text{Spam}}={\text{true}}])}{P(w_{n}\mid [{\text{Spam}}={\text{false}}])}}\right]\end{aligned}}}$

この計算は積だけを必要とするため、より高速かつ簡単です。 ${\displaystyle 2N}$

ベイズ計画

ベイジアンスパムフィルタプログラムは、以下によって完全に定義されます。

${\displaystyle \Pr {\begin{cases}Ds{\begin{cases}Sp(\pi ){\begin{cases}Va:{\text{Spam}},W_{0},W_{1}\ldots W_{N-1}\\Dc:{\begin{cases}P({\text{Spam}}\land W_{0}\land \ldots \land W_{n}\land \ldots \land W_{N-1})\\=P({\text{Spam}})\prod _{n=0}^{N-1}P(W_{n}\mid {\text{Spam}})\end{cases}}\\Fo:{\begin{cases}P({\text{Spam}}):{\begin{cases}P([{\text{Spam}}={\text{false}}])=0.25\\P([{\text{Spam}}={\text{true}}])=0.75\end{cases}}\\P(W_{n}\mid {\text{Spam}}):{\begin{cases}P(W_{n}\mid [{\text{Spam}}={\text{false}}])\\={\frac {1+a_{f}^{n}}{2+a_{f}}}\\P(W_{n}\mid [{\text{Spam}}={\text{true}}])\\={\frac {1+a_{t}^{n}}{2+a_{t}}}\end{cases}}\\\end{cases}}\\\end{cases}}\\{\text{Identification (based on }}\delta )\end{cases}}\\Qu:P({\text{Spam}}\mid w_{0}\land \ldots \land w_{n}\land \ldots \land w_{N-1})\end{cases}}}$

ベイジアンフィルタ、カルマンフィルタ、隠れマルコフモデル

ベイズフィルタ（再帰ベイズ推定とも呼ばれる）は、時間発展プロセスのための一般的な確率モデルです。この一般的なアプローチの具体的な例としては、カルマンフィルタや隠れマルコフモデル（HMM）などが挙げられます。

変数

• 変数とは、からの範囲の時間範囲にあると考えられる状態変数の時系列です ${\displaystyle S^{0},\ldots ,S^{T}}$ ${\displaystyle 0}$ ${\displaystyle T}$
• 変数は、同じ期間における観測変数の時系列です。 ${\displaystyle O^{0},\ldots ,O^{T}}$

分解

分解は以下に基づいています。

• システムモデル、遷移モデル、または動的モデルと呼ばれるものに基づいており、これは時刻 の状態から時刻 の状態への遷移を形式化します ${\displaystyle P(S^{t}\mid S^{t-1})}$ ${\displaystyle t-1}$ ${\displaystyle t}$
• は観測モデルと呼ばれ、システムが状態 にあるときに時刻 に観測できるものを表します。 ${\displaystyle P(O^{t}\mid S^{t})}$ ${\displaystyle t}$ ${\displaystyle S^{t}}$
• 時刻 における初期状態: 。 ${\displaystyle 0}$ ${\displaystyle P(S^{0}\wedge O^{0})}$

パラメトリック形式

パラメトリック形式は制約がなく、異なる選択によって異なるよく知られたモデルが生まれます。下記のカルマンフィルタと隠れマルコフモデルを参照してください

質問

このようなモデルに対する典型的な質問は、瞬間からまでの観測がわかっている場合、時間 における状態の確率分布は何かということです。 ${\displaystyle P\left(S^{t+k}\mid O^{0}\wedge \cdots \wedge O^{t}\right)}$ ${\displaystyle t+k}$ ${\displaystyle 0}$ ${\displaystyle t}$

最も一般的なケースは、過去の観測結果を知って現在の状態を検索するベイズフィルタリングです。 ${\displaystyle k=0}$

ただし、過去の観察結果から将来の状態を推定したり、スムージングを行って、その瞬間の前または後に行われた観察結果から過去の状態を復元したりすることも可能です。 ${\displaystyle (k>0)}$ ${\displaystyle (k<0)}$

以下の HMM セクションに示すように、より複雑な質問が行われる場合もあります。

ベイズフィルタは非常に興味深い再帰特性を持っており、それがフィルタの魅力に大きく貢献しています。次の式で簡単に計算できます。 ${\displaystyle (k=0)}$ ${\displaystyle P\left(S^{t}|O^{0}\wedge \cdots \wedge O^{t}\right)}$ ${\displaystyle P\left(S^{t-1}\mid O^{0}\wedge \cdots \wedge O^{t-1}\right)}$

${\displaystyle {\begin{array}{ll}&P\left(S^{t}|O^{0}\wedge \cdots \wedge O^{t}\right)\\=&P\left(O^{t}|S^{t}\right)\times \sum _{S^{t-1}}\left[P\left(S^{t}|S^{t-1}\right)\times P\left(S^{t-1}|O^{0}\wedge \cdots \wedge O^{t-1}\right)\right]\end{array}}}$

この方程式のもう一つの興味深い観点は、予測段階と推定段階という2つの段階があると考えることです。

• 予測フェーズでは、動的モデルと前の瞬間の状態の推定を使用して状態が予測されます。

${\displaystyle {\begin{array}{ll}&P\left(S^{t}|O^{0}\wedge \cdots \wedge O^{t-1}\right)\\=&\sum _{S^{t-1}}\left[P\left(S^{t}|S^{t-1}\right)\times P\left(S^{t-1}|O^{0}\wedge \cdots \wedge O^{t-1}\right)\right]\end{array}}}$

• 推定フェーズでは、最後の観測結果を使用して予測が確認されるか無効になります。

${\displaystyle {\begin{aligned}&P\left(S^{t}\mid O^{0}\wedge \cdots \wedge O^{t}\right)\\={}&P\left(O^{t}\mid S^{t}\right)\times P\left(S^{t}|O^{0}\wedge \cdots \wedge O^{t-1}\right)\end{aligned}}}$

ベイズ計画

${\displaystyle Pr{\begin{cases}Ds{\begin{cases}Sp(\pi ){\begin{cases}Va:\\S^{0},\cdots ,S^{T},O^{0},\cdots ,O^{T}\\Dc:\\{\begin{cases}&P\left(S^{0}\wedge \cdots \wedge S^{T}\wedge O^{0}\wedge \cdots \wedge O^{T}|\pi \right)\\=&P\left(S^{0}\wedge O^{0}\right)\times \prod _{t=1}^{T}\left[P\left(S^{t}|S^{t-1}\right)\times P\left(O^{t}|S^{t}\right)\right]\end{cases}}\\Fo:\\{\begin{cases}P\left(S^{0}\wedge O^{0}\right)\\P\left(S^{t}|S^{t-1}\right)\\P\left(O^{t}|S^{t}\right)\end{cases}}\end{cases}}\\Id\end{cases}}\\Qu:\\{\begin{cases}{\begin{array}{l}P\left(S^{t+k}|O^{0}\wedge \cdots \wedge O^{t}\right)\\\left(k=0\right)\equiv {\text{Filtering}}\\\left(k>0\right)\equiv {\text{Prediction}}\\\left(k<0\right)\equiv {\text{Smoothing}}\end{array}}\end{cases}}\end{cases}}}$

カルマンフィルタ

非常によく知られているカルマンフィルタ^[7]は、ベイズフィルタの特殊なケースです

それらは次のベイズプログラムによって定義されます。

${\displaystyle Pr{\begin{cases}Ds{\begin{cases}Sp(\pi ){\begin{cases}Va:\\S^{0},\cdots ,S^{T},O^{0},\cdots ,O^{T}\\Dc:\\{\begin{cases}&P\left(S^{0}\wedge \cdots \wedge O^{T}|\pi \right)\\=&\left[{\begin{array}{c}P\left(S^{0}\wedge O^{0}|\pi \right)\\\prod _{t=1}^{T}\left[P\left(S^{t}|S^{t-1}\wedge \pi \right)\times P\left(O^{t}|S^{t}\wedge \pi \right)\right]\end{array}}\right]\end{cases}}\\Fo:\\{\begin{cases}P\left(S^{t}\mid S^{t-1}\wedge \pi \right)\equiv G\left(S^{t},A\bullet S^{t-1},Q\right)\\P\left(O^{t}\mid S^{t}\wedge \pi \right)\equiv G\left(O^{t},H\bullet S^{t},R\right)\end{cases}}\end{cases}}\\Id\end{cases}}\\Qu:\\P\left(S^{T}\mid O^{0}\wedge \cdots \wedge O^{T}\wedge \pi \right)\end{cases}}}$

• 変数は連続的です。
• 遷移モデルと観測モデルはどちらも、条件変数の線形関数となる平均値を持つガウスの法則を使用して指定されます ${\displaystyle P(S^{t}\mid S^{t-1}\wedge \pi )}$ ${\displaystyle P(O^{t}\mid S^{t}\wedge \pi )}$

これらの仮説と再帰式を用いることで、推論問題を解析的に解くことができ、一般的な質問に答えることができます。これは非常に効率的なアルゴリズムにつながり、カルマンフィルタの人気と日常的な応用例の多さを説明しています。 ${\displaystyle P(S^{T}\mid O^{0}\wedge \cdots \wedge O^{T}\wedge \pi )}$

明確な線形遷移モデルや観測モデルがない場合でも、一次テイラー展開を用いることで、これらのモデルを局所線形として扱うことがしばしば可能である。この一般化は一般に拡張カルマンフィルタと呼ばれる。

隠れマルコフモデル

隠れマルコフモデル（HMM）は、ベイズフィルタのもう一つの非常に人気のある特殊化です

それらは次のベイズプログラムによって定義されます。

${\displaystyle \Pr {\begin{cases}Ds{\begin{cases}Sp(\pi ){\begin{cases}Va:\\S^{0},\ldots ,S^{T},O^{0},\ldots ,O^{T}\\Dc:\\{\begin{cases}&P\left(S^{0}\wedge \cdots \wedge O^{T}\mid \pi \right)\\=&\left[{\begin{array}{c}P\left(S^{0}\wedge O^{0}\mid \pi \right)\\\prod _{t=1}^{T}\left[P\left(S^{t}\mid S^{t-1}\wedge \pi \right)\times P\left(O^{t}\mid S^{t}\wedge \pi \right)\right]\end{array}}\right]\end{cases}}\\Fo:\\{\begin{cases}P\left(S^{0}\wedge O^{0}\mid \pi \right)\equiv {\text{Matrix}}\\P\left(S^{t}\mid S^{t-1}\wedge \pi \right)\equiv {\text{Matrix}}\\P\left(O^{t}\mid S^{t}\wedge \pi \right)\equiv {\text{Matrix}}\end{cases}}\end{cases}}\\Id\end{cases}}\\Qu:\\\max _{S^{1}\wedge \cdots \wedge S^{T-1}}\left[P\left(S^{1}\wedge \cdots \wedge S^{T-1}\mid S^{T}\wedge O^{0}\wedge \cdots \wedge O^{T}\wedge \pi \right)\right]\end{cases}}}$

• 変数は離散的なものとして扱われます。
• 遷移モデルと観察モデルは ${\displaystyle P\left(S^{t}\mid S^{t-1}\wedge \pi \right)}$ ${\displaystyle P\left(O^{t}\mid S^{t}\wedge \pi \right)}$

どちらも確率行列を使用して指定されます。

• HMM に関して最もよく尋ねられる質問は次のとおりです。

${\displaystyle \max _{S^{1}\wedge \cdots \wedge S^{T-1}}\left[P\left(S^{1}\wedge \cdots \wedge S^{T-1}\mid S^{T}\wedge O^{0}\wedge \cdots \wedge O^{T}\wedge \pi \right)\right]}$

過去の観察結果を踏まえると、現在の状態に至る最も可能性の高い一連の状態は何でしょうか?

この特定の質問には、Viterbi アルゴリズムと呼ばれる特定の非常に効率的なアルゴリズムを使用して回答できます。

Baum -Welch アルゴリズムは HMM 用に開発されました。

アプリケーション

学術的なアプリケーション

2000年以降、ベイズ計画法はロボット工学アプリケーションと生命科学モデルの両方の開発に使用されてきました。^[8]

ロボティクス

ロボティクスにおいて、ベイズ計画法は自律ロボット工学、^{[9] [10] [11] [12] [13]}ロボットCADシステム、^[14] 先進運転支援システム、^[15] ロボットアーム制御、移動ロボット工学、^{[16] [17]}ヒューマン・ロボット・インタラクション、^[18]ヒューマン・ビークル・インタラクション（ベイズ自律運転モデル​​）^{[19] [20] [21] [22] [23]} ビデオゲームのアバタープログラミングとトレーニング^[24]リアルタイムストラテジーゲーム（AI）^{[25]に適用されました}

生命科学

生命科学において、ベイズ計画法は視覚において動きから形状を再構築するために^[26] 、視覚前庭相互作用をモデル化するために^{[27] 、}衝動性眼球運動を研究するために^[28]、音声知覚と制御において初期の音声獲得^[29]と調音音響システムの出現を研究するために^[30]、そして手書きの知覚と制御をモデル化するために使用されました。^[31]

パターン認識

ベイズ計画学習は、音声認識・合成、画像認識、自然言語処理といった分野への応用が期待されています。ベイズ計画学習は、構成性（部分から抽象的な表現を構築する）、因果性（部分から複雑性を構築する）、そして学習のための学習（既に認識されている概念を用いて新しい概念の創造を容易にする）という原理を採用しています。^[32]

可能性理論

確率的アプローチ（ベイズ計画法に限らない）と可能性理論の比較は、議論され続けています

例えば、ファジィ集合^[33] 、ファジィ論理^[34]、可能性理論^[35]といった可能性理論は、不確実性をモデル化するための確率の代替手段である。これらの理論は、不完全／不確実な知識の特定の側面をモデル化するには確率だけでは不十分、あるいは不便であると主張している。

確率の擁護は主にコックスの定理に基づいており、これは不確実性の存在下における合理的推論に関する4つの公理から出発する。コックスの定理は、これらの公理を満たす唯一の数学的枠組みが確率論であることを示す。その主張は、確率以外のあらゆるアプローチは必然的にこれらの公理の1つに違反し、その違反の価値も侵害するというものである。

確率的プログラミング

確率的プログラミングの目的は、古典的なプログラミング言語の範囲を確率的モデリング（特にベイジアンネットワーク）と統合し、プログラミング言語の表現力を活用して複雑さを符号化しながら不確実性に対処することです

拡張された古典的プログラミング言語には、確率的ホーンアブダクション、^[36]、独立選択論理、^[37] 、 PRISM、^[38]、およびPrologの拡張を提案するProbLogで提案された論理言語が含まれます。

また、IBALやCHURCHのような関数型プログラミング言語（主にLispとScheme ）の拡張版となることもあります。基盤となるプログラミング言語は、BLOGやFACTORIEのようなオブジェクト指向言語の場合もあれば、CESやFIGAROのようなより標準的な言語の場合もあります。^[39]

ベイズプログラミングの目的は異なります。ジェインズの「確率は論理である」という教義は、確率は論理の拡張であり、論理に代わるものであり、その上で合理性、計算、プログラミングの完全な理論を再構築できると主張しています。^{[1]ベイズプログラミングは、}不完全性と不確実性を考慮した確率に基づくプログラミング手法によって、古典的な言語を置き換えようとします。

ベイズプログラミングと確率プログラミングの意味と表現力の正確な比較は未解決の問題です。

参照

• 数学ポータル

• ベイズの定理
• ベイズ推論
• ベイズ確率
• ベイズスパムフィルタリング
• 確率伝播
• コックス定理
• 期待最大化アルゴリズム
• 因子グラフ
• グラフィカルモデル
• 隠れマルコフモデル
• ジューディア・パール
• カルマンフィルタ
• 単純ベイズ分類器
• ピエール＝シモン・ド・ラプラス
• 確率論理
• 確率プログラミング言語
• 主観論理

参考文献

1. Jaynes, ET (2003年4月10日). 確率論：科学の論理. ケンブリッジ大学出版局. ISBN 978-1-139-43516-1。
2. ピエール・ベシエール、エマニュエル・メイザー、フアン・マヌエル・アフアクツィン、カメル・メクナチャ（2013年12月20日）。ベイズ計画法。CRCプレス。ISBN 978-1-4398-8032-6。
3. 「式グラフ：統一因子グラフと和積ネットワーク」（PDF）bcf.usc.edu。2018年10月12日時点のオリジナル（PDF）からアーカイブ。2018年10月11日閲覧
4. 「確率モデルとベイズ分析」（PDF）。ocw.mit.edu 。
5. 「ベイジアンネットワーク」（PDF） . cs.brandeis.edu .
6. ベシエール、ピエール;メイザー、エマニュエル。アフアクツィン、フアン・マヌエル。メクナチャ、カメル (2013)。ベイジアン プログラミング。 CRCプレス。 p. 21.ISBN​ 978-1-4398-5223-6。 {{cite book}}：チェック|isbn=値：チェックサム（ヘルプ）
7. Kalman, RE (1960). 「線形フィルタリングと予測問題への新しいアプローチ」. Journal of Basic Engineering . 82 : 33– 45. doi :10.1115/1.3662552. S2CID  1242324.
8. ベシエール, ピエール; ロージエ, クリスチャン; ジークヴァルト, ローランド (2008年5月15日). 感覚運動システムにおける確率的推論と意思決定. シュプリンガー・サイエンス＆ビジネス・メディア. ISBN 978-3-540-79006-8。
9. Lebeltel, O.; Bessière, P.; Diard, J.; Mazer, E. (2004). 「ベイジアン・ロボット・プログラミング」(PDF) . Advanced Robotics . 16 (1): 49– 79. doi :10.1023/b:auro.0000008671.38949.43. S2CID  18768468
10. Diard, J.; Gilet, E.; Simonin, E.; Bessière, P. (2010). 「ベイズ感覚運動モデルの増分学習：低レベル行動から環境の大規模構造へ」（PDF） . Connection Science . 22 (4): 291– 312. Bibcode :2010ConSc..22..291D. doi :10.1080/09540091003682561. S2CID  216035458.
11. Pradalier, C.; Hermosillo, J.; Koike, C.; Braillon, C.; Bessière, P.; Laugier, C. (2005). 「CyCab：歩行者の間を自律的かつ安全に移動する車型ロボット」. Robotics and Autonomous Systems . 50 (1): 51– 68. CiteSeerX 10.1.1.219.69 . doi :10.1016/j.robot.2004.10.002. 
12. フェレイラ、J.ロボ、J.ベシエール、P.カステロ・ブランコ、M.ディアス、J. (2012)。 「能動的な人工知覚のためのベイジアン フレームワーク」(PDF)。システム、人間、およびサイバネティクスに関する IEEE トランザクション - パート B: サイバネティクス。99 (2): 1–13 .土井:10.1109/TSMCB.2012.2214477。PMID  23014760。S2CID 1808051  。
13. Ferreira, JF; Dias, JM (2014).ロボットの知覚への確率的アプローチ. Springer. ISBN 978-3-319-02005-1。
14. Mekhnacha, K.; Mazer, E.; Bessière, P. (2001). 「ロボットアプリケーションのためのベイズCADモデラーの設計と実装」. Advanced Robotics . 15 (1): 45–69 . CiteSeerX 10.1.1.552.3126 . doi :10.1163/156855301750095578​​. S2CID  7920387 
15. Coué, C.; Pradalier, C.; Laugier, C.; Fraichard, T.; Bessière, P. (2006). 「ベイズ占有フィルタリングによるマルチターゲットトラッキング：自動車への応用」(PDF) . International Journal of Robotics Research . 25 (1): 19– 30. doi :10.1177/0278364906061158. S2CID  13874685.
16. Vasudevan, S.; Siegwart, R. (2008). 「移動ロボットにおけるセマンティックマップのためのベイズ空間概念化と場所分類」.ロボティクスと自律システム. 56 (6): 522– 537. CiteSeerX 10.1.1.149.4189 . doi :10.1016/j.robot.2008.03.005. 
17. Perrin, X.; Chavarriaga, R.; Colas, F.; Seigwart, R.; Millan, J. (2010). 「脳結合型インタラクションによる支援ロボットの半自律ナビゲーション」. Robotics and Autonomous Systems . 58 (12): 1246– 1255. doi :10.1016/j.robot.2010.05.010.
18. Rett, J.; Dias, J.; Ahuactzin, JM. (2010). 「人間と機械のインタラクションにおけるラバン運動解析のためのベイズ推論」. International Journal of Reasoning-Based Intelligent Systems . 2 (1): 13– 35. CiteSeerX 10.1.1.379.6216 . doi :10.1504/IJRIS.2010.029812. 
19. Möbus, C.; Eilers, M.; Garbe, H.; Zilinski, M. (2009). 「（部分的）協調交通シナリオにおけるエージェントの確率的および経験的グラウンデッドモデリング」（PDF） . Duffy, Vincent G. (編).デジタルヒューマンモデリング. 第2回国際会議, ICDHM 2009, 米国カリフォルニア州サンディエゴ. コンピュータサイエンス講義ノート. 第5620巻. Springer. pp.  423– 432. doi : 10.1007/978-3-642-02809-0_45 . ISBN 978-3-642-02808-3。
20. Möbus, C.; Eilers, M. (2009). 「ベイズ計画法による運転者モデリングに向けたさらなるステップ」. Duffy, Vincent G. (編).デジタルヒューマンモデリング. 第2回国際会議, ICDHM 2009, 米国カリフォルニア州サンディエゴ. コンピュータサイエンス講義ノート. 第5620巻. Springer. pp.  413– 422. CiteSeerX 10.1.1.319.2067 . doi :10.1007/978-3-642-02809-0_44. ISBN  978-3-642-02808-3。
21. エイラーズ、M.メーバス、C. (2010)。 「ベイジアン自律ドライバーの動作混合 (BAD MoB) モデルのモジュール化」(PDF)。コルレップ、H.ユルゲンゾーン、Th. （編）。Fahrermodellierung - Zwischen kinematischen Menschmodellen および Dynamisch-kognitiven Verhaltensmodellen。 Fortschrittsbericht des VDI in der Reihe 22 (Mensch-Maschine-Systeme)。デュッセルドルフ、ドイツ: VDI-Verlag。ページ 61–74。ISBN​​ 978-3-18-303222-82014年2月3日にオリジナル（PDF）からアーカイブ。2014年1月21日閲覧
22. Eilers, M.; Möbus, C. (2011). 「ベイズ情報量基準を用いたモジュラー階層ベイズ運転者モデルの関連知覚の学習」 Duffy, VG (編).デジタルヒューマンモデリング. LNCS 6777. ハイデルベルク, ドイツ: Springer. pp.  463– 472. doi : 10.1007/978-3-642-21799-9_52 . ISBN 978-3-642-21798-2。
23. Eilers, M.; Möbus, C. (2011). 「ベイズ的自動運転ドライバー行動混合モデル（BAD-MoB）の学習」. Duffy, VG (編).応用デジタルヒューマンモデリングの進歩. LNCS 6777. ボカラトン、米国: CRC Press, Taylor & Francis Group. pp.  436– 445. ISBN 978-1-4398-3511-1。
24. Le Hy, R.; Arrigoni, A.; Bessière, P.; Lebetel, O. (2004). 「ビデオゲームキャラクターへのベイズ行動の指導」(PDF) .ロボティクスと自律システム. 47 ( 2–3 ): 177–185 . doi :10.1016/j.robot.2004.03.012. S2CID  16415524
25. Synnaeve, G. (2012). マルチプレイヤービデオゲームのためのベイズ計画法と学習(PDF) .
26. Colas, F.; Droulez, J.; Wexler, M.; Bessière, P. (2008). 「オプティカルフローによる3次元構造の知覚に関する統一確率モデル」. Biological Cyber​​netics . 97 ( 5–6 ): 461–77 . CiteSeerX 10.1.1.215.1491 . doi :10.1007/s00422-007-0183-z. PMID  17987312. S2CID  215821150. 
27. Laurens, J.; Droulez, J. (2007). 「前庭情報のベイズ処理」.生物サイバネティクス. 96 (4): 389– 404. doi :10.1007/s00422-006-0133-1. PMID  17146661. S2CID  18138027.
28. Colas, F.; Flacher, F.; Tanner, T.; Bessière, P.; Girard, B. (2009). 「網膜トピックマップを用いた眼球運動選択のベイズモデル」(PDF) .生物サイバネティクス. 100 (3): 203– 214. doi : 10.1007/s00422-009-0292-y . PMID  19212780. S2CID  5906668.
29. Serkhane, J.; Schwartz, JL.; Bessière, P. (2005). 「話す赤ちゃんロボットの構築：音声獲得と進化の研究への貢献」（PDF） . Interaction Studies . 6 (2): 253– 286. doi :10.1075/is.6.2.06ser.
30. Moulin-Frier, C.; Laurent, R.; Bessière, P.; Schwartz, JL.; Diard, J. (2012). 「悪条件は音声知覚における聴覚、運動、そして知覚-運動理論の識別可能性を向上させる：探索的ベイズモデル研究」(PDF) .言語と認知プロセス. 27 ( 7–8 ): 1240– 1263. doi :10.1080/01690965.2011.645313. S2CID  55504109.
31. Gilet, E.; Diard, J.; Bessière, P. (2011). Sporns, Olaf (編). 「ベイズ的行動-知覚計算モデル：筆記体文字の生成と認識の相互作用」. PLOS ONE . 6 (6) e20387. Bibcode :2011PLoSO...620387G. doi : 10.1371/journal.pone.0020387 . PMC 3106017 . PMID  21674043. 
32. 「新しいアルゴリズムにより、機械は人間と同じくらい速く学習できるようになる」www.gizmag.com 2016年1月22日2016年1月23日閲覧。
33. Zadeh, LA (1965年6月). 「ファジー集合」.情報制御. 8 (3). サンディエゴ: 338–353 . doi : 10.1016/S0019-9958(65)90241-X . ISSN  0019-9958. Zbl  0139.24606. Wikidata  Q25938993.
34. Zadeh, LA (1975年9月). 「ファジー論理と近似推論」. Synthese . 30 ( 3–4 ). Springer : 407–428 . doi :10.1007/BF00485052. ISSN  0039-7857. OCLC  714993477. S2CID  46975216. Zbl  0319.02016. Wikidata  Q57275767.
35. Dubois, D.; Prade, H. (2001). 「可能性理論、確率理論、多値論理：その明確化」(PDF) . Ann. Math. Artif. Intell. ( FTP ). pp.  35– 66. doi :10.1023/A:1016740830286. S2CID  10271476.^{[デッド FTP リンク]} (ドキュメントを表示するには、ヘルプ:FTP を参照してください)
36. Poole, D. (1993). 「確率的ホーンアブダクションとベイジアンネットワーク」.人工知能. 64 : 81–129 . doi :10.1016/0004-3702(93)90061-F.
37. Poole, D. (1997). 「不確実性下における複数エージェントのモデリングのための独立選択ロジック」.人工知能. 94 ( 1–2 ): 7–56 . doi : 10.1016/S0004-3702(97)00027-1 .
38. Sato, T.; Kameya, Y. (2001). 「記号統計モデリングのための論理プログラムのパラメータ学習」(PDF) . Journal of Artificial Intelligence Research . 15 (2001): 391– 454. arXiv : 1106.1797 . Bibcode :2011arXiv1106.1797S. doi :10.1613/jair.912. S2CID 7857569. 2014年7月12日時点 のオリジナル(PDF)からアーカイブ。 2015年10月18日閲覧。
39. GitHubのfigaro

さらに詳しい情報

• カメル・メクナチャ (2013).ベイズ計画法. チャップマン・アンド・ホール/CRC. doi :10.1201/b16111. ISBN 978-1-4398-8032-6。

外部リンク

• ベイズプログラミング書籍の関連サイトで、ベイズプログラミング専用の推論エンジンProBTをダウンロードできます
• Bayesian-programming.org サイトは、ベイズプログラミングの詳細な情報と多数の出版物の宣伝を目的として、archive.todayに 2013 年 11 月 23 日にアーカイブされました。

Retrieved from "https://en.wikipedia.org/w/index.php?title=Bayesian_programming&oldid=1319744885"