Probability theory concept
確率論 において 、 条件付き独立性は 、仮説の確実性を評価する際に、観測が無関係または冗長である状況を表します。これは 条件付き従属 の反対です。条件付き独立性は通常、 条件付き確率の観点 から、情報価値のない観測を与えられた仮説の確率が、情報価値のない観測がない場合の確率に等しいという特殊なケースとして定式化されます。 が 仮説、 と が 観測値である場合、条件付き独立性は等式として表すことができます。 A {\displaystyle A} B {\displaystyle B} C {\displaystyle C}
P ( A ∣ B , C ) = P ( A ∣ C ) {\displaystyle P(A\mid B,C)=P(A\mid C)} ここで 、 と の 両方が与えられた場合 の の確率です。 が与えられた場合 の の確率は、 と の両方が与えられた場合の の確率と同じであるため 、 この 等式 は が の確実性に何ら寄与しないことを表しています 。この場合、 と は が与えられた場合、 条件付きで独立して いるとさ れ 、記号的に次のように表されます 。 P ( A ∣ B , C ) {\displaystyle P(A\mid B,C)} A {\displaystyle A} B {\displaystyle B} C {\displaystyle C} A {\displaystyle A} C {\displaystyle C} A {\displaystyle A} B {\displaystyle B} C {\displaystyle C} B {\displaystyle B} A {\displaystyle A} A {\displaystyle A} B {\displaystyle B} C {\displaystyle C} ( A ⊥ ⊥ B ∣ C ) {\displaystyle (A\perp \!\!\!\perp B\mid C)}
条件付き独立性の概念は、条件文の集合と グラフィド との間の数学的関係を確立するため、グラフベースの統計的推論の理論にとって不可欠です。
事象の条件付き独立性 、、 を 事象 とする 。 および は、 および の ときのみ条件 付き 独立で あるとされる 。この性質は 対称的 であり（詳細は後述）、 と表記されることが多いが 、これは と読み替えるべきである 。 A {\displaystyle A} B {\displaystyle B} C {\displaystyle C} A {\displaystyle A} B {\displaystyle B} C {\displaystyle C} P ( C ) > 0 {\displaystyle P(C)>0} P ( A ∣ B , C ) = P ( A ∣ C ) {\displaystyle P(A\mid B,C)=P(A\mid C)} ( A ⊥ ⊥ B ∣ C ) {\displaystyle (A\perp \!\!\!\perp B\mid C)} ( ( A ⊥ ⊥ B ) | C ) {\displaystyle ((A\perp \!\!\!\perp B)\vert C)}
同様に、条件付き独立性はと の同時確率 で表されます。 は を与えられた 場合の です 。この別の定式化では 、 とは が 与えられた場合の 独立した事象 である と述べられています 。 P ( A , B | C ) = P ( A | C ) P ( B | C ) {\displaystyle P(A,B|C)=P(A|C)P(B|C)} P ( A , B | C ) {\displaystyle P(A,B|C)} A {\displaystyle A} B {\displaystyle B} C {\displaystyle C} A {\displaystyle A} B {\displaystyle B} C {\displaystyle C}
が と同等である ことを示します 。 ( A ⊥ ⊥ B ∣ C ) {\displaystyle (A\perp \!\!\!\perp B\mid C)} ( B ⊥ ⊥ A ∣ C ) {\displaystyle (B\perp \!\!\!\perp A\mid C)}
同等の定義の証明 P ( A , B ∣ C ) = P ( A ∣ C ) P ( B ∣ C ) ⟺ P ( A , B , C ) P ( C ) = ( P ( A , C ) P ( C ) ) ( P ( B , C ) P ( C ) ) definition of conditional probability ⟺ P ( A , B , C ) = P ( A , C ) P ( B , C ) P ( C ) multiply both sides by P(C) ⟺ P ( A , B , C ) P ( B , C ) = P ( A , C ) P ( C ) divide both sides by P(B, C) ⟺ P ( A ∣ B , C ) = P ( A ∣ C ) definition of conditional probability {\displaystyle {\begin{aligned}P(A,B\mid C)=P(A\mid C)P(B\mid C)&\iff {\frac {P(A,B,C)}{P(C)}}=\left({\frac {P(A,C)}{P(C)}}\right)\left({\frac {P(B,C)}{P(C)}}\right)&{\text{definition of conditional probability}}\\&\iff P(A,B,C)={\frac {P(A,C)P(B,C)}{P(C)}}&{\text{multiply both sides by P(C)}}\\&\iff {\frac {P(A,B,C)}{P(B,C)}}={\frac {P(A,C)}{P(C)}}&{\text{divide both sides by P(B, C)}}\\&\iff P(A\mid B,C)=P(A\mid C)&{\text{definition of conditional probability}}\end{aligned}}}
例
色付きのボックス 各セルは起こり得る結果を表しています。イベント 、 、 はそれぞれ 赤 、 青 、 黄色の 領域で表されます 。イベント と の重なり は 紫色で 表されます 。 R {\displaystyle \color {red}R} B {\displaystyle \color {blue}B} Y {\displaystyle \color {gold}Y} R {\displaystyle \color {red}R} B {\displaystyle \color {blue}B}
これらの事象の確率は、総面積に対する網掛けの領域で表されます。どちらの例で も、とは次の理由で 条件付きで独立です 。 R {\displaystyle \color {red}R} B {\displaystyle \color {blue}B} Y {\displaystyle \color {gold}Y}
Pr ( R , B ∣ Y ) = Pr ( R ∣ Y ) Pr ( B ∣ Y ) {\displaystyle \Pr({\color {red}R},{\color {blue}B}\mid {\color {gold}Y})=\Pr({\color {red}R}\mid {\color {gold}Y})\Pr({\color {blue}B}\mid {\color {gold}Y})} [1] ただし、次の 理由により条件付きで独立ではありません。 [ not Y ] {\displaystyle \left[{\text{not }}{\color {gold}Y}\right]}
Pr ( R , B ∣ not Y ) ≠ Pr ( R ∣ not Y ) Pr ( B ∣ not Y ) {\displaystyle \Pr({\color {red}R},{\color {blue}B}\mid {\text{not }}{\color {gold}Y})\not =\Pr({\color {red}R}\mid {\text{not }}{\color {gold}Y})\Pr({\color {blue}B}\mid {\text{not }}{\color {gold}Y})}
近接性と遅延 事象Aと事象Bを、世界中から無作為に抽出されたAさんとBさんが夕食に間に合うように帰宅する確率と定義します。事象Aと事象Bは独立していると仮定できます。つまり、Aさんが遅刻するという知識は、Bさんが遅刻する確率にほとんど、あるいは全く影響を与えません。しかし、第三の事象、つまりAさんとBさんが同じ地域に住んでいるという事象が発生した場合、二つの事象は条件付きで独立しているとはみなされません。Aさんの行動を遅らせる可能性のある交通状況や天候関連の事象は、Bさんにも遅延をもたらす可能性があります。第三の事象とAさんが遅刻したという知識が与えられた場合、Bさんが遅刻する確率は有意に変化します。 [2]
サイコロを振る 条件付き独立性は、3番目の事象の性質に依存します。2つのサイコロを振った場合、2つのサイコロは互いに独立して振舞うと仮定できます。1つのサイコロの出目を見ても、2番目のサイコロの出目は分かりません（つまり、2つのサイコロは独立しています）。しかし、1番目のサイコロの出目が3で、誰かが3番目の事象について、つまり2つの出目の合計が偶数であると伝えた場合、この追加情報によって2番目の出目の選択肢は奇数に制限されます。言い換えれば、2つの事象は独立していても、条件付き独立ではないということです。 [2]
身長と語彙力 身長と語彙力は相関関係にあります。なぜなら、非常に背の低い人は子供であることが多く、より基本的な語彙力で知られているからです。しかし、2人が19歳（つまり年齢を条件とする）であることを考えると、どちらかが身長が高いと言われても、その人の語彙力の方が豊富であると考える理由はありません。
確率変数の条件付き独立性 2つの離散 確率変数 およびが、 3つ目の離散確率変数が与えられたときに条件付き独立となるの は 、 が与えられたときに 条件付き確率分布 において 独立 である場合に 限ります 。つまり 、 の任意の値が与えられたとき 、 の確率分布が のすべての値に対して同じであり 、 の確率分布が の すべての値に対して同じである場合に限ります 。正式には、 X {\displaystyle X} Y {\displaystyle Y} Z {\displaystyle Z} Z {\displaystyle Z} X {\displaystyle X} Y {\displaystyle Y} Z {\displaystyle Z} Z {\displaystyle Z} X {\displaystyle X} Y {\displaystyle Y} Y {\displaystyle Y} X {\displaystyle X}
( X ⊥ ⊥ Y ) ∣ Z ⟺ F X , Y ∣ Z = z ( x , y ) = F X ∣ Z = z ( x ) ⋅ F Y ∣ Z = z ( y ) for all x , y , z {\displaystyle (X\perp \!\!\!\perp Y)\mid Z\quad \iff \quad F_{X,Y\,\mid \,Z\,=\,z}(x,y)=F_{X\,\mid \,Z\,=\,z}(x)\cdot F_{Y\,\mid \,Z\,=\,z}(y)\quad {\text{for all }}x,y,z} 式2
ここで 、 は の条件付き 累積分布関数 であり 、 が与えられています 。 F X , Y ∣ Z = z ( x , y ) = Pr ( X ≤ x , Y ≤ y ∣ Z = z ) {\displaystyle F_{X,Y\,\mid \,Z\,=\,z}(x,y)=\Pr(X\leq x,Y\leq y\mid Z=z)} X {\displaystyle X} Y {\displaystyle Y} Z {\displaystyle Z}
2つの事象 とが σ-代数 のもとで条件付き独立である とき、 R {\displaystyle R} B {\displaystyle B} Σ {\displaystyle \Sigma }
Pr ( R , B ∣ Σ ) = Pr ( R ∣ Σ ) Pr ( B ∣ Σ ) a.s. {\displaystyle \Pr(R,B\mid \Sigma )=\Pr(R\mid \Sigma )\Pr(B\mid \Sigma ){\text{ a.s.}}} ここで、 はシグマ代数 が与えられた場合の、 事象 の 指示関数 の 条件付き期待値 を表す 。つまり、 Pr ( A ∣ Σ ) {\displaystyle \Pr(A\mid \Sigma )} A {\displaystyle A} χ A {\displaystyle \chi _{A}} Σ {\displaystyle \Sigma }
Pr ( A ∣ Σ ) := E [ χ A ∣ Σ ] . {\displaystyle \Pr(A\mid \Sigma ):=\operatorname {E} [\chi _{A}\mid \Sigma ].} 2 つの確率変数 およびは、 上式が および のすべての に対して成り立つ場合、 σ- 代数 が 与えられた条件付きで独立しています 。 X {\displaystyle X} Y {\displaystyle Y} Σ {\displaystyle \Sigma } R {\displaystyle R} σ ( X ) {\displaystyle \sigma (X)} B {\displaystyle B} σ ( Y ) {\displaystyle \sigma (Y)}
2つの確率変数 とが 確率変数に対して条件付き独立である 場合、 σ ( W )が独立である。σ-代数は、によって生成される 。これは一般的に次のように表記される。 X {\displaystyle X} Y {\displaystyle Y} W {\displaystyle W} W {\displaystyle W}
X ⊥ ⊥ Y ∣ W {\displaystyle X\perp \!\!\!\perp Y\mid W} または X ⊥ Y ∣ W {\displaystyle X\perp Y\mid W} これは、「は から独立している 、 与えられた 」と読みます 。条件付けは、ステートメント全体に適用されます: 「( は から独立している ) が与えられた 」。 X {\displaystyle X} Y {\displaystyle Y} W {\displaystyle W} X {\displaystyle X} Y {\displaystyle Y} W {\displaystyle W}
( X ⊥ ⊥ Y ) ∣ W {\displaystyle (X\perp \!\!\!\perp Y)\mid W} この表記は、 「 は とは 独立して いる 」に拡張されます。 X ⊥ ⊥ Y {\displaystyle X\perp \!\!\!\perp Y} X {\displaystyle X} Y {\displaystyle Y}
が可算な値の集合 を仮定する 場合、これは X と Y の形式事象に対する 条件付き独立性と等価です 。2つ以上の事象、または3つ以上の確率変数の条件付き独立性も同様に定義されます。 W {\displaystyle W} [ W = w ] {\displaystyle [W=w]}
次の 2 つの例は、 が を意味しないこと、また が によって を意味しない ことを示しています。 X ⊥ ⊥ Y {\displaystyle X\perp \!\!\!\perp Y} ( X ⊥ ⊥ Y ) ∣ W {\displaystyle (X\perp \!\!\!\perp Y)\mid W}
まず、 が確率0.5で0、そうでない場合は1であると仮定します。W = 0の とき 、とが独立であると みなし、それぞれが確率0.99で値0、そうでない場合は値1を持ちます。のとき 、、、 は 再び独立ですが、今回は確率0.99で値1を持ちます。次に 。しかし、 Pr( X = 0) < Pr( X = 0| Y = 0)であるため、と が従属しています 。これは、Pr( X = 0) = 0.5であるからですが、 Y = 0の場合は W = 0、したがって X = 0 になる可能性が非常に高い ため、Pr( X = 0| Y = 0) > 0.5となります。 W {\displaystyle W} X {\displaystyle X} Y {\displaystyle Y} W = 1 {\displaystyle W=1} X {\displaystyle X} Y {\displaystyle Y} ( X ⊥ ⊥ Y ) ∣ W {\displaystyle (X\perp \!\!\!\perp Y)\mid W} X {\displaystyle X} Y {\displaystyle Y}
2つ目の例として、 がそれぞれ確率0.5で0と1の値を取ると仮定します。 を積 とします 。 のとき 、 Pr( X = 0) = 2/3 ですが、 Pr( X = 0| Y = 0) = 1/2 となるため、 は 偽となります。これもまた、Explaining Awayの例です。Kevin Murphyのチュートリアル [3] を参照してください。ここで 、 と はそれぞれ 「brainy（頭が良い）」と「sporty（スポーツ好き）」の値を取ります。 X ⊥ ⊥ Y {\displaystyle X\perp \!\!\!\perp Y} W {\displaystyle W} X ⋅ Y {\displaystyle X\cdot Y} W = 0 {\displaystyle W=0} ( X ⊥ ⊥ Y ) ∣ W {\displaystyle (X\perp \!\!\!\perp Y)\mid W} X {\displaystyle X} Y {\displaystyle Y}
ランダムベクトルの条件付き独立性 2つの ランダムベクトル とが、 3つ目のランダムベクトルが与えられたときに条件付きで独立であるの は、それらが与えられた条件付き累積分布において独立である場合に限ります 。正式には次のようになります。 X = ( X 1 , … , X l ) T {\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{l})^{\mathrm {T} }} Y = ( Y 1 , … , Y m ) T {\displaystyle \mathbf {Y} =(Y_{1},\ldots ,Y_{m})^{\mathrm {T} }} Z = ( Z 1 , … , Z n ) T {\displaystyle \mathbf {Z} =(Z_{1},\ldots ,Z_{n})^{\mathrm {T} }} Z {\displaystyle \mathbf {Z} }
( X ⊥ ⊥ Y ) ∣ Z ⟺ F X , Y | Z = z ( x , y ) = F X ∣ Z = z ( x ) ⋅ F Y ∣ Z = z ( y ) for all x , y , z {\displaystyle (\mathbf {X} \perp \!\!\!\perp \mathbf {Y} )\mid \mathbf {Z} \quad \iff \quad F_{\mathbf {X} ,\mathbf {Y} |\mathbf {Z} =\mathbf {z} }(\mathbf {x} ,\mathbf {y} )=F_{\mathbf {X} \,\mid \,\mathbf {Z} \,=\,\mathbf {z} }(\mathbf {x} )\cdot F_{\mathbf {Y} \,\mid \,\mathbf {Z} \,=\,\mathbf {z} }(\mathbf {y} )\quad {\text{for all }}\mathbf {x} ,\mathbf {y} ,\mathbf {z} } 式3
ここで 、、 および 条件付き累積分布は次のように定義されます。 x = ( x 1 , … , x l ) T {\displaystyle \mathbf {x} =(x_{1},\ldots ,x_{l})^{\mathrm {T} }} y = ( y 1 , … , y m ) T {\displaystyle \mathbf {y} =(y_{1},\ldots ,y_{m})^{\mathrm {T} }} z = ( z 1 , … , z n ) T {\displaystyle \mathbf {z} =(z_{1},\ldots ,z_{n})^{\mathrm {T} }}
F X , Y ∣ Z = z ( x , y ) = Pr ( X 1 ≤ x 1 , … , X l ≤ x l , Y 1 ≤ y 1 , … , Y m ≤ y m ∣ Z 1 = z 1 , … , Z n = z n ) F X ∣ Z = z ( x ) = Pr ( X 1 ≤ x 1 , … , X l ≤ x l ∣ Z 1 = z 1 , … , Z n = z n ) F Y ∣ Z = z ( y ) = Pr ( Y 1 ≤ y 1 , … , Y m ≤ y m ∣ Z 1 = z 1 , … , Z n = z n ) {\displaystyle {\begin{aligned}F_{\mathbf {X} ,\mathbf {Y} \,\mid \,\mathbf {Z} \,=\,\mathbf {z} }(\mathbf {x} ,\mathbf {y} )&=\Pr(X_{1}\leq x_{1},\ldots ,X_{l}\leq x_{l},Y_{1}\leq y_{1},\ldots ,Y_{m}\leq y_{m}\mid Z_{1}=z_{1},\ldots ,Z_{n}=z_{n})\\[6pt]F_{\mathbf {X} \,\mid \,\mathbf {Z} \,=\,\mathbf {z} }(\mathbf {x} )&=\Pr(X_{1}\leq x_{1},\ldots ,X_{l}\leq x_{l}\mid Z_{1}=z_{1},\ldots ,Z_{n}=z_{n})\\[6pt]F_{\mathbf {Y} \,\mid \,\mathbf {Z} \,=\,\mathbf {z} }(\mathbf {y} )&=\Pr(Y_{1}\leq y_{1},\ldots ,Y_{m}\leq y_{m}\mid Z_{1}=z_{1},\ldots ,Z_{n}=z_{n})\end{aligned}}}
ベイズ推論における用途 今後の国民投票 で「賛成」票を投じる有権者の割合を p とする。 世論調査 では 、 人口から n人 の有権者を無作為に選出する。i = 1, ..., n に対し、 X i = 1 または 0 とし、それぞれi番目 に 選出された有権者が「賛成」票を投じる か否かに対応する 。
統計的推論 に対する 頻度主義的 アプローチでは、 確率分布を p に帰することはなく(確率が何らかのイベントの発生の相対頻度または何らかの母集団の割合として解釈できる場合を除く)、 X 1 、...、 X n は独立した ランダム変数 であると言えます。
対照的に、 ベイズ 統計的推論アプローチでは、そのような「頻度」解釈が存在しないにもかかわらず、 p に 確率分布 を割り当て、確率を 、確率が割り当てられた任意の区間に pが存在するという確信度として解釈します。このモデルでは、確率変数 X 1 、…、 X n は 独立ではあり ませんが、 p の値が与えられた場合、 条件付きで独立して います 。特に、多数の X が1に等しいことが観測された場合、 その観測値を考慮すると pが1に近いという条件付き 確率が 高くなり、したがって、 その観測値を考慮すると、 次に観測される X が1に等しい という条件付き確率も高くなります。
条件付き独立性のルール 条件付き独立性の記述を規定する一連の規則は、基本定義から導き出されている。 [4] [5]
これらの規則は、グラフ上で成り立つため、 パールとパスによって「 グラフィド 公理」と名付けられました。 [6]ここで、は「 Xから A へのすべてのパス は集合 B によって遮断される」という意味に解釈されます 。 [7] X ⊥ ⊥ A ∣ B {\displaystyle X\perp \!\!\!\perp A\mid B}
対称 X ⊥ ⊥ Y ∣ Z ⇔ Y ⊥ ⊥ X ∣ Z {\displaystyle X\perp \!\!\!\perp Y\mid Z\quad \Leftrightarrow \quad Y\perp \!\!\!\perp X\mid Z} 証拠：
条件付き独立の定義から、
X ⊥ ⊥ Y ∣ Z ⇔ P ( X , Y ∣ Z ) = P ( X ∣ Z ) P ( Y ∣ Z ) ⇔ Y ⊥ ⊥ X ∣ Z {\displaystyle X\perp \!\!\!\perp Y\mid Z\quad \Leftrightarrow \quad P(X,Y\mid Z)=P(X\mid Z)P(Y\mid Z)\quad \Leftrightarrow \quad Y\perp \!\!\!\perp X\mid Z}
分解 X ⊥ ⊥ Y ∣ Z ⇒ h ( X ) ⊥ ⊥ Y ∣ Z {\displaystyle X\perp \!\!\!\perp Y\mid Z\quad \Rightarrow \quad h(X)\perp \!\!\!\perp Y\mid Z} 証明 条件付き独立性の定義から、次のことを証明します。
X ⊥ ⊥ Y ∣ Z ⇒ P ( h ( X ) , Y ∣ Z ) = P ( h ( X ) ∣ Z ) P ( Y ∣ Z ) {\displaystyle X\perp \!\!\!\perp Y\mid Z\quad \Rightarrow \quad P(h(X),Y\mid Z)=P(h(X)\mid Z)P(Y\mid Z)} この等式の左辺は次のようになります。
P ( h ( X ) = a , Y = y ∣ Z = z ) = ∑ X : h ( X ) = a P ( X = x , Y = y ∣ Z = z ) {\displaystyle P(h(X)=a,Y=y\mid Z=z)=\sum _{X\colon h(X)=a}P(X=x,Y=y\mid Z=z)} となる。ここで、この等式の右辺の式は、 における の条件付き確率の に対する和である 。さらに分解すると、 X {\displaystyle X} h ( X ) = a {\displaystyle h(X)=a} X , Y {\displaystyle X,Y} Z {\displaystyle Z}
∑ X : h ( X ) = a P ( X = x , Y = y ∣ Z = z ) = ∑ X : h ( X ) = a P ( X = x ∣ Z = z ) P ( Y = y ∣ Z = z ) = P ( Y = y ∣ Z = z ) ∑ X : h ( X ) = a P ( X = x ∣ Z = z ) = P ( Y ∣ Z ) P ( h ( X ) ∣ Z ) {\displaystyle {\begin{aligned}\sum _{X\colon h(X)=a}P(X=x,Y=y\mid Z=z)=&\sum _{X\colon h(X)=a}P(X=x\mid Z=z)P(Y=y\mid Z=z)\\=&P(Y=y\mid Z=z)\sum _{X\colon h(X)=a}P(X=x\mid Z=z)\\=&P(Y\mid Z)P(h(X)\mid Z)\end{aligned}}} この特性の特殊な例としては、
( X , W ) ⊥ ⊥ Y ∣ Z ⇒ X ⊥ ⊥ Y ∣ Z {\displaystyle (X,W)\perp \!\!\!\perp Y\mid Z\quad \Rightarrow \quad X\perp \!\!\!\perp Y\mid Z} 証明: を 「抽出」関数として 定義します 。すると、次のようになります。 A = ( X , W ) {\displaystyle A=(X,W)} h ( ⋅ ) {\displaystyle h(\cdot )} h ( X , W ) = X {\displaystyle h(X,W)=X} ( X , W ) ⊥ ⊥ Y ∣ Z ⇔ A ⊥ ⊥ Y ∣ Z ⇒ h ( A ) ⊥ ⊥ Y ∣ Z Decomposition ⇔ X ⊥ ⊥ Y ∣ Z {\displaystyle {\begin{aligned}(X,W)\perp \!\!\!\perp Y\mid Z\quad &\Leftrightarrow \quad A\perp \!\!\!\perp Y\mid Z\\&\Rightarrow \quad h(A)\perp \!\!\!\perp Y\mid Z\quad &{\text{Decomposition}}\\&\Leftrightarrow \quad X\perp \!\!\!\perp Y\mid Z\end{aligned}}} X ⊥ ⊥ ( Y , W ) ∣ Z ⇒ X ⊥ ⊥ Y ∣ Z {\displaystyle X\perp \!\!\!\perp (Y,W)\mid Z\quad \Rightarrow \quad X\perp \!\!\!\perp Y\mid Z} 証明: を再び「抽出」関数として定義し ます 。 すると、次のようになります。 V = ( Y , W ) {\displaystyle V=(Y,W)} h ( ⋅ ) {\displaystyle h(\cdot )} h ( Y , W ) = Y {\displaystyle h(Y,W)=Y} X ⊥ ⊥ ( Y , W ) ∣ Z ⇔ X ⊥ ⊥ V ∣ Z ⇔ V ⊥ ⊥ X ∣ Z Symmetry ⇒ h ( V ) ⊥ ⊥ X ∣ Z Decomposition ⇔ Y ⊥ ⊥ X ∣ Z ⇔ X ⊥ ⊥ Y ∣ Z Symmetry {\displaystyle {\begin{aligned}X\perp \!\!\!\perp (Y,W)\mid Z\quad &\Leftrightarrow \quad X\perp \!\!\!\perp V\mid Z\\&\Leftrightarrow \quad V\perp \!\!\!\perp X\mid Z\quad &{\text{Symmetry}}\\&\Rightarrow \quad h(V)\perp \!\!\!\perp X\mid Z\quad &{\text{Decomposition}}\\&\Leftrightarrow \quad Y\perp \!\!\!\perp X\mid Z\\&\Leftrightarrow \quad X\perp \!\!\!\perp Y\mid Z\quad &{\text{Symmetry}}\end{aligned}}}
弱い連合 X ⊥ ⊥ Y ∣ Z ⇒ X ⊥ ⊥ Y ∣ ( Z , h ( X ) ) {\displaystyle X\perp \!\!\!\perp Y\mid Z\quad \Rightarrow \quad X\perp \!\!\!\perp Y\mid (Z,h(X))} 証拠：
を前提として 、我々は以下を示すことを目指す。 X ⊥ ⊥ Y ∣ Z {\displaystyle X\perp \!\!\!\perp Y\mid Z}
X ⊥ ⊥ Y ∣ ( Z , h ( X ) ) ⇔ X ⊥ ⊥ Y ∣ U where U = ( Z , h ( X ) ) ⇔ Y ⊥ ⊥ X ∣ U Symmetry ⇔ P ( Y ∣ X , U ) = P ( Y ∣ U ) ⇔ P ( Y ∣ X , Z , h ( X ) ) = P ( Y ∣ Z , h ( X ) ) {\displaystyle {\begin{aligned}X\perp \!\!\!\perp Y\mid (Z,h(X))\quad &\Leftrightarrow \quad X\perp \!\!\!\perp Y\mid U\quad &{\text{where}}\quad U=(Z,h(X))\\&\Leftrightarrow \quad Y\perp \!\!\!\perp X\mid U\quad &{\text{Symmetry}}\\&\Leftrightarrow \quad P(Y\mid X,U)=P(Y\mid U)\\&\Leftrightarrow \quad P(Y\mid X,Z,h(X))=P(Y\mid Z,h(X))\end{aligned}}} 方程式の左辺から始めます
P ( Y ∣ X , Z , h ( X ) ) = P ( Y ∣ X , Z ) = P ( Y ∣ Z ) Since by symmetry Y ⊥ ⊥ X ∣ Z {\displaystyle {\begin{aligned}P(Y\mid X,Z,h(X))&=P(Y\mid X,Z)\\&=P(Y\mid Z)&{\text{Since by symmetry }}Y\perp \!\!\!\perp X\mid Z\end{aligned}}} 与えられた条件から
X ⊥ ⊥ Y ∣ Z ⇒ h ( X ) ⊥ ⊥ Y ∣ Z Decomposition ⇔ Y ⊥ ⊥ h ( X ) ∣ Z Symmetry ⇒ P ( Y ∣ Z , h ( X ) ) = P ( Y ∣ Z ) {\displaystyle {\begin{aligned}X\perp \!\!\!\perp Y\mid Z\quad &\Rightarrow \quad h(X)\perp \!\!\!\perp Y\mid Z\quad &{\text{Decomposition}}\\&\Leftrightarrow \quad Y\perp \!\!\!\perp h(X)\mid Z\quad &{\text{Symmetry}}\\&\Rightarrow \quad P(Y\mid Z,h(X))=P(Y\mid Z)\end{aligned}}} . したがって 、 であることが示されました 。 P ( Y ∣ X , Z , h ( X ) ) = P ( Y ∣ Z , h ( X ) ) {\displaystyle P(Y\mid X,Z,h(X))=P(Y\mid Z,h(X))} X ⊥ ⊥ Y ∣ ( Z , h ( X ) ) {\displaystyle X\perp \!\!\!\perp Y\mid (Z,h(X))}
特殊なケース:
いくつかの教科書では、この性質を次のように説明しています。
X ⊥ ⊥ ( Y , W ) ∣ Z ⇒ X ⊥ ⊥ Y ∣ ( Z , W ) {\displaystyle X\perp \!\!\!\perp (Y,W)\mid Z\quad \Rightarrow \quad X\perp \!\!\!\perp Y\mid (Z,W)} . [8] ( X , W ) ⊥ ⊥ Y ∣ Z ⇒ X ⊥ ⊥ Y ∣ ( Z , W ) {\displaystyle (X,W)\perp \!\!\!\perp Y\mid Z\quad \Rightarrow \quad X\perp \!\!\!\perp Y\mid (Z,W)} 。 どちらのバージョンも、上記の分解セクションと同じ方法で最初に与えられた弱い結合プロパティに従うことが示されます。
収縮 X ⊥ ⊥ A ∣ B X ⊥ ⊥ B } and ⇒ X ⊥ ⊥ A , B {\displaystyle \left.{\begin{aligned}X\perp \!\!\!\perp A\mid B\\X\perp \!\!\!\perp B\end{aligned}}\right\}{\text{ and }}\quad \Rightarrow \quad X\perp \!\!\!\perp A,B} 証拠
この特性は に気づくことで証明できます 。 のそれぞれの等式は、それぞれ と によって主張され ます 。 Pr ( X ∣ A , B ) = Pr ( X ∣ B ) = Pr ( X ) {\displaystyle \Pr(X\mid A,B)=\Pr(X\mid B)=\Pr(X)} X ⊥ ⊥ A ∣ B {\displaystyle X\perp \!\!\!\perp A\mid B} X ⊥ ⊥ B {\displaystyle X\perp \!\!\!\perp B}
交差点 厳密に正の確率分布の場合、 [5] 次も成り立ちます。
X ⊥ ⊥ Y ∣ Z , W X ⊥ ⊥ W ∣ Z , Y } and ⇒ X ⊥ ⊥ W , Y ∣ Z {\displaystyle \left.{\begin{aligned}X\perp \!\!\!\perp Y\mid Z,W\\X\perp \!\!\!\perp W\mid Z,Y\end{aligned}}\right\}{\text{ and }}\quad \Rightarrow \quad X\perp \!\!\!\perp W,Y\mid Z} 証拠
仮定により：
P ( X | Z , W , Y ) = P ( X | Z , W ) ∧ P ( X | Z , W , Y ) = P ( X | Z , Y ) ⟹ P ( X | Z , Y ) = P ( X | Z , W ) {\displaystyle P(X|Z,W,Y)=P(X|Z,W)\land P(X|Z,W,Y)=P(X|Z,Y)\implies P(X|Z,Y)=P(X|Z,W)} この等式と 全確率の法則 を適用すると、次のようになります 。 P ( X | Z ) {\displaystyle P(X|Z)}
P ( X | Z ) = ∑ w ∈ W P ( X | Z , W = w ) P ( W = w | Z ) = ∑ w ∈ W P ( X | Y , Z ) P ( W = w | Z ) = P ( X | Z , Y ) ∑ w ∈ W P ( W = w | Z ) = P ( X | Z , Y ) {\displaystyle {\begin{aligned}P(X|Z)&=\sum _{w\in W}P(X|Z,W=w)P(W=w|Z)\\[4pt]&=\sum _{w\in W}P(X|Y,Z)P(W=w|Z)\\[4pt]&=P(X|Z,Y)\sum _{w\in W}P(W=w|Z)\\[4pt]&=P(X|Z,Y)\end{aligned}}} および なので 、 が成り立ちます 。 P ( X | Z , W , Y ) = P ( X | Z , Y ) {\displaystyle P(X|Z,W,Y)=P(X|Z,Y)} P ( X | Z , Y ) = P ( X | Z ) {\displaystyle P(X|Z,Y)=P(X|Z)} P ( X | Z , W , Y ) = P ( X | Z ) ⟺ X ⊥ ⊥ Y , W | Z {\displaystyle P(X|Z,W,Y)=P(X|Z)\iff X\perp \!\!\!\perp Y,W|Z}
技術的注記：これらの含意は任意の 確率空間に当てはまるため、例えば K といった別の変数を条件としてサブユニバースを考えた場合でも、依然として当てはまります 。例えば、 は を意味します 。 X ⊥ ⊥ Y ⇒ Y ⊥ ⊥ X {\displaystyle X\perp \!\!\!\perp Y\Rightarrow Y\perp \!\!\!\perp X} X ⊥ ⊥ Y ∣ K ⇒ Y ⊥ ⊥ X ∣ K {\displaystyle X\perp \!\!\!\perp Y\mid K\Rightarrow Y\perp \!\!\!\perp X\mid K}
参照
参考文献 ^ これが事実であることを理解するためには、Pr( R ∩ B | Y ) が Y領域における R と B （紫色の網掛け部分） の重なりの確率であることを理解する必要があります 。左の図では、 Y領域内に R と B が 重なり合う正方形が 2 つあり 、 Y 領域には 12 個の正方形があるため、Pr( R ∩ B | Y ) = 2 / 12 = 1 / 6 同様に、Pr( R | Y ) = 4 / 12 = 1 / 3 そして Pr( B | Y ) = 6 / 12 = 1 / 2 。 ^ ab 条件付き独立性について誰か説明してもらえますか? ^ 「グラフィカルモデル」。 ^ Dawid, AP (1979). 「統計理論における条件付き独立性」. 王立統計学会誌, シリーズB. 41 ( 1): 1– 31. JSTOR 2984718. MR 0535541. ^ ab J Pearl, 因果関係：モデル、推論、推論、2000年、ケンブリッジ大学出版局 ^ Pearl, Judea ; Paz, Azaria (1986). 「グラフィド：関連性関係の推論のためのグラフベースロジック、または、zが既にわかっている場合、xはyについてより詳しく教えてくれるのはいつだろうか？」 du Boulay, Benedict; Hogg, David C.; Steels, Luc (編). 「Advances in Artificial Intelligence II」、第7回ヨーロッパ人工知能会議、ECAI 1986、ブライトン、イギリス、1986年7月20～25日、議事録 (PDF) 。North-Holland. pp. 357– 363. ^ パール、ジューディア（1988年） 『知能システムにおける確率的推論：尤もらしい推論のネットワーク 』モーガン・カウフマン著、 ISBN 9780934613736 。 ^ コラー、ダフネ、フリードマン、ニール (2009). 確率的グラフィカルモデル . ケンブリッジ、マサチューセッツ州: MIT プレス. ISBN 9780262013192 。
外部リンク ウィキメディア・コモンズの条件付き独立性に関するメディア 
![{\displaystyle \left[{\text{not }}{\color {gold}Y}\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/a0eb1bae763ed41724514977c2f1f04cc4f94b47)
![{\displaystyle \Pr(A\mid \Sigma ):=\operatorname {E} [\chi _{A}\mid \Sigma ].}](https://wikimedia.org/api/rest_v1/media/math/render/svg/db4e749c3a141448b439396447227211c11aa216)
![{\displaystyle [W=w]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/e55acd7d0b952abbf759bed1372bd3b9956f3021)
![{\displaystyle {\begin{aligned}F_{\mathbf {X} ,\mathbf {Y} \,\mid \,\mathbf {Z} \,=\,\mathbf {z} }(\mathbf {x} ,\mathbf {y} )&=\Pr(X_{1}\leq x_{1},\ldots ,X_{l}\leq x_{l},Y_{1}\leq y_{1},\ldots ,Y_{m}\leq y_{m}\mid Z_{1}=z_{1},\ldots ,Z_{n}=z_{n})\\[6pt]F_{\mathbf {X} \,\mid \,\mathbf {Z} \,=\,\mathbf {z} }(\mathbf {x} )&=\Pr(X_{1}\leq x_{1},\ldots ,X_{l}\leq x_{l}\mid Z_{1}=z_{1},\ldots ,Z_{n}=z_{n})\\[6pt]F_{\mathbf {Y} \,\mid \,\mathbf {Z} \,=\,\mathbf {z} }(\mathbf {y} )&=\Pr(Y_{1}\leq y_{1},\ldots ,Y_{m}\leq y_{m}\mid Z_{1}=z_{1},\ldots ,Z_{n}=z_{n})\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/0e15a5820cfde986cae5d47cd4c1670c962f6072)
![{\displaystyle {\begin{aligned}P(X|Z)&=\sum _{w\in W}P(X|Z,W=w)P(W=w|Z)\\[4pt]&=\sum _{w\in W}P(X|Y,Z)P(W=w|Z)\\[4pt]&=P(X|Z,Y)\sum _{w\in W}P(W=w|Z)\\[4pt]&=P(X|Z,Y)\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/cdad58c7362d46ef35cfb708ff4bb237add0c8f3)
