Memoryless property of a stochastic process
0 ≤ t ≤ 2 の時間における3 次元 ブラウン運動 の単一の実現。ブラウン運動はマルコフ特性を持ち、粒子の変位は過去の変位に依存しません。 確率論 と 統計学 において、 マルコフ性 という用語は、 確率過程 の記憶 のない 性質 、すなわち、その将来の発展が過去の出来事から独立していることを意味する。これは ロシアの 数学者 アンドレイ・マルコフにちなんで名付けられた。 強マルコフ性 という用語はマルコフ性に類似しているが、「現在」の意味が 停止時間 と呼ばれる確率変数によって定義される点が異なる 。
マルコフ仮定 という用語は、 隠れマルコフモデル など、マルコフ性が成り立つと仮定されるモデルを説明するために使用されます 。
マルコフ 確率場は、 この特性を2次元以上の次元、あるいは相互接続されたアイテムのネットワークに対して定義された確率変数に拡張する。 [1] このような場のモデルの例としては、 イジングモデル が挙げられる。
マルコフ性を満たす離散時間確率過程は、 マルコフ連鎖 として知られています。
導入 確率過程は、 その過程の将来の状態の 条件付き確率分布（過去と現在の値の両方を条件とする）が現在の状態のみに依存する場合、マルコフ性を持つとされます。つまり、現在が与えられれば、将来は過去に依存しません。この性質を持つ過程は マルコフ性 または マルコフ的であるとされ、 マルコフ過程 として知られています。マルコフ過程の2つの有名なクラスは、 マルコフ連鎖 と ブラウン運動 です 。
定義を平易な英語で述べると、しばしば見落とされがちな、微妙で非常に重要な点があります。それは、プロセスの状態空間は時間を通じて一定であるということです。条件付き記述には、固定された「帯域幅」が伴います。例えば、この制約がなければ、任意のプロセスを、与えられた初期状態からの完全な履歴を含むように拡張し、マルコフ性を持たせることができます。しかし、状態空間は時間の経過とともに次元が増加し、定義を満たしません。
歴史
意味 を、ある（ 全順序付けされた ）指数集合に対する 濾過 を 持つ 確率空間 とする 。 また、 を測定可能な空間 とする 。 濾過に適応した 値確率過程が マルコフ性 を持つとは 、各 および各 に対して 、 ( Ω , F , P ) {\displaystyle (\Omega ,{\mathcal {F}},P)} ( F s , s ∈ I ) {\displaystyle ({\mathcal {F}}_{s},\ s\in I)} I {\displaystyle I} ( S , Σ ) {\displaystyle (S,\Sigma )} ( S , Σ ) {\displaystyle (S,\Sigma )} X = { X t : Ω → S } t ∈ I {\displaystyle X=\{X_{t}:\Omega \to S\}_{t\in I}} A ∈ Σ {\displaystyle A\in \Sigma } s , t ∈ I {\displaystyle s,t\in I} s < t {\displaystyle s<t}
P ( X t ∈ A ∣ F s ) = P ( X t ∈ A ∣ X s ) . {\displaystyle P(X_{t}\in A\mid {\mathcal {F}}_{s})=P(X_{t}\in A\mid X_{s}).} [2] が離散シグマ代数 を持つ離散集合であり 、 の場合 、これは次のように再定式化できます。 S {\displaystyle S} I = N {\displaystyle I=\mathbb {N} }
P ( X n + 1 = x n + 1 ∣ X n = x n , … , X 1 = x 1 ) = P ( X n + 1 = x n + 1 ∣ X n = x n ) for all n ∈ N . {\displaystyle P(X_{n+1}=x_{n+1}\mid X_{n}=x_{n},\dots ,X_{1}=x_{1})=P(X_{n+1}=x_{n+1}\mid X_{n}=x_{n}){\text{ for all }}n\in \mathbb {N} .} 言い換えれば、 時刻における の分布は、 時刻 における の状態にのみ依存し 、 より前のどの時刻においてもプロセスの状態とは独立しており 、これはまさに導入部で述べた直感と一致します。 X {\displaystyle X} n + 1 {\displaystyle n+1} X {\displaystyle X} n {\displaystyle n} n {\displaystyle n}
のとき 、 すべての 弱マルコフ性が成り立つとき、 は 時間同次で あると呼ばれる： [3] I = [ 0 , ∞ ) {\displaystyle I=[0,\infty )} X {\displaystyle X} t , s ≥ 0 {\displaystyle t,s\geq 0}
P ( X t + s ∈ A ∣ F s ) = P ( X t ∈ A ∣ X 0 = x ) | x = X s =: P X s ( X t ∈ A ) {\displaystyle P(X_{t+s}\in A\mid {\mathcal {F}}_{s})=P(X_{t}\in A\mid X_{0}=x)|_{x=X_{s}}=:P^{X_{s}}(X_{t}\in A)} 。 新たに導入された確率測度 は 、次のような直感を持つ：これは、 において時刻 0 でプロセス が開始された場合、 時刻 においてプロセスが何らかの集合 に存在する 確率を与える 。関数 は の 遷移 関数 とも呼ばれ 、集合 は その 遷移半群と も呼ばれる。 P x ( X t ∈ ⋅ ) {\displaystyle P^{x}(X_{t}\in \cdot )} x ∈ S {\displaystyle x\in S} X {\displaystyle X} t {\displaystyle t} x {\displaystyle x} P t ( x , A ) := P x ( X t ∈ A ) {\displaystyle P_{t}(x,A):=P^{x}(X_{t}\in A)} ( t , x , A ) ∈ R + × S × Σ {\displaystyle (t,x,A)\in \mathbb {R} _{+}\times S\times \Sigma } X {\displaystyle X} ( P t ) t ≥ 0 {\displaystyle (P_{t})_{t\geq 0}}
上で述べた基本的なマルコフ性には複数の代替定式化が存在する。以下はすべて同等である。 [4] [5]
すべての -代数 とは が 与えられたとき条件付きで独立である 。言い換えれば、すべての に対して 、は次のようになる 。 t ≥ 0 {\displaystyle t\geq 0} σ {\displaystyle \sigma } F t {\displaystyle {\mathcal {F}}_{t}} F t ′ := σ ( X s : s ≥ t ) {\displaystyle {\mathcal {F}}_{t}':=\sigma (X_{s}:s\geq t)} X t {\displaystyle X_{t}} A ∈ F t {\displaystyle A\in {\mathcal {F}}_{t}} B ∈ F t ′ {\displaystyle B\in {\mathcal {F}}_{t}'} P ( A ∩ B ∣ X t ) = P ( A ∣ X t ) P ( B ∣ X t ) {\displaystyle P(A\cap B\mid X_{t})=P(A\mid X_{t})P(B\mid X_{t})} 。
すべての について 、 : t ≥ 0 {\displaystyle t\geq 0} B ∈ F t ′ {\displaystyle B\in {\mathcal {F}}_{t}'} P ( B ∣ F t ) = P ( B ∣ X t ) {\displaystyle P(B\mid {\mathcal {F}}_{t})=P(B\mid X_{t})} 。
すべての について 、 : t ≥ 0 {\displaystyle t\geq 0} A ∈ F t {\displaystyle A\in {\mathcal {F}}_{t}} P ( A ∣ F t ′ ) = P ( A ∣ X t ) {\displaystyle P(A\mid {\mathcal {F}}_{t}^{'})=P(A\mid X_{t})} 。
すべての 有界 かつ 測定可能 t ≥ 0 {\displaystyle t\geq 0} Y : Ω → R {\displaystyle Y:\Omega \rightarrow \mathbb {R} } F t ′ {\displaystyle {\mathcal {F}}_{t}'} E [ Y ∣ F t ] = E [ Y ∣ X t ] {\displaystyle \operatorname {E} [Y\mid {\mathcal {F}}_{t}]=\operatorname {E} [Y\mid X_{t}]} 。
すべてにおいて 境界 があり測定可能な t ≥ s ≥ 0 {\displaystyle t\geq s\geq 0} f : S → R {\displaystyle f:S\rightarrow \mathbb {R} } E [ f ( X t ) ∣ F s ] = E [ f ( X t ) ∣ X s ] {\displaystyle \operatorname {E} [f(X_{t})\mid {\mathcal {F}}_{s}]=\operatorname {E} [f(X_{t})\mid X_{s}]} 。
コンパクトなサポートで すべての人に 継続的 t ≥ s ≥ 0 {\displaystyle t\geq s\geq 0} f : S → R {\displaystyle f:S\rightarrow \mathbb {R} } E [ f ( X t ) ∣ F s ] = E [ f ( X t ) ∣ X s ] {\displaystyle \operatorname {E} [f(X_{t})\mid {\mathcal {F}}_{s}]=\operatorname {E} [f(X_{t})\mid X_{s}]} 。
コンパクトなサポートで すべての人に 継続的 0 ≤ s 1 < . . . < s n < s < t {\displaystyle 0\leq s_{1}<...<s_{n}<s<t} f : S → R {\displaystyle f:S\rightarrow \mathbb {R} } E [ f ( X t ) ∣ X s , X s n , . . . , X s 1 ] = E [ f ( X t ) ∣ X s ] {\displaystyle \operatorname {E} [f(X_{t})\mid X_{s},X_{s_{n}},...,X_{s_{1}}]=\operatorname {E} [f(X_{t})\mid X_{s}]} 。
いわゆる シフト半群 、 すなわち
関数が存在する場合、 ( θ t ) t ≥ 0 {\displaystyle (\theta _{t})_{t\geq 0}} θ t : Ω → Ω {\displaystyle \theta _{t}:\Omega \to \Omega }
θ 0 = i d Ω {\displaystyle \theta _{0}=\mathrm {id} _{\Omega }} 、 θ t ∘ θ s = θ t + s ∀ s , t ≥ 0 {\displaystyle \theta _{t}\circ \theta _{s}=\theta _{t+s}\quad \forall s,t\geq 0} （半群の性質）、 X t ∘ θ s = X t + s ∀ s , t ≥ 0 {\displaystyle X_{t}\circ \theta _{s}=X_{t+s}\quad \forall s,t\geq 0} 、 マルコフ性は次の式と等価である: [4]
すべての人 のために t ≥ 0 {\displaystyle t\geq 0} Λ ∈ F 0 ′ {\displaystyle \Lambda \in {\mathcal {F}}_{0}'} P ( θ t − 1 ( Λ ) ∣ F t ) = P ( θ t − 1 ( Λ ) ∣ X t ) {\displaystyle P(\theta _{t}^{-1}(\Lambda )\mid {\mathcal {F}}_{t})=P(\theta _{t}^{-1}(\Lambda )\mid X_{t})} 。
すべての 有界 かつ 測定可能 t ≥ 0 {\displaystyle t\geq 0} Y : Ω → R {\displaystyle Y:\Omega \rightarrow \mathbb {R} } F 0 ′ {\displaystyle {\mathcal {F}}_{0}'} E [ Y ∘ θ t ∣ F t ] = E [ Y ∘ θ t ∣ X t ] {\displaystyle \operatorname {E} [Y\circ \theta _{t}\mid {\mathcal {F}}_{t}]=\operatorname {E} [Y\circ \theta _{t}\mid X_{t}]} 。
状況によっては、ある定式化が他の定式化よりも検証や使用が簡単な場合があります。
強いマルコフ性 が確率空間 上の 自然濾過 を伴う 確率過程 である とする 。すると、 上の任意の 停止時間 に対して、次のように定義できる。 X = ( X t : t ≥ 0 ) {\displaystyle X=(X_{t}:t\geq 0)} ( Ω , F , P ) {\displaystyle (\Omega ,{\mathcal {F}},P)} { F t } t ≥ 0 {\displaystyle \{{\mathcal {F}}_{t}\}_{t\geq 0}} τ {\displaystyle \tau } Ω {\displaystyle \Omega }
F τ = { A ∈ F : ∀ t ≥ 0 , { τ ≤ t } ∩ A ∈ F t } {\displaystyle {\mathcal {F}}_{\tau }=\{A\in {\mathcal {F}}:\forall t\geq 0,\{\tau \leq t\}\cap A\in {\mathcal {F}}_{t}\}} 。 が 強マルコフ性を持つとは、 事象 を条件とする各 停止時刻 に対して、各 に対して が与えられた とは独立であること を 意味 する 。これは次式と等価である。 X {\displaystyle X} τ {\displaystyle \tau } { τ < ∞ } {\displaystyle \{\tau <\infty \}} t ≥ 0 {\displaystyle t\geq 0} X τ + t {\displaystyle X_{\tau +t}} F τ {\displaystyle {\mathcal {F}}_{\tau }} X τ {\displaystyle X_{\tau }}
P ( X τ + t ∈ A , τ < ∞ ∣ F τ ) = 1 { τ < ∞ } P ( X t ∈ A ∣ X 0 = X τ ) {\displaystyle P(X_{\tau +t}\in A,\tau <\infty \mid {\mathcal {F}}_{\tau })=1_{\{\tau <\infty \}}P(X_{t}\in A\mid X_{0}=X_{\tau })} すべてのために 、 A ∈ F {\displaystyle A\in {\mathcal {F}}} ここで は セットの指示関数を表します 。 1 { τ < ∞ } {\displaystyle 1_{\{\tau <\infty \}}} { τ < ∞ } {\displaystyle \{\tau <\infty \}}
強いマルコフ性は通常のマルコフ性を意味します。なぜなら 、停止時間を取ることで通常のマルコフ性を推論できるからです。 [6] 逆は一般には成り立ちません。 τ = t {\displaystyle \tau =t}
強いマルコフ性は連続時間においてのみ非自明な結果（つまり、マルコフ性だけでは成り立たない結果）をもたらすが、離散時間の場合、強いマルコフ性と基本マルコフ性は同等である。 [7]
フェラープロパティ 強いマルコフ性は一般に基本マルコフ性よりも強いですが、十分に「優れた」規則性を持つマルコフ過程によって満たされます。
連続時間マルコフ過程は、 その遷移半群 （上記参照）が [4]を満たすとき、 フェラー性を持つと言われる。 ( P t ) t ≥ 0 {\displaystyle (P_{t})_{t\geq 0}}
P t f := ∫ f ( x ) P t ( ⋅ , d x ) ∈ C 0 ( S ) {\displaystyle P_{t}f:=\int f(x)P_{t}(\cdot ,dx)\in C_{0}(S)} すべてのために 、 f ∈ C 0 ( S ) {\displaystyle f\in C_{0}(S)} lim t → 0 | | P t f − f | | ∞ = 0 {\displaystyle \lim _{t\to 0}||P_{t}f-f||_{\infty }=0} すべてのために 、 f ∈ C 0 ( S ) {\displaystyle f\in C_{0}(S)} ここで、は 無限大で消滅する 連続関数 の集合 と sup ノルム を表します。すると、（濾過が 拡張 で ある場合）そのようなプロセスには 右連続（偶数 càdlàg ）パスを持つ バージョン が存在し、それが強マルコフ性を満たすことが示されます。 C 0 ( S ) {\displaystyle C_{0}(S)} | | ⋅ | | ∞ {\displaystyle ||\cdot ||_{\infty }}
例
直感的な例 壺の中に赤いボールが2つと緑のボールが1つ入っているとします。1つは昨日、もう1つは今日、そして最後のボールは明日抽選されます。すべての抽選は「無交換」です。
今日のボールが赤だったことはわかっているけれど、昨日のボールについては何も知らないとします。明日のボールが赤になる確率は1/2です。なぜなら、このランダム実験で残る結果は以下の2つだけだからです。
一方、今日と昨日のボールが両方とも赤だったとわかっていれば、明日は緑のボールが出ることが保証されます。
この矛盾は、明日の色の確率分布が現在の値だけでなく、過去の情報にも左右されることを示しています。観測された色のこの確率過程はマルコフ性を持ちません。上記と同じ実験を用いて、「非復元」サンプリングを「復元」サンプリングに変更すると、観測された色の過程はマルコフ性を持つようになります。 [8]
確率過程 多くの著名な確率過程はマルコフ過程です。 ブラウン運動 、 ブラウン橋 、 確率指数関数 、 オルンシュタイン・ウーレンベック過程 、 ポアソン過程 はマルコフ特性を持ちます。
より一般的には、その値を持つ任意の セミマルチンゲールは、 確率微分方程式 によって与えられる。 X {\displaystyle X} R n {\displaystyle \mathbb {R} ^{n}}
X t = X 0 + ∑ i = 1 d [ ∫ 0 t g i ( X s ) d s + ∫ 0 t f i ( X s ) d B s i ] {\displaystyle X_{t}=X_{0}+\sum _{i=1}^{d}{\Big [}\int _{0}^{t}g_{i}(X_{s})ds+\int _{0}^{t}f_{i}(X_{s})dB_{s}^{i}{\Big ]}} 、 ここで 、は -次元ブラウン運動であり、 自律的（つまり時間に依存しない）なリプシッツ関数であり、時間同次であり、強いマルコフ性を持つ。 自律的でない場合でも、は 依然として基本マルコフ性を持つ。 [3] B = ( B 1 , . . . , B d ) {\displaystyle B=(B^{1},...,B^{d})} d {\displaystyle d} f 1 , . . . , f d , g 1 , . . . , g d : R n → R n {\displaystyle f_{1},...,f_{d},g_{1},...,g_{d}:\mathbb {R} ^{n}\to \mathbb {R} ^{n}} f 1 , . . . , f d , g 1 , . . . , g d {\displaystyle f_{1},...,f_{d},g_{1},...,g_{d}} X {\displaystyle X}
アプリケーション
予測 予測モデリング や 確率予測 の分野では、マルコフ性は、 扱いにく さゆえに解決不可能であった問題の推論と解決を可能にする可能性があるため、望ましいと考えられています 。このようなモデルは マルコフモデル として知られています。
マルコフ連鎖モンテカルロ 一般化された形でのマルコフ性の応用は、 ベイズ統計 の文脈における マルコフ連鎖モンテカルロ 計算です。
参照
参考文献 ^ ドッジ、ヤドラー （2006年） 『オックスフォード統計用語辞典 』 オックスフォード大学出版局 、 ISBN 0-19-850994-4 ^ ダレット、リック . 確率：理論と例 . 第4版. ケンブリッジ大学出版局 , 2010年. ^ ab Protter, Philip (1992). 確率積分と微分方程式 （第2版）. Springer-Verlag Berlin Heidelberg. pp. 235– 242. ISBN 978-3-662-02619-9 。 ^ abc Chung, Kai Lai; Walsh, John B. (2005). マルコフ過程、ブラウン運動、そして時間対称性 （第2版）. Springer Science+Business Media. pp. 1– 5, 49– 56. ISBN 978-0387-22026-0 。 ^ Øksendal, Bernt K. (2003). 確率微分方程式：応用入門 . Springer, Berlin. ISBN 3-540-04758-1 。 ^ Ethier, Stewart N. および Kurtz, Thomas G. Markov Processes: Characterization and Convergence . Wiley Series in Probability and Mathematical Statistics, 1986, p. 158. ^ クレンケ、アヒム（2020年） 『確率論 （第3版）』シュプリンガー・チャム社、397頁 。ISBN 978-3-030-56402-5 。 ^ 「マルコフ性を持たない確率過程の例」. Stack Exchange . 2020年7月7日 閲覧 。 
![{\displaystyle \operatorname {E} [Y\mid {\mathcal {F}}_{t}]=\operatorname {E} [Y\mid X_{t}]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/fcdc9c6cd385bbf5ba8cfadb1e78dd802b19dd74)
![{\displaystyle \operatorname {E} [f(X_{t})\mid {\mathcal {F}}_{s}]=\operatorname {E} [f(X_{t})\mid X_{s}]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/451b6fa90b8b82db475b0a8794e2bfad0ae15acf)
![{\displaystyle \operatorname {E} [f(X_{t})\mid X_{s},X_{s_{n}},...,X_{s_{1}}]=\operatorname {E} [f(X_{t})\mid X_{s}]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/d30b8ce6fc3ec46a4a9329be30232753b9f37a0f)
![{\displaystyle \operatorname {E} [Y\circ \theta _{t}\mid {\mathcal {F}}_{t}]=\operatorname {E} [Y\circ \theta _{t}\mid X_{t}]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/4413cdb83344dbc3426ff0c436cd28c3fa39f616)
![{\displaystyle X_{t}=X_{0}+\sum _{i=1}^{d}{\Big [}\int _{0}^{t}g_{i}(X_{s})ds+\int _{0}^{t}f_{i}(X_{s})dB_{s}^{i}{\Big ]}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/b9eb9f11650ac45ab8b2858c01b308d29c5851f1)
