マルコフ更新過程

Generalization of Markov jump processes

マルコフ更新過程は、確率統計学におけるランダム過程の一種であり、マルコフ ジャンプ過程を一般化したものである。マルコフ連鎖やポアソン過程といった他のランダム過程は、マルコフ更新過程のクラスの特殊なケースとして導出できるが、マルコフ更新過程は、より一般的な更新過程のクラスの特殊なケースである。

意味

マルコフ更新過程の図解

状態空間 における状態をとるジャンプ過程の文脈において、確率変数の集合 を考える。ここで はジャンプ時刻を表し、 は状態系列における関連する状態を表す（図参照）。到着間隔の系列 を とする。この系列がマルコフ更新過程であるとみなされるためには、以下の条件が満たされなければならない。 ${\displaystyle \mathrm {S} }$ ${\displaystyle (X_{n},T_{n})}$ ${\displaystyle T_{n}}$ ${\displaystyle X_{n}}$ ${\displaystyle \tau _{n}=T_{n}-T_{n-1}}$ ${\displaystyle (X_{n},T_{n})}$

${\displaystyle {\begin{aligned}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid (X_{0},T_{0}),(X_{1},T_{1}),\ldots ,(X_{n}=i,T_{n}))\\[5pt]={}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid X_{n}=i)\,\forall n\geq 1,t\geq 0,i,j\in \mathrm {S} \end{aligned}}}$

他の確率過程との関係

1. とを前の文で定義したものとする。に対する新しい確率過程を定義すると、この過程は連続時間マルコフ連鎖において発生するため、半マルコフ過程と呼ばれる。この過程は指定されたジャンプ時点でのみマルコフ的であり、半マルコフという名称にふさわしい。^{[1] [2] [3] （}隠れ半マルコフモデルも参照。） ${\displaystyle X_{n}}$ ${\displaystyle T_{n}}$ ${\displaystyle Y_{t}:=X_{n}}$ ${\displaystyle t\in [T_{n},T_{n+1})}$ ${\displaystyle Y_{t}}$
2. 上記の箇条書きで定義した半マルコフ過程において、すべての待機時間が指数分布に従う場合、連続時間マルコフ連鎖と呼ばれます。言い換えれば、到着間隔が指数分布に従い、ある状態と次に到達する状態における待機時間が独立である場合、連続時間マルコフ連鎖となります。

   ${\displaystyle {\begin{aligned}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid (X_{0},T_{0}),(X_{1},T_{1}),\ldots ,(X_{n}=i,T_{n}))\\[3pt]={}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid X_{n}=i)\\[3pt]={}&\Pr(X_{n+1}=j\mid X_{n}=i)(1-e^{-\lambda _{i}t}),{\text{ for all }}n\geq 1,t\geq 0,i,j\in \mathrm {S} ,i\neq j\end{aligned}}}$

3. マルコフ更新過程における系列は離散時間マルコフ連鎖である。言い換えれば、マルコフ更新過程方程式において時間変数を無視すると、離散時間マルコフ連鎖となる。 ${\displaystyle X_{n}}$

   ${\displaystyle \Pr(X_{n+1}=j\mid X_{0},X_{1},\ldots ,X_{n}=i)=\Pr(X_{n+1}=j\mid X_{n}=i)\,\forall n\geq 1,i,j\in \mathrm {S} }$

4. sのシーケンスが独立かつ同一分布であり、それらの分布が状態に依存しない場合、プロセスは更新です。したがって、状態を無視し、iid 時間の連鎖を持つ場合、更新プロセスとなります。 ${\displaystyle \tau }$ ${\displaystyle X_{n}}$

   ${\displaystyle \Pr(\tau _{n+1}\leq t\mid T_{0},T_{1},\ldots ,T_{n})=\Pr(\tau _{n+1}\leq t)\,\forall n\geq 1,\forall t\geq 0}$

参照

• マルコフ過程
• 再生理論
• 可変順序マルコフモデル
• 隠れセミマルコフモデル

参考文献

1. Medhi, J. (1982).確率過程. ニューヨーク: Wiley & Sons. ISBN 978-0-470-27000-4。
2. ロス、シェルドン・M. (1999).確率過程（第2版）. ニューヨーク [ua]: ラウトレッジ. ISBN 978-0-471-12062-9。
3. バルブ、ヴラド・ステファン、リムニオス、ニコラオス (2008).セミマルコフ連鎖と隠れセミマルコフモデルの応用：信頼性とDNA分析におけるその利用. ニューヨーク: シュプリンガー. ISBN 978-0-387-73171-1。

Retrieved from "https://en.wikipedia.org/w/index.php?title=Markov_renewal_process&oldid=1309241530#Relation_to_other_stochastic_processes"