連続時間マルコフ連鎖

Probability concept

連続時間マルコフ連鎖（CTMC）は、各状態において、指数確率変数に従って状態が変化し、その後、確率行列の確率によって指定された別の状態に移行する連続確率過程です。同等の定式化では、この過程は、遷移可能な状態ごとに1つずつ、一連​​の指数確率変数の最小値に従って状態が変化すると記述され、パラメータは現在の状態によって決定されます

3つの状態を持つCTMCの例は次のとおりです。プロセスは、ホールド時間（指数確率変数）で指定された時間後に遷移します。ここで、iは現在の状態です。各確率変数は独立しており、、、となります。遷移が発生する場合、プロセスはジャンプチェーン（確率行列を持つ離散時間マルコフ連鎖）に従って移動します ${\displaystyle \{0,1,2\}}$ ${\displaystyle E_{i}}$ ${\displaystyle E_{0}\sim {\text{Exp}}(6)}$ ${\displaystyle E_{1}\sim {\text{Exp}}(12)}$ ${\displaystyle E_{2}\sim {\text{Exp}}(18)}$

${\displaystyle {\begin{bmatrix}0&{\frac {1}{2}}&{\frac {1}{2}}\\{\frac {1}{3}}&0&{\frac {2}{3}}\\{\frac {5}{6}}&{\frac {1}{6}}&0\end{bmatrix}}.}$

同様に、競合指数関数の性質により、このCTMCは、独立で、かつ、パラメータがQ行列によって与えられる2つの確率変数の最小値に従って状態iから状態を変化させます。 ${\displaystyle E_{i,j}\sim {\text{Exp}}(q_{i,j})}$ ${\displaystyle i\neq j}$ ${\displaystyle Q=(q_{i,j})}$

${\displaystyle {\begin{bmatrix}-6&3&3\\4&-12&8\\15&3&-18\end{bmatrix}}.}$

非対角成分はそれぞれ、ジャンプ連鎖が状態iから状態jに移動する確率を、状態iの期待保持時間で割ったものとして計算できます。対角成分は、各行の合計が0になるように選択されます。 ${\displaystyle q_{i,j}}$

CTMCは、指数分布と離散時間マルコフ連鎖の無記憶性により、その動作は現在の状態のみ依存し、過去の動作には依存しないというマルコフ性を満たします。

定義

を確率空間とし、を可算な空でない集合とし、（「時間」）とします。離散計量をとすることで、関数 の正しい連続性を理解できます。連続時間マルコフ連鎖は次のように定義されます。^[1] ${\displaystyle (\Omega ,{\cal {A}},\Pr )}$ ${\displaystyle S}$ ${\displaystyle T=\mathbb {R} _{\geq 0}}$ ${\displaystyle T}$ ${\displaystyle S}$ ${\displaystyle \mathbb {R} _{\geq 0}\to S}$

• 上の確率ベクトル （以下では、マルコフ連鎖の初期分布として解釈します）、および ${\displaystyle \lambda }$ ${\displaystyle S}$
• 上の速度行列 、つまり、となる関数 ${\displaystyle Q}$ ${\displaystyle S}$ ${\displaystyle Q:S^{2}\to \mathbb {R} }$

1. すべての異なる に対して、 ${\displaystyle i,j\in S,0\leq q_{i,j}}$
2. すべての に対して となります（が無限大であっても、この和は事前に明確に定義されます（ に等しい可能性があります）。なぜなら、和に現れる各項は非負だからです。事後的には、が に等しいと仮定し、 が実数値であると仮定しているので、和も有限である（ に等しくない）ことがわかります。 一部の著者は、 という修正された規定を除いて逐語的に同じ定義を使用し、が安定している、または完全に安定していると言って、すべてのエントリが実数値であることを意味します。） ^{[2] [3] [4]} ${\displaystyle i\in S,}$ ${\displaystyle \sum _{j\in S:j\neq i}q_{i,j}=-q_{i,i}.}$ ${\displaystyle S}$ ${\displaystyle +\infty }$ ${\displaystyle +\infty }$ ${\displaystyle -q_{i,i}}$ ${\displaystyle Q}$ ${\displaystyle Q:S^{2}\to \mathbb {R} \cup \{-\infty \}}$ ${\displaystyle Q}$ ${\displaystyle \operatorname {range} Q\subseteq \mathbb {R} }$

の行和は0: 、より簡潔に言えば であることに注意してください。この状況は、遷移行列のすべての行和が1に等しい離散時間マルコフ連鎖の状況とは対照的です ${\displaystyle Q}$ ${\displaystyle \forall i\in S,~\sum _{j\in S}q_{i,j}=0,}$ ${\displaystyle Q\cdot 1=0}$

ここで、が-可測であるとします。初期分布と速度行列を用いてマルコフであることを定義するには、遷移確率を用いるか、ジャンプ連鎖と保持時間を用いるかの3つの同等な方法があります。 ^[5] ${\displaystyle X:T\to S^{\Omega }}$ ${\displaystyle \forall t\in T~X(t)}$ ${\displaystyle ({\cal {A}},{\cal {P}}(S))}$ ${\displaystyle X}$ ${\displaystyle \lambda }$ ${\displaystyle Q}$

遷移確率定義の前提として、まず正規 速度行列の定義を説明します。遷移速度行列を用いて、次の定理により( )上の遷移行列の集合を生成することで、マルコフ連鎖のダイナミクスを指定します。 ${\displaystyle Q}$ ${\displaystyle P(t)}$ ${\displaystyle S}$ ${\displaystyle t\in \mathbb {R} _{\geq 0}}$

コルモゴロフ後退方程式 ( ^[6] )の解の存在—すべての に対して、要素 が微分可能であり、コルモゴロフ後退方程式を満たす が存在する。 ${\displaystyle P\in ([0,1]^{S\times S})^{T}}$ ${\displaystyle i,j\in S}$ ${\displaystyle (P(t)_{i,j})_{t\in T}}$ ${\displaystyle P}$

$${\displaystyle P(0)=([i=j])_{i,j\in S},~\forall t\in T~\forall i,j\in S~~(P(t)_{i,j})'=\sum _{k\in S}q_{i,k}P(t)_{k,j}.}$$

0

が正則であると言うのは、上記の系が一意であること、すなわち解が1つだけ存在することを意味します。^{[7] [8]が}不規則であると言うのは、が正則ではないことを意味します。が有限である場合、解は1つだけ存在し、したがって正則です。そうでない場合、は無限であり、上に不規則な遷移率行列が存在します。^[a]が正則である場合、唯一の解 に対して、各 に対して、は確率行列になります。^[6]次のサブセクションの最初からこのセクションの最後まで、 が正則であると仮定しますが、この仮定を含めないのが慣例です^{[10] [11] [12]}。（専門家への注意：したがって、一般的な連続時間マルコフ連鎖を定義するのではなく、非爆発的な連続時間マルコフ連鎖のみを定義します。） ${\displaystyle Q}$ ${\displaystyle Q}$ ${\displaystyle Q}$ ${\displaystyle S}$ ${\displaystyle P=(e^{tQ})_{t\in T},}$ ${\displaystyle Q}$ ${\displaystyle S}$ ${\displaystyle S}$ ${\displaystyle Q}$ ${\displaystyle P}$ ${\displaystyle t\in T}$ ${\displaystyle P(t)}$ ${\displaystyle Q}$

遷移確率の定義

をシステム( 0 )の（唯一の）解とします。（唯一のことは、が正則であるという仮定によって保証されます。）初期分布と速度行列を持つマルコフとは、任意の非負整数に対して、すべてのに対してとなることを意味します ${\displaystyle P}$ ${\displaystyle Q}$ ${\displaystyle X}$ ${\displaystyle \lambda }$ ${\displaystyle Q}$ ${\displaystyle n\geq 0}$ ${\displaystyle t_{0},\dots ,t_{n+1}\in T}$ ${\displaystyle t_{0}<\dots <t_{n+1},}$ ${\displaystyle i_{0},\dots ,i_{n+1}\in I,}$

${\displaystyle \Pr(X_{0}=i_{0},\dots ,X_{t_{n+1}}=i_{n+1})=\lambda _{i_{0}}\prod _{k\in \mathbb {Z} :0\leq k\leq n}P(t_{k+1}-t_{k})_{i_{k},i_{k+1}}}$。[10]

1

帰納法と、 ( 1 )を含む上記の命題と次の命題との同値性を示すことができるという事実を用いて、すべての に対して、任意の非負整数 に対して、すべての に対して、すべての に対して（したがってとなる）、 ${\displaystyle \forall A,B\in {\cal {A}}~~\Pr(B)\neq 0\rightarrow \Pr(A\cap B)=\Pr(A\mid B)\Pr(B),}$ ${\displaystyle i\in I,~\Pr(X_{0}=i)=\lambda _{i}}$ ${\displaystyle n\geq 0}$ ${\displaystyle t_{0},\dots ,t_{n+1}\in T}$ ${\displaystyle t_{0}<\dots <t_{n+1},}$ ${\displaystyle i_{0},\dots ,i_{n+1}\in I}$ ${\displaystyle 0<\Pr(X_{0}=i_{0},\dots ,X_{t_{n}}=i_{n})}$ ${\displaystyle 0<\Pr(X_{t_{n}}=i_{n})}$

${\displaystyle \Pr(X_{t_{n+1}}=i_{n+1}\mid X_{t_{n}}=i_{n},\dots ,X_{t_{0}}=i_{0})=P(t_{n+1}-t_{n})_{i_{n},i_{n+1}}.}$

2

関数( ) の連続性から、軌道は（上の離散計量に関して）ほぼ確実に右連続であることが分かる。つまり、 となる-零集合が存在する。^[13] ${\displaystyle (P(t)_{i,j})_{t\in T}}$ ${\displaystyle i,j\in S}$ ${\displaystyle (X_{t}(\omega ))_{t\in T}}$ ${\displaystyle S}$ ${\displaystyle \Pr }$ ${\displaystyle N}$ ${\displaystyle \{\omega \in \Omega :(X_{t}(\omega ))_{t\in T}{\text{ is right continuous}}\}\subseteq N}$

ジャンプ連鎖／保持時間の定義

右連続関数に関連付けられたシーケンス

を右連続と仮定する（離散計量 を と仮定した場合）。定義する ${\displaystyle f:T\to S}$ ${\displaystyle S}$

${\displaystyle h=h(f)=(\inf\{u\in (0,+\infty ):f(t+u)\neq f(t)\})_{t\in T})\cup \{+\infty ,0\},}$

とする

${\displaystyle H=H(f)=(h^{\circ n}0)_{n\in \mathbb {Z} _{\geq 0}}}$

を に関連付けられた保持時間シーケンスとし、 を選択し、 とする ${\displaystyle f}$ ${\displaystyle s\in S,}$

${\displaystyle y=y(f)=\left({\begin{cases}f(\sum _{k\in n}H_{k})&{\text{ if }}\sum _{k\in n}H_{k}<+\infty ,\\s&{\text{ else}}\end{cases}}\right)_{n\in \omega }}$

を に関連付けられた「状態シーケンス」とする。 ${\displaystyle f}$

ジャンプ行列 Π の定義

ジャンプ行列 は 、への依存性を強調したい場合は、 と表記され、 が関数の零点集合である行列である^[14] ${\displaystyle \Pi }$ ${\displaystyle \Pi (Q)}$ ${\displaystyle Q}$ $${\displaystyle \Pi =([i=j])_{i\in Z,j\in S}\cup \bigcup _{i\in S\setminus Z}(\{((i,j),-q_{i,j}/q_{i,i}):j\in S\setminus \{i\}\}\cup \{((i,i),0)\}),}$$ ${\displaystyle Z=Z(Q)=\{k\in S:q_{k,k}=0\}}$ ${\displaystyle (q_{k,k})_{k\in S}.}$

ジャンプ連鎖／保持時間特性

は初期分布と速度行列を持つマルコフ連鎖であるとは、次のことを意味します。の軌跡はほぼ確実に右連続であり、を（どこでも）右連続の軌跡を持つように修正すると、ほぼ確実に（専門家への注意：この条件は非爆発的であると言います）、状態系列は初期分布（ジャンプ連鎖特性）と遷移行列と（保持時間特性）を持つ離散時間マルコフ連鎖です。 ${\displaystyle X}$ ${\displaystyle \lambda }$ ${\displaystyle Q}$ ${\displaystyle X}$ ${\displaystyle f}$ ${\displaystyle X}$ ${\displaystyle \sum _{n\in \mathbb {Z} _{\geq 0}}H(f(\omega ))_{n}=+\infty }$ ${\displaystyle X}$ ${\displaystyle y(f(\omega ))}$ ${\displaystyle \lambda }$ ${\displaystyle \Pi (Q),}$ ${\displaystyle \forall n\in \mathbb {Z} _{\geq 0}~\forall B\in {\cal {B}}(\mathbb {R} _{\geq 0})~\Pr(H_{n}(f)\in B)=\operatorname {Exp} (-q_{Y_{n},Y_{n}})(B)}$

無限小定義

連続時間マルコフ連鎖は、遷移速度、つまり状態iとjの間の遷移確率の時間に関する微分によって特徴付けられます。

は初期分布と速度行列を持つマルコフ連鎖であるとは、すべてのおよびすべてのに対して、すべての に対して、そして の小さな正の値に対して、すべての に対して以下が成り立つことを意味します。 ${\displaystyle X}$ ${\displaystyle \lambda }$ ${\displaystyle Q}$ ${\displaystyle i\in S,}$ ${\displaystyle \Pr(X(0)=i)=\lambda _{i}}$ ${\displaystyle i,j}$ ${\displaystyle t}$ ${\displaystyle h}$ ${\displaystyle t\in T}$ ${\displaystyle 0<\Pr(X(t)=i)}$

${\displaystyle \Pr(X(t+h)=j\mid X(t)=i)=[i=j]+q_{i,j}h+o(h)}$、

ここで、項は の場合、それ以外の場合はであり、小文字のo 項はに特定の方法で依存します。^{[15] [16]} ${\displaystyle [i=j]}$ ${\displaystyle 1}$ ${\displaystyle i=j}$ ${\displaystyle 0}$ ${\displaystyle o(h)}$ ${\displaystyle i,j,h}$

上記の式は、がに対して から への遷移がどれだけ速く起こり、に対して から への遷移がどれだけ速く起こるかを測るものと見ることができることを示しています。 ${\displaystyle q_{i,j}}$ ${\displaystyle i}$ ${\displaystyle j}$ ${\displaystyle i\neq j}$ ${\displaystyle i}$ ${\displaystyle i=j}$

特性

伝達クラス

伝達クラス、過渡性、再帰性、正再帰性および零再帰性は、離散時間マルコフ連鎖の場合と同じように定義されます。

過渡的動作

要素p _ij = P( X _t  =  j  |  X ₀  =  i )を持つ行列をP( t ) と書きます。すると、行列 P( t ) は順方向方程式、つまり1階微分方程式を満たします。

${\displaystyle P'(t)=P(t)Q}$、

ここで、プライムはtに関する微分を表します。この方程式の解は、指数行列で与えられます。

${\displaystyle P(t)=e^{tQ}}$。

状態空間 {1,2} 上の CTMC のような単純なケースでは、このようなプロセスの一般的なQ行列は、 α、β  > 0の次の 2 × 2 行列です。

${\displaystyle Q={\begin{pmatrix}-\alpha &\alpha \\\beta &-\beta \end{pmatrix}}.}$

この場合、順方向行列に関する上記の関係は、次のように明示的に解くことができます

${\displaystyle P(t)={\begin{pmatrix}{\frac {\beta }{\alpha +\beta }}+{\frac {\alpha }{\alpha +\beta }}e^{-(\alpha +\beta )t}&{\frac {\alpha }{\alpha +\beta }}-{\frac {\alpha }{\alpha +\beta }}e^{-(\alpha +\beta )t}\\{\frac {\beta }{\alpha +\beta }}-{\frac {\beta }{\alpha +\beta }}e^{-(\alpha +\beta )t}&{\frac {\alpha }{\alpha +\beta }}+{\frac {\beta }{\alpha +\beta }}e^{-(\alpha +\beta )t}\end{pmatrix}}}$。

大きな行列では、直接解の計算は複雑です。Qが行列の半群の生成元であるという事実が

${\displaystyle P(t+s)=e^{(t+s)Q}=e^{tQ}e^{sQ}=P(t)P(s)}$

使用されます。

定常分布

既約回帰CTMCの定常分布は、 tの大きな値に対して過程が収束する確率分布です。先に検討した2状態過程において、P( t )が次のように与えられる ことに注目してください。

${\displaystyle P(t)={\begin{pmatrix}{\frac {\beta }{\alpha +\beta }}+{\frac {\alpha }{\alpha +\beta }}e^{-(\alpha +\beta )t}&{\frac {\alpha }{\alpha +\beta }}-{\frac {\alpha }{\alpha +\beta }}e^{-(\alpha +\beta )t}\\{\frac {\beta }{\alpha +\beta }}-{\frac {\beta }{\alpha +\beta }}e^{-(\alpha +\beta )t}&{\frac {\alpha }{\alpha +\beta }}+{\frac {\beta }{\alpha +\beta }}e^{-(\alpha +\beta )t}\end{pmatrix}}}$、

t → ∞ になると、 分布は

${\displaystyle P_{\pi }={\begin{pmatrix}{\frac {\beta }{\alpha +\beta }}&{\frac {\alpha }{\alpha +\beta }}\\{\frac {\beta }{\alpha +\beta }}&{\frac {\alpha }{\alpha +\beta }}\end{pmatrix}}}$。

各行は同じ分布を持つことに注目してください。これは開始状態に依存しないためです。行ベクトルπは、

${\displaystyle \pi Q=0}$

制約付きで

${\displaystyle \sum _{i\in S}\pi _{i}=1}$。

例1

金融市場の状態を記述する連続時間マルコフ連鎖の有向グラフ表現（注：数字は架空のものです。）

右の図は、状態空間{強気市場、弱気市場、停滞市場}と遷移率行列を持つ連続時間マルコフ連鎖を表しています。

${\displaystyle Q={\begin{pmatrix}-0.025&0.02&0.005\\0.3&-0.5&0.2\\0.02&0.4&-0.42\end{pmatrix}}.}$

この連鎖の定常分布は、要素の合計が1になるという制約の下で、を解くことで見つけることができます ${\displaystyle \pi Q=0}$

${\displaystyle \pi ={\begin{pmatrix}0.885&0.071&0.044\end{pmatrix}}.}$

例2

遷移確率付き遷移グラフ。状態1、5、6、8の例を示します。状態2と8の間には双方向の秘密通路があります

右の図は、状態空間{1,2,3,4,5,6,7,8,9}を持つパックマンをモデル化した離散時間マルコフ連鎖を表しています。プレイヤーはパックマンを操作して迷路を進み、パックドットを食べます。その間、ゴーストに追われます。便宜上、迷路は3x3の小さなグリッドとし、ゴーストは水平方向と垂直方向にランダムに移動します。状態2と状態8の間には、両方向に秘密の通路が設けられています。以下の遷移率行列では、確率0の要素は削除されます。

${\displaystyle Q={\begin{pmatrix}-1&{\frac {1}{2}}&&{\frac {1}{2}}\\{\frac {1}{4}}&-1&{\frac {1}{4}}&&{\frac {1}{4}}&&&{\frac {1}{4}}\\&{\frac {1}{2}}&-1&&&{\frac {1}{2}}\\{\frac {1}{3}}&&&-1&{\frac {1}{3}}&&{\frac {1}{3}}\\&{\frac {1}{4}}&&{\frac {1}{4}}&-1&{\frac {1}{4}}&&{\frac {1}{4}}\\&&{\frac {1}{3}}&&{\frac {1}{3}}&-1&&&{\frac {1}{3}}\\&&&{\frac {1}{2}}&&&-1&{\frac {1}{2}}\\&{\frac {1}{4}}&&&{\frac {1}{4}}&&{\frac {1}{4}}&-1&{\frac {1}{4}}\\&&&&&{\frac {1}{2}}&&{\frac {1}{2}}&-1\end{pmatrix}}}$

このマルコフ連鎖は既約ではありません。なぜなら、ゴーストは有限の時間内にあらゆる状態からあらゆる状態へ移動できるからです。秘密の通路があるため、マルコフ連鎖は非周期的でもあります。なぜなら、ゴーストは任意の状態から任意の状態へ、偶数回と奇数回の両方の状態遷移で移動できるからです。したがって、唯一の定常分布が存在し、要素の合計が1になるという制約の下で を解くことで見つけることができます。制約の下でのこの線形方程式の解は です。中央の状態と隣接する秘密の通路の境界状態2と8が最も多く訪れられ、コーナーの状態は最も少なく訪れられます。 ${\displaystyle \pi Q=0}$ ${\displaystyle \pi =(7.7,15.4,7.7,11.5,15.4,11.5,7.7,15.4,7.7)\%.}$

時間反転

CTMC X _tの場合、時間反転プロセスは と定義されます。ケリーの補題により、このプロセスは順方向プロセスと同じ定常分布を持ちます ${\displaystyle {\hat {X}}_{t}=X_{T-t}}$

連鎖は、逆の過程が順方向の過程と同じである場合、可逆的であると言われます。コルモゴロフの基準によれば、過程が可逆的であるための必要十分条件は、閉ループの周りの遷移率の積が両方向で同じでなければならないということです。

埋め込みマルコフ連鎖

エルゴード連続時間マルコフ連鎖Qの定常確率分布π を見つける1つの方法は、まず埋め込みマルコフ連鎖（EMC）を見つけることです。厳密に言えば、EMCは正則離散時間マルコフ連鎖です。EMCの1ステップ遷移確率行列Sの各要素はs _ijで表され、状態iから状態jへの遷移の条件付き確率を表します。これらの条件付き確率は次のように見つけることができます。

${\displaystyle s_{ij}={\begin{cases}{\frac {q_{ij}}{\sum _{k\neq i}q_{ik}}}&{\text{if }}i\neq j,\\0&{\text{otherwise}}.\end{cases}}}$

このことから、S は次のように表すことができます

${\displaystyle S=I-\left(\operatorname {diag} (Q)\right)^{-1}Q}$

ここで、Iは単位行列であり、diag( Q ) は行列Qから主対角要素を選択し、他のすべての要素をゼロに設定すること によって形成される対角行列です。

定常確率分布ベクトルを求めるには、次に、となるようなもの を見つけなければなりません。 ${\displaystyle \varphi }$

${\displaystyle \varphi S=\varphi ,}$

は行ベクトルであり、すべての要素が0より大きく、= 1となるようなもの。これから、πは次のように求められます 。 ${\displaystyle \varphi }$ ${\displaystyle \varphi }$ ${\displaystyle \|\varphi \|_{1}}$

${\displaystyle \pi ={-\varphi (\operatorname {diag} (Q))^{-1} \over \left\|\varphi (\operatorname {diag} (Q))^{-1}\right\|_{1}}.}$

（Sは周期的であっても、Qは周期的でなくても構いません。πが求められたら、単位ベクトルに正規化する必要があります。）

連続時間マルコフ連鎖から導出できるもう1つの離散時間プロセスは、δスケルトンです。これは、 X ( t )をδ単位の時間間隔で観測することによって形成される（離散時間）マルコフ連鎖です。確率変数X (0),  X (δ),  X (2δ), ...は、δスケルトンが訪れる状態の系列を与えます。

参照

• コルモゴロフ方程式（マルコフジャンプ過程）

注釈

1. Ross, SM (2010). Introduction to Probability Models (10 ed.). Elsevier. ISBN 978-0-12-375686-2。
2. Anderson 1991, 64ページの定義を参照。
3. Chen & Mao 2021, 定義2.2.
4. Chen 2004, 定義0.1(4).
5. Norris 1997、定理2.8.4および定理2.8.2(b)
6. Anderson 1991、定理2.2.2(1)、70ページ
7. Anderson 1991、定義81ページ
8. Chen 2004、2ページ
9. Anderson 1991、20ページ
10. Suhov & Kelbert 2008、定義2.6.3
11. Chen & Mao 2021、定義2.1
12. Chen 2004、定義0.1
13. Chen & Mao 2021、56ページ、定義2.2のすぐ下
14. Norris 1997、87ページ
15. Suhov & Kelbert 2008, 定理2.6.6.
16. Norris 1997, 定理2.8.2(c).

参考文献

• Anderson, William J. (1991). Continuous-time Markov chains: an applications-oriented approach . Springer
• Leo Breiman (1992) [1968]確率論。初版はAddison-Wesley社発行、応用数学協会により再版。ISBN   0-89871-296-3（第7章参照）
• Chen, Mu-Fa (2004).マルコフ連鎖から非平衡粒子系へ（第2版）. World Scientific.
• Chen, Mu-Fa; Mao, Yong-Hua (2021).確率過程入門. World Scientific.
• JL Doob (1953) .確率過程. ニューヨーク：John Wiley and Sons ISBN 0-471-52369-0。
• AA Markov (1971). 「確率論の極限定理の連鎖的変数の和への拡張」。R. Howard著『動的確率システム』第1巻：マルコフ連鎖の付録Bに転載。John Wiley and Sons.
• Markov, AA (2006). 「連鎖的サンプルの連結に関するテキスト『エフゲニー・オネーギン』の統計的調査の例」。Science in Context . 19 (4). Link, Davidによる翻訳: 591–600 . doi :10.1017/s0269889706001074. S2CID  144854176
• SP MeynとRL Tweedie (1993) 『マルコフ連鎖と確率的安定性』ロンドン：Springer-Verlag ISBN 0-387-19832-6オンライン：MCSS。第2版、ケンブリッジ大学出版局、2009年。
• Kemeny, John G.、Hazleton Mirkil、J. Laurie Snell、Gerald L. Thompson (1959) 『有限数学構造（第1版）』、ニュージャージー州エングルウッドクリフス：Prentice-Hall, Inc. 米国議会図書館カード目録番号 59-12841。古典文献。第6章「有限マルコフ連鎖」 384ページ以降を参照。
• John G. Kemeny & J. Laurie Snell (1960) 『有限マルコフ連鎖』、D. van Nostrand Company ISBN 0-442-04328-7
• E. ヌメリン著『既約マルコフ連鎖と非負値作用素』ケンブリッジ大学出版局、1984年、2004年。ISBN   0-521-60494-X
• ノリス、JR (1997) 『マルコフ連鎖』doi :10.1017/CBO9780511810633.005。ISBN   9780511810633。
• セネタ、E. 『非負値行列とマルコフ連鎖』第2版、1981年、XVI、288ページ、ソフトカバー、Springer Series in Statistics。（初版：Allen & Unwin Ltd.、ロンドン、1973年）ISBN 978-0-387-29765-1
• ユーリ・スホフ、マーク・ケルバート（2008年）『マルコフ連鎖：ランダム過程とその応用の入門』ケンブリッジ大学出版局

1. 例えば、 となるような（唯一の）遷移率行列 と を考えてみましょう。（この場合、 の残りの要素はすべてゼロになります。誕生過程を参照してください。）この場合、 は不規則行列です。そして、一般の無限 の場合、非負整数でインデックスを付けると、上記の行列を適切に修正したバージョンは不規則行列になります。^[9] ${\displaystyle S=\mathbb {Z} _{\geq 0}}$ ${\displaystyle Q}$ ${\displaystyle S}$ ${\displaystyle \forall i\in \mathbb {Z} _{\geq 0}~~Q_{i,i+1}=i^{2},~Q_{i,i}=-i^{2}}$ ${\displaystyle Q}$ ${\displaystyle Q}$ ${\displaystyle S}$ ${\displaystyle S}$ ${\displaystyle \mathbb {Z} _{\geq 0}}$ ${\displaystyle Q}$

Retrieved from "https://en.wikipedia.org/w/index.php?title=Continuous-time_Markov_chain&oldid=1305500525"