確率変数の収束

Notions of probabilistic convergence, applied to estimation and asymptotic analysis

確率論では、確率変数の列の収束について、確率収束、分布収束、ほぼ確実な収束など、いくつかの異なる概念が存在します。収束に関する異なる概念は、列に関する異なる特性を捉えており、収束の概念の中には他の概念よりも強いものもあります。例えば、分布収束は、確率変数の列の極限分布について教えてくれます。これは、分布だけでなく、確率変数が取る値について教えてくれる確率収束よりも弱い概念です。

この概念は確率論、そしてその統計学や確率過程への応用において重要です。より一般的な数学では、同じ概念が確率収束として知られており、本質的にランダムまたは予測不可能な一連の事象の特定の特性は、その一連の事象の十分奥にある項目を調べると、本質的に不変の挙動に落ち着くことが期待できるという考えを形式化したものです。収束に関する様々な概念は、そのような挙動をどのように特徴付けるかに関係しています。よく理解されている2つの挙動は、一連の事象が最終的に一定値を取るというものであり、また、一連の事象内の値は変化し続けるものの、不変の確率分布で記述できるというものです。

背景

「確率的収束」とは、本質的にランダムまたは予測不可能な一連の事象が、時としてあるパターンに落ち着くことが期待できるという考えを定式化したものである。そのパターンとは、例えば以下のようなものである。

• 古典的な意味での固定値への収束、おそらくそれ自体はランダムなイベントから生じる
• 純粋に決定論的な関数が生成する結果との類似性が高まっている
• 特定の結果に対する好みの増加
• 特定の結果から大きく逸脱することに対する「嫌悪感」の高まり
• 次の結果を記述する確率分布は、特定の分布にますます類似するようになる可能性がある

あまり明白ではない、より理論的なパターンとしては、

• 特定の値からの結果の距離の期待値を計算することによって形成される級数は0に収束する可能性がある
• 次のイベントを記述するランダム変数の分散がどんどん小さくなるということ。

発生する可能性のあるこれらの他のタイプのパターンは、研究されてきたさまざまな種類の確率的収束に反映されています。

上記の議論は、単一の級数が極限値に収束することに関するものですが、2 つの級数が互いに収束するという概念も重要です。ただし、これは、2 つの級数の差または比率として定義されるシーケンスを調べることで簡単に処理できます。

例えば、すべて同じ有限平均と分散を持つn個の 独立した確率変数の平均が次のように与えられるとします。 ${\displaystyle Y_{i},\ i=1,\dots ,n}$

${\displaystyle X_{n}={\frac {1}{n}}\sum _{i=1}^{n}Y_{i}\,,}$

が無限大に向かうにつれて、確率収束（下記参照）は確率変数の共通平均、に収束します。この結果は大数の弱法則として知られています。他の収束の形態は、中心極限定理など、他の有用な定理においても重要です。 ${\displaystyle n}$ ${\displaystyle X_{n}}$ ${\displaystyle \mu }$ ${\displaystyle Y_{i}}$

以下では、がランダム変数の列であり、 がランダム変数であり、それらすべてが同じ確率空間上で定義されていると仮定します。 ${\displaystyle (X_{n})}$ ${\displaystyle X}$ ${\displaystyle (\Omega ,{\mathcal {F}},\mathbb {P} )}$

分布の収束

分布の収束の例

サイコロ工場
新しいサイコロ工場ができたと仮定しましょう。最初の数個のサイコロは、製造工程の不完全さのために、かなり偏った出目になります。それらのサイコロを投げた結果は、望ましい均一分布とは大きく異なる分布に従うでしょう。 工場の改良が進むにつれて、サイコロの偏りは徐々に少なくなり、新しく製造されたサイコロを投げた結果は、均一分布にますます近づくでしょう。
コインを投げる
X n を、偏りのないコインをn回投げたときの表が出る割合とします。すると、X 1は期待値μ = 0.5、分散σ 2 = 0.25のベルヌーイ分布に従います。以降の確率変数X 2、X 3、…はすべて二項分布します。nが大きくなるにつれて、この分布は徐々に正規分布のベル曲線に似た形になり始めます。X n を適切にシフトおよび再スケーリングすると、分布は標準正規分布に収束します。これは、有名な中心極限定理から導かれる結果です。 ${\displaystyle \scriptstyle Z_{n}={\frac {\sqrt {n}}{\sigma }}(X_{n}-\mu )}$
グラフィック例
{ X i }が一様U (−1, 1)確率変数のiid列であるとする。それらの（正規化された）和を とする。中心極限定理によれば、 Z nの分布は正規分布N (0, ⁠ ${\displaystyle \scriptstyle Z_{n}={\scriptscriptstyle {\frac {1}{\sqrt {n}}}}\sum _{i=1}^{n}X_{i}}$1/3⁠）分布。この収束は図に示されています。nが大きくなるにつれて、確率密度関数の形状はガウス曲線にどんどん近づいていきます。

大まかに言えば、この収束のモードにより、一連のランダム実験における次の結果が、与えられた確率分布によってより良くモデル化されるようになることが期待されます。より正確には、一連のランダム実験における関連するランダム変数の分布は、指定された固定分布に任意に近づきます。

分布収束は、本稿で言及する他のすべての収束の種類によって必然的に導かれるため、一般的に議論される収束の中で最も弱い形態です。しかしながら、分布収束は実務において非常に頻繁に用いられ、ほとんどの場合、中心極限定理の適用から生じます。

意味

累積分布関数を持つ実数値確率変数の列は、累積分布関数Fを持つ確率変数Xに分布収束、弱収束、または法則収束するとは、次の場合を言う。 ${\displaystyle X_{1},X_{2},\ldots }$ ${\displaystyle F_{1},F_{2},\ldots }$

${\displaystyle \lim _{n\to \infty }F_{n}(x)=F(x),}$

が連続する任意の数に対して。 ${\displaystyle x\in \mathbb {R} }$ ${\displaystyle F}$

の連続点のみを考慮する必要があるという要件は重要です。例えば、が区間 に一様に分布している場合、この数列は退化した確率変数に分布収束します。実際、のときはすべての に対してが、のときはすべての に対して が成り立ちます。しかし、この極限確率変数 の場合、すべての に対してであっても が成り立ちます。したがって、 が不連続な点では、累積分布関数の収束は失敗します。 ${\displaystyle F}$ ${\displaystyle X_{n}}$ ${\displaystyle \left(0,{\frac {1}{n}}\right)}$ ${\displaystyle X=0}$ ${\displaystyle F_{n}(x)=0}$ ${\displaystyle n}$ ${\displaystyle x\leq 0}$ ${\displaystyle F_{n}(x)=1}$ ${\displaystyle x\geq {\frac {1}{n}}}$ ${\displaystyle n>0}$ ${\displaystyle F(0)=1}$ ${\displaystyle F_{n}(0)=0}$ ${\displaystyle n}$ ${\displaystyle x=0}$ ${\displaystyle F}$

分布の収束は次のように表される。

${\displaystyle {\begin{aligned}{}&X_{n}\ \xrightarrow {d} \ X,\ \ X_{n}\ \xrightarrow {\mathcal {D}} \ X,\ \ X_{n}\ \xrightarrow {\mathcal {L}} \ X,\ \ X_{n}\ \xrightarrow {d} \ {\mathcal {L}}_{X},\\&X_{n}\rightsquigarrow X,\ \ X_{n}\Rightarrow X,\ \ {\mathcal {L}}(X_{n})\to {\mathcal {L}}(X),\\\end{aligned}}}$

1

ここではXの法則（確率分布）です。例えば、X が標準正規分布であれば と書きます。 ${\displaystyle \scriptstyle {\mathcal {L}}_{X}}$ ${\displaystyle X_{n}\,{\xrightarrow {d}}\,{\mathcal {N}}(0,\,1)}$

ランダムベクトル の場合、分布収束は同様に定義されます。この列がランダムkベクトルXに分布収束するとは、 ${\displaystyle \left\{X_{1},X_{2},\dots \right\}\subset \mathbb {R} ^{k}}$

${\displaystyle \lim _{n\to \infty }\mathbb {P} (X_{n}\in A)=\mathbb {P} (X\in A)}$

任意のXの連続集合に対して。 ${\displaystyle A\subset \mathbb {R} ^{k}}$

分布における収束の定義は、ランダムベクトルから、任意の計量空間におけるより一般的なランダム要素、さらには測定不可能な「ランダム変数」にまで拡張することができる。これは、例えば経験的過程の研究において生じる状況である。これは「法則が定義されていない法則の弱い収束」であるが、漸近的な収束は除かれる。^[1]

この場合は弱収束という用語が適切であり（測度の弱収束を参照）、ランダム要素の列{ X _n }がXに弱収束する（X _n ⇒ Xと表記）とは、

${\displaystyle \mathbb {E} ^{*}h(X_{n})\to \mathbb {E} \,h(X)}$

全ての連続有界関数hに対して_成り立つ。^[2]ここでE*は外部期待値、つまり「h ( Xn )を支配する最小の測定可能な関数g」の期待値を表す。

プロパティ

• なので、分布の収束とは、 nが十分に大きい場合、 X _nが特定の範囲に入る確率が、 Xの値がその範囲に入る確率とほぼ等しいことを意味します。 ${\displaystyle F(a)=\mathbb {P} (X\leq a)}$
• 一般に、分布の収束は、対応する確率密度関数の列も収束することを意味するものではない。例えば、密度がf _n ( x ) = (1 + cos(2 πnx )) 1 _(0,1)である確率変数を考える。これらの確率変数は分布において一様分布U (0, 1) に収束するが、その密度は全く収束しない。^[3]
  • しかし、シェッフェの定理によれば、確率密度関数の収束は分布の収束を意味する。^[4]
• ポルトマントー補題は、分布収束に関する複数の同値な定義を提供する。これらの定義は直感的ではないものの、多くの統計定理の証明に用いられている。この補題は、{ X _n }が分布収束においてXに収束する場合、以下のいずれかの条件が成立する、かつその場合に限る、と述べている。^[5]
  • ${\displaystyle \mathbb {P} (X_{n}\leq x)\to \mathbb {P} (X\leq x)}$のすべての連続点について; ${\displaystyle x\mapsto \mathbb {P} (X\leq x)}$
  • ${\displaystyle \mathbb {E} f(X_{n})\to \mathbb {E} f(X)}$すべての有界連続関数 （ただし、期待値演算子を表す）に対して、 ${\displaystyle f}$ ${\displaystyle \mathbb {E} }$
  • ${\displaystyle \mathbb {E} f(X_{n})\to \mathbb {E} f(X)}$すべての有界リプシッツ関数 に対して; ${\displaystyle f}$
  • ${\displaystyle \lim \inf \mathbb {E} f(X_{n})\geq \mathbb {E} f(X)}$すべての非負連続関数に対して; ${\displaystyle f}$
  • ${\displaystyle \lim \inf \mathbb {P} (X_{n}\in G)\geq \mathbb {P} (X\in G)}$すべての開集合 に対して; ${\displaystyle G}$
  • ${\displaystyle \lim \sup \mathbb {P} (X_{n}\in F)\leq \mathbb {P} (X\in F)}$すべての閉集合 に対して; ${\displaystyle F}$
  • ${\displaystyle \mathbb {P} (X_{n}\in B)\to \mathbb {P} (X\in B)}$確率変数のすべての連続集合 について; ${\displaystyle B}$ ${\displaystyle X}$
  • ${\displaystyle \limsup \mathbb {E} f(X_{n})\leq \mathbb {E} f(X)}$任意の上側半連続関数に対して; ^[要出典] ${\displaystyle f}$
  • ${\displaystyle \liminf \mathbb {E} f(X_{n})\geq \mathbb {E} f(X)}$下側で有界なすべての下側半連続関数に対して。^[要出典] ${\displaystyle f}$
• 連続写像定理は、連続関数gに対して、シーケンス{ X _n } がXに分布収束する場合、{ g ( X _n )} はg ( X )に分布収束することを述べています。
  • ただし、{ X _n }からXへの分布の収束、および{ Y _n }からYへの分布の収束は、一般に{ X _n + Y _n }からX + Yへの分布の収束、または{ X _n Y _n }からXYへの分布の収束を意味するものではないことに注意してください。
• レヴィの連続性定理:対応する特性関数の列{ φ _n } がXの特性関数φに点収束する場合に限り、列{ X _n }はXに分布収束する。
• 分布の収束はレヴィ・プロホロフ計量によって計量化可能である。
• 分布の収束への自然なつながりは、スコロホードの表現定理です。

確率の収束

確率収束の例

人の身長
次の実験を考えてみましょう。まず、街中でランダムに人を選びます。その人の身長をXとします。これは事前に確率変数です。次に、他の人にこの身長を目測で推定してもらいます。最初のn回の回答の平均をX nとします。すると（系統的誤差がないと仮定すると） 、大数の法則により、数列X nは確率的に確率変数Xに収束します。
乱数生成の予測
乱数ジェネレータが 0 から 1 の間の疑似乱数浮動小数点数を生成するとします。乱数変数X がアルゴリズムによる可能な出力の分布を表すものとします。疑似乱数は決定論的に生成されるため、次の値は完全にランダムではありません。ランダムに生成された数のシーケンスを観察すると、パターンを推測して、次にランダムに生成される数が何であるかをますます正確に予測できるとします。最初のn個の乱数を観察した後に、次の乱数の値を推測した値をX nとします。パターンを学習して推測がより正確になるにつれて、X nの分布がXの分布に収束するだけでなく、 X nの結果もXの結果に収束します。

このタイプの収束の基本的な考え方は、シーケンスが進むにつれて「異常な」結果の確率がどんどん小さくなるというものです。

確率収束の概念は統計学において非常に頻繁に用いられます。例えば、推定量が推定対象量に確率収束する場合、その推定量は整合的であると呼ばれます。確率収束は、大数の弱法則によって確立される収束の一種でもあります。

意味

確率変数の列{ X _n }は、すべてのε > 0に対して確率的に確率変数Xに収束する。

${\displaystyle \lim _{n\to \infty }\mathbb {P} {\big (}|X_{n}-X|>\varepsilon {\big )}=0.}$

より明確に言えば、P _n ( ε ) を、X _{n が}半径εで中心が Xである球体の外側に存在する確率とします。すると、任意のε > 0および任意のδ > 0に対して、任意のn  ≥  Nに対してP _n ( ε ) <  δを満たすような 数N （ εおよびδに依存する）が存在するとき、X _{n は}確率的にXに収束するといいます（極限の定義）。

条件を満たすためには、各nに対して確率変数XとX _{n が}独立であることは不可能である（したがって、確率収束は結合累積分布関数の条件であるのに対し、分布収束は個々の累積分布関数の条件である）。ただし、X が弱大数の法則のように決定論的である場合は除く。同時に、決定論的なXの場合、決定論的な値が不連続点（孤立点ではない）である場合は、分布収束では扱うことができず、不連続点は明示的に除外する必要がある。

確率の収束は、収束を示す矢印の上に文字pを追加するか、または「plim」確率限界演算子を使用することによって示されます。

${\displaystyle X_{n}\ \xrightarrow {p} \ X,\ \ X_{n}\ \xrightarrow {P} \ X,\ \ {\underset {n\to \infty }{\operatorname {plim} }}\,X_{n}=X.}$

2

分離可能な計量空間（S、d）上のランダム元{ Xn _}に対して、確率収束は同様に^{[6]によって定義される。}

${\displaystyle \forall \varepsilon >0,\mathbb {P} {\big (}d(X_{n},X)\geq \varepsilon {\big )}\to 0.}$

プロパティ

• 確率の収束は分布の収束を意味する。^[証明]
• 逆に、限界確率変数Xが定数である場合、分布の収束は確率の収束を意味します。^[証明]
• 確率収束はほぼ確実な収束を意味するものではない。^[証明]
• 連続写像定理は、すべての連続関数 に対して、 であれば も 成り立つことを述べています。 ${\displaystyle g}$ ${\textstyle X_{n}\xrightarrow {p} X}$ ${\textstyle g(X_{n})\xrightarrow {p} g(X)}$
• 確率収束は、固定確率空間上の確率変数空間上の位相を定義する。この位相はKy Fan計量によって計量化可能である: ^[7]あるいは、この計量によって計量化可能である。 $${\displaystyle d(X,Y)=\inf \!{\big \{}\varepsilon >0:\ \mathbb {P} {\big (}|X-Y|>\varepsilon {\big )}\leq \varepsilon {\big \}}}$$ $${\displaystyle d(X,Y)=\mathbb {E} \left[\min(|X-Y|,1)\right].}$$

反例

分布において別の確率変数に収束する確率変数の列のすべてが、確率においてもその確率変数に収束するわけではありません。例として、標準正規確率変数の列と、別の列を考えてみましょう。 の分布は、すべての に対しての分布と等しいことに注意してください。しかし、 ${\displaystyle X_{n}}$ ${\displaystyle Y_{n}=(-1)^{n}X_{n}}$ ${\displaystyle Y_{n}}$ ${\displaystyle X_{n}}$ ${\displaystyle n}$ $${\displaystyle P(|X_{n}-Y_{n}|\geq \epsilon )=P(|X_{n}|\cdot |(1-(-1)^{n})|\geq \epsilon )}$$

これは に収束しません。したがって、確率収束は起こりません。 ${\displaystyle 0}$

ほぼ確実な収束

ほぼ確実な収束の例

例1
寿命の短い動物を考えてみましょう。この動物が1日に摂取する食物の量を記録します。この数値の並びは予測できませんが、ある日その数値がゼロになり、その後ずっとゼロのままであることはほぼ確実です。
例2
毎朝7枚のコインを投げる男性を考えてみましょう。彼は毎日午後、表が出た回数に応じて1ポンドを慈善団体に寄付します。しかし、初めてすべて裏だった場合、彼は永久に寄付をやめます。X 1 、X 2 、…を、慈善団体が彼から受け取る毎日の金額とします。ある日、この金額がゼロになり、その後は永遠にゼロのままであることはほぼ確実です。しかし、有限の日数を考えると、終了条件が発生しない確率はゼロではありません。

これは、初等実解析から知られている点単位の収束に最も類似したタイプの確率収束です。

意味

数列X _{n が}ほぼ確実に、ほぼどこでも、確率1で、あるいは強くXに収束すると言うことは、 $${\displaystyle \mathbb {P} \!\left(\lim _{n\to \infty }\!X_{n}=X\right)=1.}$$

これは、 X _nの値がXの値に近づくことを意味し、 X _{n が}Xに収束しない事象の確率が0であるという意味である（ほぼ確実にを参照）。確率空間と、ΩからRへの関数としての確率変数の概念を用いると、これは以下の式と等価である。 ${\displaystyle (\Omega ,{\mathcal {F}},\mathbb {P} )}$ $${\displaystyle \mathbb {P} {\Bigl (}\omega \in \Omega :\lim _{n\to \infty }X_{n}(\omega )=X(\omega ){\Bigr )}=1.}$$

集合の列の優位極限の概念を使用すると、ほぼ確実な収束は次のように定義することもできます。 $${\displaystyle \mathbb {P} {\Bigl (}\limsup _{n\to \infty }{\bigl \{}\omega \in \Omega :|X_{n}(\omega )-X(\omega )|>\varepsilon {\bigr \}}{\Bigr )}=0\quad {\text{for all}}\quad \varepsilon >0.}$$

ほぼ確実な収束は、収束を示す矢印の上にという文字を追加することで表されることが多いです。

${\displaystyle {\overset {}{X_{n}\,{\xrightarrow {\mathrm {a.s.} }}\,X.}}}$

3

距離空間上の一般的なランダム元{ X _n }の場合、収束はほぼ確実に同様に定義されます。 ${\displaystyle (S,d)}$ $${\displaystyle \mathbb {P} {\Bigl (}\omega \in \Omega \colon \,d{\big (}X_{n}(\omega ),X(\omega ){\big )}\,{\underset {n\to \infty }{\longrightarrow }}\,0{\Bigr )}=1}$$

プロパティ

• ほぼ確実な収束は確率収束を意味し（ファトゥの補題より）、したがって分布収束も意味する。これは大数の強法則で用いられる収束の概念である。
• ほぼ確実な収束という概念は、確率変数空間上の位相から生まれたものではない。つまり、ほぼ確実に収束する列が、その位相に関して収束する列と完全に一致するような、確率変数空間上の位相は存在しない。特に、ほぼ確実な収束の尺度は存在しない。

反例

およびとなる独立確率変数の列を考えます。は となり、確率的にに収束します。 ${\displaystyle \{X_{n}\}}$ ${\displaystyle P(X_{n}=1)={\frac {1}{n}}}$ ${\displaystyle P(X_{n}=0)=1-{\frac {1}{n}}}$ ${\displaystyle 0<\varepsilon <1/2}$ ${\displaystyle P(|X_{n}|\geq \varepsilon )={\frac {1}{n}}}$ ${\displaystyle 0}$ ${\displaystyle X_{n}\to 0}$

であり、イベントは独立しているので、第 2 ボレルのカンテリの補題により、シーケンスはほとんどどこにも収束しないことが保証されます(実際、このシーケンスが収束しないセットには確率 があります)。 ${\displaystyle \sum _{n\geq 1}P(X_{n}=1)\to \infty }$ ${\displaystyle \{X_{n}=1\}}$ ${\displaystyle P(\limsup _{n}\{X_{n}=1\})=1}$ ${\displaystyle \{X_{n}\}}$ ${\displaystyle 0}$ ${\displaystyle 0}$ ${\displaystyle 1}$

確実な収束か点ごとの収束か

同じ確率空間（つまりランダムプロセス）上で定義された確率変数の列（X _n ）がXに向かって確実に収束するか、あらゆる点で収束するか、点ごとに収束する ということは、

$${\displaystyle \forall \omega \in \Omega \colon \ \lim _{n\to \infty }X_{n}(\omega )=X(\omega ),}$$

ここで、Ω はランダム変数が定義される 基礎となる確率空間のサンプル空間です。

これは、関数の列がランダム変数の列に拡張されて点ごとに収束するという概念です。(ランダム変数自体は関数であることに注意してください)。

$${\displaystyle \left\{\omega \in \Omega :\lim _{n\to \infty }X_{n}(\omega )=X(\omega )\right\}=\Omega .}$$

確率変数の確実な収束は、上記で述べた他のすべての種類の収束を意味しますが、確率論においては、確実な収束とほぼ確実な収束を比較してもメリットはありません。両者の違いは、確率がゼロの集合においてのみ存在します。これが、確率変数の確実な収束という概念がほとんど用いられない理由です。

平均の収束

実数r ≥ 1が与えられた とき、X _nとX^のr次の絶対モーメント( | X n _| r )と₍ | X | ^{r )}が存在し、かつ ${\displaystyle \mathbb {E} }$ ${\displaystyle \mathbb {E} }$

${\displaystyle \lim _{n\to \infty }\mathbb {E} \left(|X_{n}-X|^{r}\right)=0,}$

ここで、演算子 E は期待値を表します。r 次平均収束とは、 との差のr乗の期待値がゼロに収束することを意味します。 ${\displaystyle X_{n}}$ ${\displaystyle X}$

このタイプの収束は、収束を示す矢印の上に文字L ^{r を追加することで示されることが多いです。}

${\displaystyle {\overset {}{X_{n}\,{\xrightarrow {L^{r}}}\,X.}}}$

4

r次の平均の収束の最も重要なケースは次のとおりです。

• X _{n が}r = 1に対してr 次平均でXに収束する場合、 X _{n は}平均でXに収束するといいます。
• X _{n が}r = 2に対してr次平均でXに収束する場合、 X _{n は}二乗平均(または二次平均)でXに収束するといいます。

r ≥ 1の場合、 r次の平均の収束は、確率収束を意味します（マルコフの不等式により）。さらに、r > s ≥ 1 の場合、r次の平均の収束はs次の平均の収束を意味します。したがって、平均二乗の収束は平均の収束を意味します。

さらに、

${\displaystyle {\overset {}{X_{n}\xrightarrow {L^{r}} X}}\quad \Rightarrow \quad \lim _{n\to \infty }\mathbb {E} [|X_{n}|^{r}]=\mathbb {E} [|X|^{r}].}$

逆は必ずしも真ではありませんが、 (シェッフェの補題のより一般的なバージョンにより) 場合は真となります。 ${\displaystyle {\overset {}{X_{n}\,\xrightarrow {p} \,X}}}$

プロパティ

確率空間が完備であると仮定すると：

• かつ ならば、ほぼ確実に となります。 ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{p}}}\ X}$ ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{p}}}\ Y}$ ${\displaystyle X=Y}$
• かつであれば、ほぼ確実です。 ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{\text{a.s.}}}}\ X}$ ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{\text{a.s.}}}}\ Y}$ ${\displaystyle X=Y}$
• かつであれば、ほぼ確実です。 ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ X}$ ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ Y}$ ${\displaystyle X=Y}$
• および の場合、（任意の実数aおよびbに対して） および となります。 ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{p}}}\ X}$ ${\displaystyle Y_{n}\ {\xrightarrow {\overset {}{p}}}\ Y}$ ${\displaystyle aX_{n}+bY_{n}\ {\xrightarrow {\overset {}{p}}}\ aX+bY}$ ${\displaystyle X_{n}Y_{n}{\xrightarrow {\overset {}{p}}}\ XY}$
• および の場合、（任意の実数aおよびbに対して） および となります。 ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{\text{a.s.}}}}\ X}$ ${\displaystyle Y_{n}\ {\xrightarrow {\overset {}{\text{a.s.}}}}\ Y}$ ${\displaystyle aX_{n}+bY_{n}\ {\xrightarrow {\overset {}{\text{a.s.}}}}\ aX+bY}$ ${\displaystyle X_{n}Y_{n}{\xrightarrow {\overset {}{\text{a.s.}}}}\ XY}$
• かつの場合、（任意の実数aおよびbに対して） 。 ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ X}$ ${\displaystyle Y_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ Y}$ ${\displaystyle aX_{n}+bY_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ aX+bY}$
• 上記の記述はいずれも分布の収束には当てはまりません。

収束に関する様々な概念間の含意の連鎖は、それぞれの節で説明されている。矢印表記を用いると、以下のようになる。

${\displaystyle {\begin{matrix}{\xrightarrow {\overset {}{L^{s}}}}&{\underset {s>r\geq 1}{\Rightarrow }}&{\xrightarrow {\overset {}{L^{r}}}}&&\\&&\Downarrow &&\\{\xrightarrow {\text{a.s.}}}&\Rightarrow &{\xrightarrow {p}}&\Rightarrow &{\xrightarrow {d}}\end{matrix}}}$

これらの特性は、他のいくつかの特殊なケースとともに、次のリストにまとめられています。

• ほぼ確実な収束は確率収束を意味する：^{[8] [証明]}

  ${\displaystyle X_{n}\ {\xrightarrow {\text{a.s.}}}\ X\quad \Rightarrow \quad X_{n}\ {\xrightarrow {\overset {}{p}}}\ X}$

• 確率収束は、ほぼ確実に収束する部分列が存在することを意味する。 ^[9] ${\displaystyle (n_{k})}$

  ${\displaystyle X_{n}\ \xrightarrow {\overset {}{p}} \ X\quad \Rightarrow \quad X_{n_{k}}\ \xrightarrow {\text{a.s.}} \ X}$

• 確率収束は分布収束を意味する：^{[8] [証明]}

  ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{p}}}\ X\quad \Rightarrow \quad X_{n}\ {\xrightarrow {\overset {}{d}}}\ X}$

• r次の平均の収束は確率の収束を意味する:

  ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ X\quad \Rightarrow \quad X_{n}\ {\xrightarrow {\overset {}{p}}}\ X}$

• 両方の次数が 1 以上であると仮定すると、 r次の平均の収束は、より低い次数の平均の収束を意味します。

  ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ X\quad \Rightarrow \quad X_{n}\ {\xrightarrow {\overset {}{L^{s}}}}\ X,}$ ただしr ≥ s ≥ 1とする。

• X _{n が}分布収束において定数cに収束する場合、X _{n は}確率的にcに収束する: ^{[8] [証明]}

  ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{d}}}\ c\quad \Rightarrow \quad X_{n}\ {\xrightarrow {\overset {}{p}}}\ c,}$ ただし、cは定数です。

• X _{n が}分布収束においてXに収束し、 X _nとY _nの差が確率収束においてゼロに収束する場合、 Y _nも分布収束においてXに収束する：^{[8] [証明]}

  ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{d}}}\ X,\ \ |X_{n}-Y_{n}|\ {\xrightarrow {\overset {}{p}}}\ 0\ \quad \Rightarrow \quad Y_{n}\ {\xrightarrow {\overset {}{d}}}\ X}$

• X _{n が}Xに分布収束し、Y _{n が}定数cに分布収束する場合、結合ベクトル( X _n ,  Y _n )は⁠ ⁠ ${\displaystyle (X,c)}$に分布収束する: ^{[8] [証明]}

  ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{d}}}\ X,\ \ Y_{n}\ {\xrightarrow {\overset {}{d}}}\ c\ \quad \Rightarrow \quad (X_{n},Y_{n})\ {\xrightarrow {\overset {}{d}}}\ (X,c)}$ ただし、cは定数です。

  Y _{n が}定数に収束するという条件が重要であることに注意してください。ランダム変数Yに収束する場合、( X _n、  Y _n )が⁠ ⁠ ${\displaystyle (X,Y)}$に収束すると結論付けることはできません。

• X _{n が}確率収束でXに収束し、Y _{n が}確率収束でYに収束する場合、結合ベクトル( X _n ,  Y _n )は確率収束で( X ,  Y )になる: ^{[8] [証明]}

  ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{p}}}\ X,\ \ Y_{n}\ {\xrightarrow {\overset {}{p}}}\ Y\ \quad \Rightarrow \quad (X_{n},Y_{n})\ {\xrightarrow {\overset {}{p}}}\ (X,Y)}$

• X _{n が}確率的にXに収束し、かつすべてのnとあるbに対してP (| X _n | ≤ b ) = 1 が成り立つならば、X _{n はすべての}r ≥ 1に対してr次平均でXに収束する。言い換えれば、X _{n が}確率的にXに収束し、すべての確率変数X _nがほぼ確実に上下限で制限されるならば、X _{n は}任意のr次平均においてもXに収束する。^[10]
• ほぼ確実な表現。通常、分布収束は必ずしもほぼ確実に収束することを意味するわけではない。しかし、分布収束がX _{0に収束する与えられた系列 {} X _n } に対して、常に新たな確率空間 (Ω, F , P) と、その上で定義された確率変数 { Y _n , n = 0, 1, ...} が、 n ≥ 0の各値に対してY _{n が}分布収束においてX _nと等しく、かつY _nがY ₀にほぼ確実に収束するような値となるように定義される。^{[11] [12]}
• すべてのε > 0に対して、

  ${\displaystyle \sum _{n}\mathbb {P} \left(|X_{n}-X|>\varepsilon \right)<\infty ,}$

  とすると、 X _{n は} Xにほぼ完全に収束する、あるいはほぼ確率的に収束すると言えます。X _{n が}Xにほぼ完全に収束する場合、 Xにもほぼ確実に収束します。言い換えれば、X _{n が}十分に速く確率的にXに収束する場合（つまり、上記の裾確率の列がすべてのε > 0について合計可能である場合）、X _nもほぼ確実にXに収束します。これは、ボレル・カンテリの補題から直接導かれる結論です。

• S _{n が}n個の独立した実数確率変数の和である場合:

  ${\displaystyle S_{n}=X_{1}+\cdots +X_{n}\,}$

  すると、S _{n が}ほぼ確実に収束することと、S _{n が}確率収束することは同じである。証明はKai Lai Chung著の 126 ページ（定理 5.3.4）に記載されている。^[13]

  しかし、互いに独立した確率変数の列の場合、確率収束はほぼ確実な収束を意味するわけではない。^{[14] [循環参照]}

• 優勢収束定理は、ほぼ確実に収束し、 L ¹収束が成立するための十分な条件を与える。

${\displaystyle \left.{\begin{matrix}X_{n}\xrightarrow {\overset {}{\text{a.s.}}} X\\|X_{n}|<Y\\\mathbb {E} [Y]<\infty \end{matrix}}\right\}\quad \Rightarrow \quad X_{n}\xrightarrow {L^{1}} X}$

5

• L ¹収束の必要十分条件 は であり、数列 ( X _n ) は一様に積分可能である。 ${\displaystyle X_{n}{\xrightarrow {\overset {}{P}}}X}$
• の場合、以下は同値である^[15] ${\displaystyle X_{n}\ \xrightarrow {\overset {}{p}} \ X}$
  • ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ X}$、
  • ${\displaystyle \mathbb {E} [|X_{n}|^{r}]\rightarrow \mathbb {E} [|X|^{r}]<\infty }$、
  • ${\displaystyle \{|X_{n}|^{r}\}}$は一様積分可能である。

参照

• 確率変数の収束の証明
• 対策の収束
• 測定の収束
• 連続確率過程:確率過程の連続性の問題は本質的に収束の問題であり、上で使用したのと同じ概念と関係の多くが連続性の問題にも当てはまります。
• 漸近分布
• 確率表記におけるビッグオー
• スコロホッドの表現定理
• トゥイーディー収束定理
• スルツキーの定理
• 連続写像定理

注記

1. Bickel et al. 1998, A.8, 475ページ
2. ファン・デル・ファールト＆ウェルナー、1996年、p. 4
3. ロマーノ＆シーゲル 1985、例5.26
4. Durrett, Rick (2010).確率：理論と例. p. 84.
5. ファン・デル・ファールト 1998、補題 2.2
6. ダドリー 2002、第9章2、287ページ
7. ダドリー 2002, 289ページ
8. van der Vaart 1998、定理 2.7
9. , Allan (2005).確率論：大学院課程．定理3.4．Springer．ISBN 978-0-387-22833-4。{{cite book}}: CS1 maint: location (link)
10. グリメット＆スターザカー 2020年、354ページ
11. ファン・デル・ファールト 1998年2月19日
12. Fristedt & Gray 1997、定理14.5
13. Chung, Kai-lai (2001).確率論講座. p. 126.
14. 「確率変数の収束の証明」Wikipedia 。 2024年9月23日閲覧。
15. 「実解析 - 確率収束のみを用いたシェッフェの補題の一般化」Mathematics Stack Exchange . 2022年3月12日閲覧。

参考文献

• Bickel, Peter J.; Klaassen, Chris AJ; Ritov, Ya'acov; Wellner, Jon A. (1998).セミパラメトリックモデルのための効率的かつ適応的な推定法. ニューヨーク: Springer-Verlag. ISBN 978-0-387-98473-5。
• ビリングスリー、パトリック（1986年）『確率と測度』Wileyシリーズ『確率・数理統計』（第2版）Wiley.
• ビリングスリー、パトリック（1999年）『確率測度の収束（第2版）』ジョン・ワイリー・アンド・サンズ、pp. 1–28、ISBN 978-0-471-19745-4。
• ダドリー, RM (2002). 『実解析と確率』 ケンブリッジ大学出版局, イギリス. ISBN 978-0-521-80972-6。
• バート・フリステット、ローレンス・グレイ (1997).確率論への現代的アプローチ. ニューヨーク: シュプリンガー・サイエンス+ビジネス・メディア. doi :10.1007/978-1-4899-2837-5. ISBN 978-1-4899-2837-5。
• グリメット, GR; スティルザカー, DR (1992).確率とランダム過程（第2版）. クラレンドン・プレス, オックスフォード. pp.  271– 285. ISBN 978-0-19-853665-9。
• ヤコブセン、M. (1992)。Videregånde Sandsynlighedsregning (高度な確率理論) (第 3 版)。 HCØ-tryk、コペンハーゲン。18 ～ 20ページ 。ISBN 978-87-91180-71-2。
• ルドゥ, ミシェル;タラグラン, ミシェル(1991).バナッハ空間における確率. ベルリン: シュプリンガー・フェアラーク. pp. xii+480. ISBN 978-3-540-52013-9. MR  1102015。
• ロマーノ, ジョセフ・P.; シーゲル, アンドリュー・F. (1985). 『確率と統計における反例』 イギリス: チャップマン・アンド・ホール. ISBN 978-0-412-98901-8。
• グリメット, ジェフリー・R.; スターザカー, デイヴィッド・R. (2020).確率とランダム過程（第4版）. オックスフォード大学出版局. ISBN 978-0-198-84760-1。
• ファン・デル・ファールト、アード・W.ウェルナー、ジョン A. (1996)。弱い収束と経験的プロセス。ニューヨーク: Springer-Verlag。ISBN 978-0-387-94640-5。
• ファン デル ファールト、アード W. (1998)。漸近統計。ニューヨーク：ケンブリッジ大学出版局。ISBN 978-0-521-49603-2。
• ウィリアムズ, D. (1991).マルチンゲール法による確率論. ケンブリッジ大学出版局. ISBN 978-0-521-40605-5。
• Wong, E.; Hájek, B. (1985).工学システムにおける確率過程. ニューヨーク: Springer–Verlag.
• ジトコビッチ、ゴードン（2013年11月17日）「講義7：弱収束」（PDF）

この記事には、 Creative Commons Attribution-ShareAlike 3.0 Unported Licenseに基づいてライセンスされているものの、 GFDLに基づいてライセンスされていないCitizendium の記事「Stochastic convergence」の資料が組み込まれています。

Retrieved from "https://en.wikipedia.org/w/index.php?title=Convergence_of_random_variables&oldid=1316157235"