独立かつ同一分布の確率変数

確率論と統計学では、各ランダム変数が他のランダム変数と同じ確率分布を持ち、すべてが相互に独立している場合、ランダム変数の集合は独立かつ同一に分布しています（iid 、 iid 、またはIID ）。^{[1] IIDは統計学で最初に定義され、}データマイニングや信号処理など、多くの分野で応用されています。

導入

統計学では、一般的にランダム標本が用いられます。ランダム標本とは、ランダムに選ばれたオブジェクトの集合と考えることができます。より正式には、「独立かつ同一分布（IID）のランダムなデータポイントの列」を指します。

つまり、ランダムサンプルとIIDという用語は同義です。統計学では「ランダムサンプル」が一般的な用語ですが、確率論では「 IID 」という表現の方が一般的です。

同一に分布しているということは、全体的な傾向が存在しないことを意味します。つまり、分布は変動せず、サンプル内のすべての項目は同じ確率分布から取得されます。
独立とは、サンプル項目がすべて独立した事象であることを意味します。言い換えれば、それらは互いに何ら関連していません。^[2]一方の変数の値を知っていても、もう一方の変数の値に関する情報は得られず、その逆も同様です。

応用

独立かつ同一分布に従う確率変数は、しばしば仮定として用いられ、基礎となる数学を単純化する傾向がある。しかしながら、統計モデリングの実際の応用においては、この仮定が現実的であるかどうかは必ずしも明らかではない。^[3]

iid仮定は中心極限定理でも使われており、有限分散のiid変数の和（または平均）の確率分布は正規分布に近づくと述べています。^[4]

iid仮定は、確率変数の列の文脈で頻繁に出現する。「独立かつ同一に分布する」とは、列内の要素がそれ以前の確率変数から独立していることを意味する。このように、iid列は、 $n$ 番目の確率変数の確率分布が列内の前の確率変数の関数となるマルコフ列（一次マルコフ列の場合）とは異なる。iid列は、標本空間または事象空間のすべての要素の確率が同じであることを意味するわけではない。^[5]例えば、不正なサイコロを繰り返し投げると、結果に偏りがあるにもかかわらず、iid列となる列が生成される。

信号処理と画像処理において、iid への変換の概念は、「id」部分と「i.」部分の 2 つの仕様を意味します。

id . – 信号レベルは時間軸上でバランスが取れている必要があります。

i . – 信号スペクトルは平坦化される必要があります。つまり、フィルタリング（デコンボリューションなど）によってホワイトノイズ信号（つまり、すべての周波数が均等に存在する信号）に変換される必要があります。

意味

2つの確率変数の定義

確率変数およびがの値をとるように定義されていると仮定します。およびをそれぞれ、およびの累積分布関数とし、それらの結合累積分布関数をで表します。 $X$ $Y$ $I\subseteq \mathbb {R}$ $F_{X}(x)=\operatorname {P} (X\leq x)$ $F_{Y}(y)=\operatorname {P} (Y\leq y)$ $X$ $Y$ $F_{X,Y}(x,y)=\operatorname {P} (X\leq x\land Y\leq y)$

2 つの確率変数およびが独立である場合、かつその場合、すべてのに対してとなります。(より単純なイベントの場合、2 つのイベントおよびが独立である場合、かつその場合、独立です。「独立性 (確率論) § 2 つの確率変数」も参照してください。) $X$ $Y$ $F_{X,Y}(x,y)=F_{X}(x)\cdot F_{Y}(y)$ $x,y\in I$ $A$ $B$ $P(A\land B)=P(A)\cdot P(B)$

2つの確率変数およびが同一に分布することは、すべてのに対しての場合に限ります。^[6] $X$ $Y$ $F_{X}(x)=F_{Y}(x)$ $x\in I$

2つの確率変数とが独立かつ同一に分布する場合、すなわち、 $X$ $Y$

${\begin{aligned}&F_{X}(x)=F_{Y}(x)\,&\forall x\in I\\&F_{X,Y}(x,y)=F_{X}(x)\cdot F_{Y}(y)\,&\forall x,y\in I\end{aligned}}$

2つ以上の確率変数の定義

この定義は、2つ以上の確率変数にも自然に拡張されます。確率変数が独立であり（独立性（確率論）§ 2つ以上の確率変数を参照）、かつ同一分布に従う場合、すなわち、 $n$ $X_{1},\ldots ,X_{n}$

${\begin{aligned}&F_{X_{1}}(x)=F_{X_{k}}(x)\,&\forall k\in \{1,\ldots ,n\}{\text{ and }}\forall x\in I\\&F_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})=F_{X_{1}}(x_{1})\cdot \ldots \cdot F_{X_{n}}(x_{n})\,&\forall x_{1},\ldots ,x_{n}\in I\end{aligned}}$

ここではの結合累積分布関数を表します。 $F_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})=\operatorname {P} (X_{1}\leq x_{1}\land \ldots \land X_{n}\leq x_{n})$ $X_{1},\ldots ,X_{n}$

例

例1

公正なルーレットホイール、あるいは不公正なルーレットホイールのスピン結果の系列はiidです。このことから、例えばルーレットのボールが20回連続して「赤」に止まった場合、次のスピンが「黒」になる確率は他のスピンと比べてそれほど高くも低くもない、ということがわかります（ギャンブラーの誤謬を参照）。

例2

コインを 10 回投げて、その結果を変数に書き留めます。 $A_{1},\ldots ,A_{10}$

独立: 各結果は他の結果に影響を与えません( 1 から 10 まで)。つまり、変数は互いに独立しています。 $A_{i}$ $A_{j}$ $i\neq j$ $A_{1},\ldots ,A_{10}$
同一に分布: コインが公平であるか (表が出る確率が 1/2)、または偏っているかに関係なく、毎回同じコインが使用される限り、すべてのコインを投げて表が出る確率は一定のままです。

このような iid 変数のシーケンスはベルヌーイ過程とも呼ばれます。

例3

サイコロを 10 回振って、結果を変数に保存します。 $A_{1},\ldots ,A_{10}$

独立: サイコロを振った各結果は次の結果に影響を与えません。つまり、10 個の変数は互いに独立しています。
同一分布：サイコロが公平か重み付けされているかに関わらず、各サイコロを振るたびに、他のすべてのサイコロと同じ結果が出る確率が与えられます。一方、重み付けされているものとされていないものを含む10個の異なるサイコロを振った場合、IID変数は生成されません。

例4

52枚の標準的なトランプから1枚を選び、それを元のトランプに戻します。これを52回繰り返します。キングが現れるタイミングを観察します。

独立：各観測は次の観測に影響を与えないため、52個の結果は互いに独立しています。一方、引かれた各カードがデッキから除外されている場合、その後のドローはそれの影響を受けます（キングを1枚引くと、2枚目のキングを引く可能性が低くなります）。そのため、観測結果は独立ではなくなります。
同一に分布: カードを 1 枚引いた後 (その後カードをデッキに戻します)、毎回キングが出る確率は 4/52 です。つまり、確率は毎回同一です。

一般化

ランダム変数がiidであるという仮定の下で最初に証明された多くの結果は、より弱い分布仮定の下でも真であることが示されています。

交換可能な確率変数

iid 変数の主な特性を共有する最も一般的な概念は、ブルーノ・デ・フィネッティによって導入された交換可能なランダム変数です。^[^{引用が必要}^]交換可能性とは、変数が独立していない可能性がある一方で、将来の変数が過去の変数のように振る舞うことを意味します。正式には、有限シーケンスの任意の値は、それらの値の任意の順列と同じ可能性があり、結合確率分布は対称群の下で不変です。

これは便利な一般化を提供します。たとえば、非復元サンプリングは独立ではありませんが、交換可能です。

レヴィ過程

確率微積分学では、IID変数は離散時間レヴィ過程として考えられます。つまり、各変数はある時点から別の時点にかけてどれだけ変化するかを表します。例えば、ベルヌーイ試行の系列はベルヌーイ過程として解釈されます。

これは、連続時間レヴィ過程を含むように一般化することができ、多くのレヴィ過程は iid 変数の極限として見ることができます。たとえば、ウィーナー過程はベルヌーイ過程の極限です。

機械学習では

機械学習（ML）は、データ内の統計的関係性を学習するプロセスです。MLモデルを効果的に学習させるには、広く一般化可能なデータを使用することが不可欠です。学習データがタスクを十分に代表していない場合、新しい未知のデータに対するモデルのパフォーマンスが低下する可能性があります。

IID仮説は、訓練サンプルに必要な個々のケースの数を大幅に削減することを可能にし、最適化計算を簡素化します。最適化問題では、独立かつ同一の分布を仮定することで、尤度関数の計算が簡素化されます。この仮定により、尤度関数は次のように表すことができます。

$l(\theta )=P(x_{1},x_{2},x_{3},...,x_{n}|\theta )=P(x_{1}|\theta )P(x_{2}|\theta )P(x_{3}|\theta )...P(x_{n}|\theta )$

観測される事象の確率を最大化するために、対数関数を適用してパラメータを最大化します。具体的には、以下の式を計算します。 ${\textstyle \theta }$

$\mathop {\rm {argmax}} \limits _{\theta }\log(l(\theta ))$

どこ

$\log(l(\theta ))=\log(P(x_{1}|\theta ))+\log(P(x_{2}|\theta ))+\log(P(x_{3}|\theta ))+...+\log(P(x_{n}|\theta ))$

コンピュータは複数の加算を非常に効率的に実行しますが、乗算はそれほど効率的ではありません。この簡略化により計算効率が向上します。対数変換は、最大化のプロセスにおいて、多くの指数関数を線形関数に変換します。

この仮説が中心極限定理(CLT)において実用的である主な理由は 2 つあります。

サンプルが複雑な非ガウス分布から生成されたものであっても、CLT によりガウス分布に簡略化できるため、十分に近似できます。
2つ目の理由は、モデルの精度は、モデルユニットのシンプルさと表現力、そしてデータの品質に依存するということです。ユニットのシンプルさは解釈と拡張性を容易にし、表現力と拡張性はモデルの精度を向上させます。例えば、ディープニューラルネットワークでは、各ニューロンはシンプルでありながら強力な表現力を備えており、層ごとにより複雑な特徴を捉えることで、モデルの精度を高めます。

参照

参考文献

^ Clauset, Aaron (2011). 「確率分布の簡単な入門書」(PDF) .サンタフェ研究所. 2012年1月20日時点のオリジナル(PDF)からアーカイブ。 2011年11月29日閲覧。
^ Stephanie (2016年5月11日). 「IID統計：独立分布と同一分布の定義と例」.統計ハウツー. 2021年12月9日閲覧。
^ ハンペル、フランク（1998）「統計学は難しすぎるか？」カナダ統計ジャーナル、26（3）：497–513、doi：10.2307/3315772、hdl：20.500.11850/145503、JSTOR 3315772、S2CID 53117661 （§8）。
^ Blum, JR; Chernoff, H.; Rosenblatt, M.; Teicher, H. (1958). 「交換可能過程の中心極限定理」. Canadian Journal of Mathematics . 10 : 222–229 . doi : 10.4153/CJM-1958-026-0 . S2CID 124843240.
^ Cover, TM; Thomas, JA (2006). 『情報理論の要素』Wiley-Interscience pp. 57– 58. ISBN 978-0-471-24195-9。
^ Casella & Berger 2002、定理1.5.10

さらに読む

Casella, George ; Berger, Roger L. (2002)統計的推論、Duxbury Advanced Series

[1] Clauset, Aaron (2011). 「確率分布の簡単な入門書」(PDF) .サンタフェ研究所. 2012年1月20日時点のオリジナル(PDF)からアーカイブ。 2011年11月29日閲覧。

[2] Stephanie (2016年5月11日). 「IID統計：独立分布と同一分布の定義と例」.統計ハウツー. 2021年12月9日閲覧。

[3] ハンペル、フランク（1998）「統計学は難しすぎるか？」カナダ統計ジャーナル、26（3）：497–513、doi：10.2307/3315772、hdl：20.500.11850/145503、JSTOR 3315772、S2CID 53117661 （§8）。

[4] Blum, JR; Chernoff, H.; Rosenblatt, M.; Teicher, H. (1958). 「交換可能過程の中心極限定理」. Canadian Journal of Mathematics . 10 : 222–229 . doi : 10.4153/CJM-1958-026-0 . S2CID 124843240.

[5] Cover, TM; Thomas, JA (2006). 『情報理論の要素』Wiley-Interscience pp. 57– 58. ISBN 978-0-471-24195-9。

[6] Casella & Berger 2002、定理1.5.10

v t e 確率過程
離散時間	ベルヌーイ過程分岐プロセス中華料理店のプロセスゴルトン・ワトソン過程独立かつ同一分布の確率変数マルコフ連鎖モラン過程ランダムウォークループ消去自己回避偏った最大エントロピー
連続時間	付加的なプロセスエアリープロセスベッセル過程誕生から死までのプロセス純粋な誕生ブラウン運動橋ダイソン遠足分数幾何学的蛇行コーシー過程連絡プロセス連続時間ランダムウォークコックス法拡散プロセス経験的プロセスフェラープロセスフレミング・ヴィオ過程ガンマ過程幾何学的プロセスホークス過程ハントプロセス相互作用する粒子系伊藤拡散伊藤プロセスジャンプ拡散ジャンププロセスレヴィ過程現地時間マルコフ加法過程マッキーン・ヴラソフ過程オルンシュタイン・ウーレンベック過程ポアソン過程化合物非均質準マルチンゲールシュラム・レーヴナー進化セミマルチンゲールシグマ・マーチンゲール安定したプロセススーパープロセス電信プロセス分散ガンマプロセスウィーナー過程ウィンナーソーセージ
両方	分岐プロセスガウス過程隠れマルコフモデル（HMM）マルコフ過程マーチンゲール違い地元サブ素晴らしい- ランダム力学系再生プロセス更新手続き可変長のメモリを持つ確率的連鎖ホワイトノイズ
フィールドとその他	ディリクレ過程ガウス確率場ギブス尺度ホップフィールドモデルイジングモデルポッツモデルブールネットワークマルコフ確率場浸透ピットマン・ヨール過程ポイントプロセスコックス決定論的ポアソンランダムフィールドランダムグラフ
時系列モデル	自己回帰条件付き異分散性（ARCH）モデル自己回帰和分移動平均（ARIMA）モデル自己回帰（AR）モデル自己回帰移動平均（ARMA）モデル一般化自己回帰条件付き異分散性（GARCH）モデル移動平均（MA）モデル
財務モデル	二項オプション価格モデルブラック・ダーマン・トイブラック・カラシンスキーブラック・ショールズチャン・カロリ・ロングスタッフ・サンダース（CKLS）チェン一定の分散弾性（CEV）コックス・インガソル・ロス（CIR）ガーマン・コールハーゲンヒース・ジャロー・モートン（HJM）ヘストンホー・リーハル・ホワイトコーン・クレア・レンセン LIBOR市場レンドルマン・バーター SABRのボラティリティヴァシーチェクウィルキー
保険数理モデル	ビュールマンクラマー・ルンドバーグリスクプロセススパーレ・アンダーソン
キューイングモデル	バルク流体一般化待ち行列ネットワーク M/G/1 M/M/1 M/M/c
プロパティ	Càdlàg パス連続連続パスエルゴード交換可能フェラー連続ガウス・マルコフマルコフ混合区分決定論的予測可能段階的に測定可能自己相似文房具時間的に可逆
極限定理	中心極限定理ドンスカーの定理 Doob のマーチンゲール収束定理エルゴード定理フィッシャー・ティペット・グネデンコ定理大偏差原理大数の法則（弱/強）反復対数の法則最大エルゴード定理サノフの定理ゼロワンの法則( Blumenthal、Borel–Cantelli、Engelbert–Schmidt、Hewitt–Savage、Kolmogorov、Lévy )
不平等	バークホルダー・デイビス・ガンディドゥーブのマーチンゲールドゥーブのアップクロッシング國田・渡辺マルチンキェヴィチ・ジグムント
ツール	キャメロン・マーティン式確率変数の収束ドリアン・デイド指数関数ドゥーブ分解定理ドゥーブ・マイヤー分解定理ドゥーブのオプション停止定理ディンキンの式ファインマン・カック式濾過ギルサノフの定理無限小ジェネレータ伊藤積分伊藤の補題カルーネン・レーヴの定理コルモゴロフ連続定理コルモゴロフ拡張定理レヴィ・プロホロフ計量マリアヴァン計算マルチンゲール表現定理オプション停止定理プロホロフの定理二次関数反射原理スコロホード積分スコロホッドの表現定理スコロホード空間スネル封筒確率微分方程式田中時間を止めるストラトノビッチ積分均一な積分可能性通常の仮説ウィーナー空間クラシック抽象的な
分野	保険数理数学制御理論計量経済学エルゴード理論極値理論（EVT）大偏差理論数理ファイナンス数理統計学確率論待ち行列理論再生理論破滅理論信号処理統計確率解析時系列分析機械学習
トピックのリストカテゴリ