モーメント生成関数

Concept in probability theory and statistics

確率論および統計学において、実数値確率変数のモーメント生成関数は、その確率分布の別の表現である。これにより探索半径を広げ、局所的最小値から抜け出すことができる。したがって、確率密度関数や累積分布関数を直接扱う場合と比較して、解析結果を得るための代替経路の基礎となる。確率変数の重み付き和によって定義される分布のモーメント生成関数については、特に単純な結果が得られる。しかし、すべての確率変数がモーメント生成関数を持つわけではない。

名前が示すように、モーメント生成関数は分布のモーメントを計算するために使用できます。0についてのn番目のモーメントは、0 で評価されたモーメント生成関数のn番目の導関数です。

一変量実数値分布に加えて、モーメント生成関数はベクトル値または行列値のランダム変数に対しても定義でき、より一般的なケースに拡張することもできます。

実数値分布のモーメント母関数は、特性関数とは異なり、必ずしも存在するとは限りません。分布のモーメント母関数の挙動と、モーメントの存在などの分布の性質との間には関係があります。

意味

をCDFを持つ確率変数とする。（または）のモーメント生成関数（mgf）は と表記され、 ${\displaystyle X}$ ${\displaystyle F_{X}}$ ${\displaystyle X}$ ${\displaystyle F_{X}}$ ${\displaystyle M_{X}(t)}$

$${\displaystyle M_{X}(t)=\operatorname {E} \left[e^{tX}\right]}$$

ただし、この期待値は0 の開近傍に存在する。つまり、 を満たす任意の に対して が存在 する 。もし期待値が 0 の開近傍に存在しない場合、モーメント生成関数は存在しないという。^[1] ${\displaystyle t}$ ${\displaystyle h>0}$ ${\displaystyle t}$ ${\displaystyle -h<t<h}$ ${\displaystyle \operatorname {E} \left[e^{tX}\right]}$

言い換えれば、 Xのモーメント生成関数は確率変数 の期待値です。より一般的には、、次元確率ベクトル、 が固定ベクトルのとき、の代わりに を用います。 ${\displaystyle e^{tX}}$ ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{n})^{\mathrm {T} }}$ ${\displaystyle n}$ ${\displaystyle \mathbf {t} }$ ${\displaystyle \mathbf {t} \cdot \mathbf {X} =\mathbf {t} ^{\mathrm {T} }\mathbf {X} }$ ${\displaystyle tX}$ $${\displaystyle M_{\mathbf {X} }(\mathbf {t} ):=\operatorname {E} \left[e^{\mathbf {t} ^{\mathrm {T} }\mathbf {X} }\right].}$$

${\displaystyle M_{X}(0)}$は常に存在し、1に等しい。しかし、モーメント生成関数の重要な問題は、積分が必ずしも絶対収束する必要がないため、モーメントとモーメント生成関数が存在しない可能性があることである。対照的に、特性関数またはフーリエ変換は常に存在する（有限測度の空間上の有界関数の積分であるため）。そのため、いくつかの目的においては、特性関数またはフーリエ変換が代わりに使用されることがある。

モーメント生成関数は分布のモーメントを求めるために使用できることからそのように呼ばれる。^[2] の級数展開は ${\displaystyle e^{tX}}$

$${\displaystyle e^{tX}=1+tX+{\frac {t^{2}X^{2}}{2!}}+{\frac {t^{3}X^{3}}{3!}}+\cdots +{\frac {t^{n}X^{n}}{n!}}+\cdots .}$$

したがって、 $${\displaystyle {\begin{aligned}M_{X}(t)&=\operatorname {E} [e^{tX}]\\[1ex]&=1+t\operatorname {E} [X]+{\frac {t^{2}\operatorname {E} [X^{2}]}{2!}}+{\frac {t^{3}\operatorname {E} [X^{3}]}{3!}}+\cdots +{\frac {t^{n}\operatorname {E} [X^{n}]}{n!}}+\cdots \\[1ex]&=1+tm_{1}+{\frac {t^{2}m_{2}}{2!}}+{\frac {t^{3}m_{3}}{3!}}+\cdots +{\frac {t^{n}m_{n}}{n!}}+\cdots ,\end{aligned}}}$$

ここでは- 次モーメントです。を およびと設定して時刻を微分すると、原点の - 次モーメントが得られます。 ${\displaystyle m_{n}}$ ${\displaystyle n}$ ${\displaystyle M_{X}(t)}$ ${\displaystyle i}$ ${\displaystyle t}$ ${\displaystyle t=0}$ ${\displaystyle i}$ ${\displaystyle m_{i}}$

が連続確率変数である場合、そのモーメント生成関数と確率密度関数の両側ラプラス変換の間には次の関係が成り立ちます。 ${\displaystyle X}$ ${\displaystyle M_{X}(t)}$ ${\displaystyle f_{X}(x)}$

$${\displaystyle M_{X}(t)={\mathcal {L}}\{f_{X}\}(-t),}$$

PDFの両側ラプラス変換は次のように与えられるので、

$${\displaystyle {\mathcal {L}}\{f_{X}\}(s)=\int _{-\infty }^{\infty }e^{-sx}f_{X}(x)\,dx,}$$

そして、モーメント生成関数の定義は（無意識の統計学者の法則により）次のように 拡張される。 $${\displaystyle M_{X}(t)=\operatorname {E} \left[e^{tX}\right]=\int _{-\infty }^{\infty }e^{tx}f_{X}(x)\,dx.}$$

これは、モーメント母関数が存在する場合の の特性関数が のウィック回転であることと整合している。連続確率変数の特性関数はその確率密度関数のフーリエ変換であり、一般に関数が指数次数である場合、 のフーリエ変換は収束領域におけるその両側ラプラス変換のウィック回転となるからである。詳細については、フーリエ変換とラプラス変換の関係を参照のこと。 ${\displaystyle X}$ ${\displaystyle M_{X}(t)}$ ${\displaystyle X}$ ${\displaystyle f_{X}(x)}$ ${\displaystyle f(x)}$ ${\displaystyle f}$

例

比較のために、モーメント生成関数と特性関数の例をいくつか示します。特性関数は、モーメント生成関数が存在する場合、そのウィック回転であることがわかります。 ${\displaystyle M_{X}(t)}$

分布	モーメント生成関数 ${\displaystyle M_{X}(t)}$	特性関数 ${\displaystyle \varphi (t)}$
退廃的 ${\displaystyle \delta _{a}}$	${\displaystyle e^{ta}}$	${\displaystyle e^{ita}}$
ベルヌーイ ${\displaystyle P(X=1)=p}$	${\displaystyle 1-p+pe^{t}}$	${\displaystyle 1-p+pe^{it}}$
二項式 ${\displaystyle B(n,p)}$	${\displaystyle \left(1-p+pe^{t}\right)^{n}}$	${\displaystyle \left(1-p+pe^{it}\right)^{n}}$
幾何学的 ${\displaystyle (1-p)^{k}\,p}$	${\displaystyle {\frac {p}{1-(1-p)e^{t}}},~t<-\ln(1-p)}$	${\displaystyle {\frac {p}{1-(1-p)\,e^{it}}}}$
負の二項分布 ${\displaystyle \operatorname {NB} (r,p)}$	${\displaystyle \left({\frac {p}{1-e^{t}+pe^{t}}}\right)^{r},~t<-\ln(1-p)}$	${\displaystyle \left({\frac {p}{1-e^{it}+pe^{it}}}\right)^{r}}$
ポアソン ${\displaystyle \operatorname {Pois} (\lambda )}$	${\displaystyle e^{\lambda (e^{t}-1)}}$	${\displaystyle e^{\lambda (e^{it}-1)}}$
均一（連続） ${\displaystyle \operatorname {U} (a,b)}$	${\displaystyle {\frac {e^{tb}-e^{ta}}{t(b-a)}}}$	${\displaystyle {\frac {e^{itb}-e^{ita}}{it(b-a)}}}$
均一（離散的） ${\displaystyle \operatorname {DU} (a,b)}$	${\displaystyle {\frac {e^{at}-e^{(b+1)t}}{(b-a+1)(1-e^{t})}}}$	${\displaystyle {\frac {e^{ait}-e^{(b+1)it}}{(b-a+1)(1-e^{it})}}}$
ラプラス ${\displaystyle L(\mu ,b)}$	${\displaystyle {\frac {e^{t\mu }}{1-b^{2}t^{2}}},~|t|<1/b}$	${\displaystyle {\frac {e^{it\mu }}{1+b^{2}t^{2}}}}$
普通 ${\displaystyle N(\mu ,\sigma ^{2})}$	${\displaystyle e^{t\mu +\sigma ^{2}t^{2}/2}}$	${\displaystyle e^{it\mu -\sigma ^{2}t^{2}/2}}$
カイ二乗 ${\displaystyle \chi _{k}^{2}}$	${\displaystyle {\left(1-2t\right)}^{-k/2},~t<1/2}$	${\displaystyle {\left(1-2it\right)}^{-{k}/{2}}}$
非心カイ二乗検定 ${\displaystyle \chi _{k}^{2}(\lambda )}$	${\displaystyle e^{\lambda t/(1-2t)}{\left(1-2t\right)}^{-k/2}}$	${\displaystyle e^{i\lambda t/(1-2it)}{\left(1-2it\right)}^{-k/2}}$
ガンマ ${\displaystyle \Gamma (k,{\tfrac {1}{\theta }})}$	${\displaystyle {\left(1-t\theta \right)}^{-k},~t<{\tfrac {1}{\theta }}}$	${\displaystyle {\left(1-it\theta \right)}^{-k}}$
指数関数 ${\displaystyle \operatorname {Exp} (\lambda )}$	${\displaystyle \left(1-t\lambda ^{-1}\right)^{-1},~t<\lambda }$	${\displaystyle \left(1-it\lambda ^{-1}\right)^{-1}}$
ベータ	${\displaystyle 1+\sum _{k=1}^{\infty }\left(\prod _{r=0}^{k-1}{\frac {\alpha +r}{\alpha +\beta +r}}\right){\frac {t^{k}}{k!}}}$	${\displaystyle {}_{1}F_{1}(\alpha ;\alpha +\beta ;i\,t)\!}$ （合流型超幾何関数を参照）
多変量正規分布 ${\displaystyle N(\mathbf {\mu } ,\mathbf {\Sigma } )}$	${\displaystyle \exp \left[\mathbf {t} ^{\mathrm {T} }\left({\boldsymbol {\mu }}+{\tfrac {1}{2}}{\boldsymbol {\Sigma }}\mathbf {t} \right)\right]}$	${\displaystyle \exp \left[\mathbf {t} ^{\mathrm {T} }\left(i{\boldsymbol {\mu }}-{\tfrac {1}{2}}{\boldsymbol {\Sigma }}\mathbf {t} \right)\right]}$
コーシー ${\displaystyle \operatorname {Cauchy} (\mu ,\theta )}$	存在しない	${\displaystyle e^{it\mu -\theta |t|}}$
多変量コーシー ${\displaystyle \operatorname {MultiCauchy} (\mu ,\Sigma )}$[3]	存在しない	${\displaystyle \exp \left(i\mathbf {t} ^{\mathrm {T} }{\boldsymbol {\mu }}-{\sqrt {\mathbf {t} ^{\mathrm {T} }{\boldsymbol {\Sigma }}\mathbf {t} }}\right)}$

計算

モーメント生成関数はランダム変数の関数の期待値であり、次のように記述できます。

• 離散確率質量関数の場合、 ${\displaystyle M_{X}(t)=\sum _{i=0}^{\infty }e^{tx_{i}}\,p_{i}}$
• 連続確率密度関数の場合、 ${\displaystyle M_{X}(t)=\int _{-\infty }^{\infty }e^{tx}f(x)\,dx}$
• 一般的な場合、リーマン・スティルチェス積分を用いて となり、 は累積分布関数となります。これはのラプラス・スティルチェス変換ですが、引数の符号が反転しています。 ${\displaystyle M_{X}(t)=\int _{-\infty }^{\infty }e^{tx}\,dF(x)}$ ${\displaystyle F}$ ${\displaystyle F}$

が連続確率密度関数を持つ場合、 はの両側ラプラス変換であることに注意してください。 ${\displaystyle X}$ ${\displaystyle f(x)}$ ${\displaystyle M_{X}(-t)}$ ${\displaystyle f(x)}$

$${\displaystyle {\begin{aligned}M_{X}(t)&=\int _{-\infty }^{\infty }e^{tx}f(x)\,dx\\[1ex]&=\int _{-\infty }^{\infty }\left(1+tx+{\frac {t^{2}x^{2}}{2!}}+\cdots +{\frac {t^{n}x^{n}}{n!}}+\cdots \right)f(x)\,dx\\[1ex]&=1+tm_{1}+{\frac {t^{2}m_{2}}{2!}}+\cdots +{\frac {t^{n}m_{n}}{n!}}+\cdots ,\end{aligned}}}$$

番目の瞬間はどこですか。 ${\displaystyle m_{n}}$ ${\displaystyle n}$

確率変数の線形変換

確率変数がモーメント生成関数を持つ場合、モーメント生成関数を持つ ${\displaystyle X}$ ${\displaystyle M_{X}(t)}$ ${\displaystyle \alpha X+\beta }$ ${\displaystyle M_{\alpha X+\beta }(t)=e^{\beta t}M_{X}(\alpha t)}$

$${\displaystyle M_{\alpha X+\beta }(t)=\operatorname {E} \left[e^{(\alpha X+\beta )t}\right]=e^{\beta t}\operatorname {E} \left[e^{\alpha Xt}\right]=e^{\beta t}M_{X}(\alpha t)}$$

独立確率変数の線形結合

（X _iが独立確率変数、a _iが定数）とすると、 S _nの確率密度関数は各X _iの確率密度関数の畳み込みとなり、 S _nのモーメント生成関数は次のように与えられる。 ${\textstyle S_{n}=\sum _{i=1}^{n}a_{i}X_{i}}$

$${\displaystyle M_{S_{n}}(t)=M_{X_{1}}(a_{1}t)M_{X_{2}}(a_{2}t)\cdots M_{X_{n}}(a_{n}t)\,.}$$

ベクトル値確率変数

実数成分を持つベクトル値確率変数 の場合、モーメント生成関数は次のように与えられる。 ${\displaystyle \mathbf {X} }$

$${\displaystyle M_{X}(\mathbf {t} )=\operatorname {E} \left[e^{\langle \mathbf {t} ,\mathbf {X} \rangle }\right]}$$

ここではベクトルであり、はドット積です。 ${\displaystyle \mathbf {t} }$ ${\displaystyle \langle \cdot ,\cdot \rangle }$

重要な特性

モーメント生成関数は正の対数凸関数であり、^{[引用が必要] 、} M (0) = 1である。

モーメント生成関数の重要な性質は、分布を一意に決定することです。言い換えれば、と が2つの確率変数であり、  tのあらゆる値に対して、 ${\displaystyle X}$ ${\displaystyle Y}$

$${\displaystyle M_{X}(t)=M_{Y}(t),}$$それから $${\displaystyle F_{X}(x)=F_{Y}(x)}$$

xの全ての値に対して（あるいは、XとYは同じ分布に従うと同値である）。この記述は、「2つの分布が同じモーメントを持つ場合、それらはすべての点で同一である」という記述と同値ではない。これは、モーメントが存在するにもかかわらず、モーメント生成関数が存在しない場合があるからである。これは、極限が

$${\displaystyle \lim _{n\to \infty }\sum _{i=0}^{n}{\frac {t^{i}m_{i}}{i!}}}$$

存在しないかもしれない。対数正規分布は、これが起こる例である。そのモーメントは有限であり、すべて有限であるが、そのモーメント生成関数は、積分が発散するため、0の近傍では定義されないため、任意の正のtに対して定義されない。同じモーメントを持つ他の分布も存在する。^[4] ${\displaystyle \operatorname {E} [X^{n}]=e^{n\mu +n^{2}\sigma ^{2}/2}}$ ${\displaystyle \operatorname {E} \left[e^{tX}\right]}$

モーメントの計算

モーメント生成関数は、t = 0の周りの開区間上に存在する場合、確率分布のモーメントの指数生成関数であるため、このように呼ばれます。

$${\displaystyle m_{n}=\operatorname {E} \left[X^{n}\right]=M_{X}^{(n)}(0)=\left.{\frac {d^{n}M_{X}}{dt^{n}}}\right|_{t=0}.}$$

つまり、n が非負の整数である場合、0 についてのn次モーメントは、 t = 0で評価されたモーメント生成関数のn次導関数です。

その他の特性

ジェンセンの不等式は、モーメント生成関数の単純な下限値を提供します。ここで、 はXの平均です。 $${\displaystyle M_{X}(t)\geq e^{\mu t},}$$ ${\displaystyle \mu }$

モーメント生成関数は、マルコフの不等式と組み合わせて、実数確率変数Xの上裾を限定するために使用できます。この記述は、チェルノフ境界とも呼ばれます。は に対して単調増加なので、 が 存在する限り、任意のおよび任意のaに対してが成り立ちます。例えば、X が標準正規分布での場合、を選択して思い出すことができます。これは となり、正確な値から1+ aの係数以内になります。 ${\displaystyle x\mapsto e^{xt}}$ ${\displaystyle t>0}$ $${\displaystyle \Pr(X\geq a)=\Pr(e^{tX}\geq e^{ta})\leq e^{-at}\operatorname {E} \left[e^{tX}\right]=e^{-at}M_{X}(t)}$$ ${\displaystyle t>0}$ ${\displaystyle M_{X}(t)}$ ${\displaystyle a>0}$ ${\displaystyle t=a}$ ${\displaystyle M_{X}(t)=e^{t^{2}/2}}$ ${\displaystyle \Pr(X\geq a)\leq e^{-a^{2}/2}}$

ヘフディングの補題やベネットの不等式などのさまざまな補題は、平均がゼロで有界なランダム変数の場合のモーメント生成関数の境界を提供します。

が非負の場合、モーメント生成関数はモーメントに対して単純で便利な境界を与えます。任意のおよびに対して。 ${\displaystyle X}$ $${\displaystyle \operatorname {E} [X^{m}]\leq \left({\frac {m}{te}}\right)^{m}M_{X}(t),}$$ ${\displaystyle X,m\geq 0}$ ${\displaystyle t>0}$

これは、 を代入できる不等式から導かれ、任意のに対して が成り立つことを意味します。ここで、およびならば、これは と変形できます。両辺の期待値を取ると、 に関する の境界が得られます。 ${\displaystyle 1+x\leq e^{x}}$ ${\displaystyle x'=tx/m-1}$ ${\displaystyle tx/m\leq e^{tx/m-1}}$ ${\displaystyle x,t,m\in \mathbb {R} }$ ${\displaystyle t>0}$ ${\displaystyle x,m\geq 0}$ ${\displaystyle x^{m}\leq (m/(te))^{m}e^{tx}}$ ${\displaystyle \operatorname {E} [X^{m}]}$ ${\displaystyle \operatorname {E} [e^{tX}]}$

例として、自由度について考えてみましょう。例から が成り立ちます。 を として境界に代入すると、この場合、正しい境界は であることが分かります。境界を比較するために、 が大きい に対する漸近挙動を考えてみましょう。ここで、モーメント生成関数の境界は で、実数境界は です。したがって、この場合のモーメント生成関数の境界は非常に強いものとなります。 ${\displaystyle X\sim {\text{Chi-Squared}}}$ ${\displaystyle k}$ ${\displaystyle M_{X}(t)=(1-2t)^{-k/2}}$ ${\displaystyle t=m/(2m+k)}$ $${\displaystyle \operatorname {E} [X^{m}]\leq {\left(1+2m/k\right)}^{k/2}e^{-m}{\left(k+2m\right)}^{m}.}$$ ${\displaystyle \operatorname {E} [X^{m}]\leq 2^{m}\Gamma (m+k/2)/\Gamma (k/2)}$ ${\displaystyle k}$ ${\displaystyle k^{m}(1+m^{2}/k+O(1/k^{2}))}$ ${\displaystyle k^{m}(1+(m^{2}-m)/k+O(1/k^{2}))}$

他の機能との関係

モーメント生成関数に関連するものとしては、確率論でよく使われる 他の変換がいくつかあります。

特性関数

特性関数は 、モーメント生成関数を介してモーメント生成関数と関連している。特性関数は、 iXのモーメント生成関数、または虚軸上で評価されたXのモーメント生成関数である。この関数は確率密度関数のフーリエ変換と見なすこともできるため、逆フーリエ変換によって確率密度関数を導くことができる。 ${\displaystyle \varphi _{X}(t)}$ ${\displaystyle \varphi _{X}(t)=M_{iX}(t)=M_{X}(it):}$

キュムラント生成関数

キュムラント生成関数は、モーメント生成関数の対数として定義されます。キュムラント生成関数を特性関数の対数として定義する人もいれば、後者を第 2キュムラント生成関数と呼ぶ人もいます。

確率生成関数

確率生成関数は次のように定義される。これは、 ${\displaystyle G(z)=\operatorname {E} \left[z^{X}\right].}$ ${\displaystyle G(e^{t})=\operatorname {E} \left[e^{tX}\right]=M_{X}(t).}$

参照

• 特性関数（確率論）
• 階乗モーメント母関数
• レート関数
• ハンバーガーモーメント問題

参考文献

引用

1. Casella, George; Berger, Roger L. (1990).統計的推論. Wadsworth & Brooks/Cole. p. 61. ISBN 0-534-11958-1。
2. ブルマー, MG (1979). 『統計学の原理』 ドーバー. pp.  75– 79. ISBN 0-486-63760-3。
3. Kotz et al. ^{[全文引用必要]} p. 37 コーシー分布を回復するために自由度の数を1とする
4. Heyde, CC. (2010)、「対数正規分布の特性について」、王立統計学会誌、シリーズB、第25巻、第2号、pp.  392– 393、doi : 10.1007/978-1-4419-5823-5_6、ISBN 978-1-4419-5822-8

出典

• カセラ、ジョージ、バーガー、ロジャー (2002).統計的推論（第2版）. トムソン・ラーニング. pp.  59– 68. ISBN 978-0-534-24312-8。

Retrieved from "https://en.wikipedia.org/w/index.php?title=Moment-generating_function&oldid=1318863456"