ベルヌーイ分布

Probability distribution modeling a coin toss which need not be fair

ベルヌーイ分布
確率質量関数 ベルヌーイ分布の3つの例    ${\displaystyle P(x=0)=0{.}2}$および ${\displaystyle P(x=1)=0{.}8}$    ${\displaystyle P(x=0)=0{.}8}$および ${\displaystyle P(x=1)=0{.}2}$    ${\displaystyle P(x=0)=0{.}5}$および ${\displaystyle P(x=1)=0{.}5}$
パラメータ	${\displaystyle 0\leq p\leq 1}$ ${\displaystyle q=1-p}$
サポート	${\displaystyle k\in \{0,1\}}$
PMF	${\displaystyle {\begin{cases}q=1-p&{\text{if }}k=0\\p&{\text{if }}k=1\end{cases}}}$
CDF	${\displaystyle {\begin{cases}0&{\text{if }}k<0\\1-p&{\text{if }}0\leq k<1\\1&{\text{if }}k\geq 1\end{cases}}}$
平均	${\displaystyle p}$
中央値	${\displaystyle {\begin{cases}0&{\text{if }}p<1/2\\\left[0,1\right]&{\text{if }}p=1/2\\1&{\text{if }}p>1/2\end{cases}}}$
最頻値	${\displaystyle {\begin{cases}0&{\text{if }}p<1/2\\0,1&{\text{if }}p=1/2\\1&{\text{if }}p>1/2\end{cases}}}$
分散	${\displaystyle p(1-p)=pq}$
MAD	${\displaystyle 2p(1-p)=2pq}$
歪度	${\displaystyle {\frac {q-p}{\sqrt {pq}}}}$
過剰尖度	${\displaystyle {\frac {1-6pq}{pq}}}$
エントロピー	${\displaystyle -q\ln q-p\ln p}$
MGF	${\displaystyle q+pe^{t}}$
CF	${\displaystyle q+pe^{it}}$
PGF	${\displaystyle q+pz}$
フィッシャー情報量	${\displaystyle {\frac {1}{pq}}}$

確率論と統計学において、スイスの数学者ヤコブ・ベルヌーイにちなんで名付けられたベルヌーイ分布^[1]は、確率で値1をとり、確率で値0をとる確率を持つ確率変数の離散確率分布です。より形式的には、イエス・ノーで答える質問をする任意の単一の実験の可能な結果の集合のモデルと考えることができます。このような質問は、ブール値、つまり確率pで成功/はい/真/ 1 、確率qで失敗/いいえ/偽/ 0となる単一ビットの結果をもたらします。これは、（おそらく偏りのある）コイン投げを表すために使用できます。この場合、1と0はそれぞれ「表」と「裏」を表し、pはコインが表になる確率です（またはその逆で、1は裏を表し、pは裏になる確率です）。特に、不公平なコインは ${\displaystyle p}$ ${\displaystyle q=1-p}$ ${\displaystyle p\neq 1/2.}$

ベルヌーイ分布は、二項分布の特殊なケースであり、試行は1回のみです（したがって、このような二項分布ではnは1になります）。また、二点分布の特殊なケースでもあり、起こり得る結果は0と1である必要はありません。^[2]

特性

がベルヌーイ分布に従う確率変数である場合、次のようになります。 ${\displaystyle X}$

$${\displaystyle {\begin{aligned}\Pr(X{=}1)&=p,\\\Pr(X{=}0)&=q=1-p.\end{aligned}}}$$

この分布の確率質量関数は、起こり得る結果 k に対して、次 のようになります。^[3] ${\displaystyle f}$

$${\displaystyle f(k;p)={\begin{cases}p&{\text{if }}k=1,\\q=1-p&{\text{if }}k=0.\end{cases}}}$$

これは次のようにも表すことができます。

$${\displaystyle f(k;p)=p^{k}(1-p)^{1-k}\quad {\text{for }}k\in \{0,1\}}$$

または

$${\displaystyle f(k;p)=pk+(1-p)(1-k)\quad {\text{for }}k\in \{0,1\}.}$$

ベルヌーイ分布は、二項分布の特殊なケースであり、 ^[4]に従います。 ${\displaystyle n=1.}$

の値が高ければ尖度は無限大になりますが、ベルヌーイ分布を含む二点分布では、他のどの確率分布よりも過剰尖度が低く、-2です。 ${\displaystyle p,}$ ${\displaystyle p=1/2}$

のベルヌーイ分布は指数族を形成します ${\displaystyle 0\leq p\leq 1}$

ランダムサンプルに基づくの最大尤度推定値はサンプル平均です。 ${\displaystyle p}$

ベルヌーイ実験の確率質量分布関数と、それに対応する累積分布関数

平均

ベルヌーイ確率変数の期待値は ${\displaystyle X}$

$${\displaystyle \operatorname {E} [X]=p}$$

これは、ベルヌーイ分布の確率変数がおよび の場合、次式が得られるからです^[3] ${\displaystyle X}$ ${\displaystyle \Pr(X{=}1)=p}$ ${\textstyle \Pr(X{=}0)=q}$

$${\displaystyle {\begin{aligned}\operatorname {E} [X]&=\Pr(X{=}1)\cdot 1+\Pr(X{=}0)\cdot 0\\[1ex]&=p\cdot 1+q\cdot 0\\[1ex]&=p.\end{aligned}}}$$

分散

ベルヌーイ分布に従う確率変数の分散は ${\displaystyle X}$

$${\displaystyle \operatorname {Var} [X]=pq=p(1-p)}$$

まず、

$${\displaystyle {\begin{aligned}\operatorname {E} [X^{2}]&=\Pr(X{=}1)\cdot 1^{2}+\Pr(X{=}0)\cdot 0^{2}\\&=p\cdot 1^{2}+q\cdot 0^{2}\\&=p=\operatorname {E} [X]\end{aligned}}}$$

このことから、^{[3]が続きます}

$${\displaystyle {\begin{aligned}\operatorname {Var} [X]&=\operatorname {E} [X^{2}]-\operatorname {E} [X]^{2}=\operatorname {E} [X]-\operatorname {E} [X]^{2}\\[1ex]&=p-p^{2}=p(1-p)=pq\end{aligned}}}$$

この結果から、任意のベルヌーイ分布について、その分散が の範囲内の値を持つことは容易に証明できます。 ${\displaystyle [0,1/4]}$

歪度

歪度はです。標準化されたベルヌーイ分布に従う確率変数を取ると、この確率変数はの確率で に達し、の確率で に達することがわかります。したがって、 ${\displaystyle {\frac {q-p}{\sqrt {pq}}}={\frac {1-2p}{\sqrt {pq}}}}$ ${\displaystyle {\frac {X-\operatorname {E} [X]}{\sqrt {\operatorname {Var} [X]}}}}$ ${\displaystyle {\frac {q}{\sqrt {pq}}}}$ ${\displaystyle p}$ ${\displaystyle -{\frac {p}{\sqrt {pq}}}}$ ${\displaystyle q}$

$${\displaystyle {\begin{aligned}\gamma _{1}&=\operatorname {E} \left[\left({\frac {X-\operatorname {E} [X]}{\sqrt {\operatorname {Var} [X]}}}\right)^{3}\right]\\&=p\cdot \left({\frac {q}{\sqrt {pq}}}\right)^{3}+q\cdot \left(-{\frac {p}{\sqrt {pq}}}\right)^{3}\\&={\frac {1}{{\sqrt {pq}}^{3}}}\left(pq^{3}-qp^{3}\right)\\&={\frac {pq}{{\sqrt {pq}}^{3}}}(q^{2}-p^{2})\\&={\frac {(1-p)^{2}-p^{2}}{\sqrt {pq}}}\\&={\frac {1-2p}{\sqrt {pq}}}={\frac {q-p}{\sqrt {pq}}}.\end{aligned}}}$$

高次モーメントとキュムラント

および であるため、生のモーメントはすべて等しいです。 ${\displaystyle 1^{k}=1}$ ${\displaystyle 0^{k}=0}$

$${\displaystyle \operatorname {E} [X^{k}]=\Pr(X{=}1)\cdot 1^{k}+\Pr(X{=}0)\cdot 0^{k}=p\cdot 1+q\cdot 0=p=\operatorname {E} [X].}$$

次数の中心モーメントは で与えられます。最初の6つの中心モーメントは です。高次中心モーメントは および でより簡潔に表すことができます。最初の6つのキュムラントは ${\displaystyle k}$ $${\displaystyle \mu _{k}=(1-p)(-p)^{k}+p(1-p)^{k}.}$$ $${\displaystyle {\begin{aligned}\mu _{1}&=0,\\\mu _{2}&=p(1-p),\\\mu _{3}&=p(1-p)(1-2p),\\\mu _{4}&=p(1-p)(1-3p(1-p)),\\\mu _{5}&=p(1-p)(1-2p)(1-2p(1-p)),\\\mu _{6}&=p(1-p)(1-5p(1-p)(1-p(1-p))).\end{aligned}}}$$ ${\displaystyle \mu _{2}}$ ${\displaystyle \mu _{3}}$ $${\displaystyle {\begin{aligned}\mu _{4}&=\mu _{2}(1-3\mu _{2}),\\\mu _{5}&=\mu _{3}(1-2\mu _{2}),\\\mu _{6}&=\mu _{2}(1-5\mu _{2}(1-\mu _{2})).\end{aligned}}}$$ $${\displaystyle {\begin{aligned}\kappa _{1}&=p,\\\kappa _{2}&=\mu _{2},\\\kappa _{3}&=\mu _{3},\\\kappa _{4}&=\mu _{2}(1-6\mu _{2}),\\\kappa _{5}&=\mu _{3}(1-12\mu _{2}),\\\kappa _{6}&=\mu _{2}(1-30\mu _{2}(1-4\mu _{2})).\end{aligned}}}$$

エントロピーとフィッシャー情報量

エントロピー

エントロピーは、確率分布における不確実性またはランダム性の尺度です。成功確率と失敗確率を持つベルヌーイ確率変数の場合、エントロピーは次のように定義されます。 ${\displaystyle X}$ ${\displaystyle p}$ ${\displaystyle q=1-p}$ ${\displaystyle H(X)}$

$${\displaystyle {\begin{aligned}H(X)&=\mathbb {E} _{p}\ln {\frac {1}{\Pr(X)}}\\[1ex]&=-\Pr(X{=}0)\ln \Pr(X{=}0)-\Pr(X{=}1)\ln \Pr(X{=}1)\\[1ex]&=-(q\ln q+p\ln p).\end{aligned}}}$$

エントロピーは のときに最大になり、両方の結果が等しく起こりうる場合に不確実性が最も高くなることを示します。またはのとき、エントロピーはゼロになり、一方の結果が確実です。 ${\displaystyle p=0.5}$ ${\displaystyle p=0}$ ${\displaystyle p=1}$

フィッシャー情報量

フィッシャー情報量は、観測可能な確率変数が、確率が依存する未知のパラメータについて持つ情報量を測定します。ベルヌーイ分布の場合、パラメータに関するフィッシャー情報量は次のように与えられます。 ${\displaystyle X}$ ${\displaystyle p}$ ${\displaystyle X}$ ${\displaystyle p}$

$${\displaystyle I(p)={\frac {1}{pq}}}$$

証明：

• ベルヌーイ確率変数の尤度関数は次のとおりです。これは、パラメータ が与えられた場合に観測される確率を表します。 ${\displaystyle X}$ $${\displaystyle L(p;X)=p^{X}(1-p)^{1-X}}$$ ${\displaystyle X}$ ${\displaystyle p}$
• 対数尤度関数は次のとおりです $${\displaystyle \ln L(p;X)=X\ln p+(1-X)\ln(1-p)}$$
• スコア関数（対数尤度の1次微分）は： ${\displaystyle p}$ $${\displaystyle {\frac {\partial }{\partial p}}\ln L(p;X)={\frac {X}{p}}-{\frac {1-X}{1-p}}}$$
• 対数尤度関数の2次微分は： $${\displaystyle {\frac {\partial ^{2}}{\partial p^{2}}}\ln L(p;X)=-{\frac {X}{p^{2}}}-{\frac {1-X}{(1-p)^{2}}}}$$
• フィッシャー情報量は、対数尤度の2次微分の負の期待値として計算されます： $${\displaystyle {\begin{aligned}I(p)=-E\left[{\frac {\partial ^{2}}{\partial p^{2}}}\ln L(p;X)\right]=-\left(-{\frac {p}{p^{2}}}-{\frac {1-p}{(1-p)^{2}}}\right)={\frac {1}{p(1-p)}}={\frac {1}{pq}}\end{aligned}}}$$

のときに最大になり、最大の不確実性、つまりパラメータに関する最大の情報を反映します。 ${\displaystyle p=0.5}$ ${\displaystyle p}$

関連分布

• が独立かつ同一分布（iid）の確率変数であり、すべてのベルヌーイ試行が成功確率 pである場合、それらの和はパラメータnとpを持つ二項分布に従って分布します。 ${\displaystyle X_{1},\dots ,X_{n}}$

  ${\displaystyle \sum _{k=1}^{n}X_{k}\sim \operatorname {B} (n,p)}$（二項分布）^[3]

ベルヌーイ分布は単にとも表記されます。 ${\displaystyle \operatorname {B} (1,p)}$ ${\textstyle \mathrm {Bernoulli} (p).}$

• カテゴリ分布は、任意の定数個の離散値を持つ変数に対するベルヌーイ分布の一般化です。
• ベータ分布は、ベルヌーイ分布の共役事前分布です。 ^[5]
• 幾何分布は、 1回の成功を得るために必要な独立かつ同一のベルヌーイ試行の数をモデル化します。
• の場合、はラーデマッハ分布に従います。 ${\textstyle Y\sim \mathrm {Bernoulli} \left({\frac {1}{2}}\right)}$ ${\textstyle 2Y-1}$

参照

• ベルヌーイ過程、一連の独立したベルヌーイ試行からなる確率過程
• ベルヌーイサンプリング
• 二項エントロピー関数
• 二項決定図

参考文献

1. ウスペンスキー、ジェームズ・ビクター(1937). 『数学的確率入門』 . ニューヨーク：マグロウヒル. 45ページ. OCLC  996937.
2. デッキング、フレデリック、クライカンプ、コルネリス、ロプハー、ヘンドリック、ミースター、ルドルフ (2010年10月9日). 『確率と統計への現代的入門』（第1版）.シュプリンガー・ロンドン. 43～ 48ページ.  ISBN 9781849969529.
3. ベルツェカス、ディミトリ・P. (2002). 『確率入門』 .ツィツィクリス、ジョン・N.、Τσιτσικλής, Γιάννης N.. マサチューセッツ州ベルモント：アテナ・サイエンティフィック. ISBN 188652940X OCLC  51441829
4. ピーター・マカラー、ジョン・ネルダー(1989).一般化線型モデル 第2版. ボカラトン: チャップマン・アンド・ホール/CRC. セクション4.2.2. ISBN   0-412-31760-5.
5. オルロフ、ジェレミー、ブルーム、ジョナサン. 「共役事前分布：ベータ分布と正規分布」（PDF） . math.mit.edu . 2023年10月20日閲覧。

著者の言及

• アビラス、ドウィヴェディ、コッツ、サミュエル、ケンプ、アドリアン・W. (1993).単変量離散分布（第2版）. Wiley. ISBN 0-471-54897-9.
• Peatman, John G. (1963). Introduction to Applied Statistics . New York: Harper & Row. pp.  162– 171.

外部リンク

• 「二項分布」、数学百科事典、EMSプレス、2001 [1994].
• ワイススタイン、エリック・W.「ベルヌーイ分布」. MathWorld .
• インタラクティブグラフィック：一変量分布の関係

Retrieved from "https://en.wikipedia.org/w/index.php?title=Bernoulli_distribution&oldid=1320923294"