統計学において、母集団の性質を限られた標本から推測することは非常に重要です。特に、母集団が正規分布に従うと仮定した場合、標本から得られる平均値や分散がどのような確率分布を持つのかを理解することで、信頼区間の設定や仮説検定が可能になります。

Key Facts

  • 標本平均の分布：母集団が正規分布 $N(\mu, \sigma^2)$ であるとき、標本平均は $N(\mu, \sigma^2/n)$ に従う。
  • 誤差と残差：母平均 $\mu$ との差を「統計的誤差」、標本平均 $\overline{X}$ との差を「残差」と呼ぶ。
  • 自由度の違い：統計的誤差の二乗和は自由度 $n$ のカイ二乗分布に従うが、残差の二乗和は自由度 $n-1$ となる。
  • ベッセルの補正：母平均が未知の場合、不偏分散を求めるために自由度 $n-1$ で割る補正が必要となる。
  • t統計量の特性：標本平均と残差の二乗和が独立であるため、未知の母標準偏差 $\sigma$ を排除したt分布による解析が可能になる。

標本平均と誤差の性質

平均 $\mu$、標準偏差 $\sigma$ を持つ正規分布から独立に $n$ 個の個体を選択した場合、得られる標本平均 $\overline{X}$ もまた正規分布に従います。ただし、その分散は母分散 $\sigma^2$ をサンプルサイズ $n$ で割った $\sigma^2/n$ となり、サンプル数が増えるほど分布は鋭くなります。

ここで、個々のデータ $X_i$ と母平均 $\mu$ の差を統計的誤差 ($e_i$) と定義します。この誤差の期待値はゼロとなります。一方で、実務上は母平均 $\mu$ が未知であることが多いため、代わりに標本平均 $\overline{X}$ との差である残差 ($r_i$) を用いてデータのばらつきを評価します。

カイ二乗分布と自由度の概念

統計的誤差の二乗和を $\sigma^2$ で除した値は、自由度 $n$ のカイ二乗分布に従います。しかし、前述の通り母平均が未知であるため、この値は直接観測することができません。

そこで、観測可能な「残差の二乗和」を $\sigma^2$ で除した値を検討します。この場合、分布は自由度 $n-1$ のカイ二乗分布に従います。この「1」の減少こそが、母平均が未知の状態で標本分散を推定する際に必要となるベッセルの補正の根拠となっています。もし母平均が既知であれば、この補正は不要です。

統計的誤差と残差の比較
項目 統計的誤差 (Statistical Error) 残差 (Residual)
定義式 $e_i = X_i - \mu$ $r_i = X_i - \overline{X}$
観測可能性 母平均 $\mu$ が未知なら不可 常に可能
二乗和の分布 自由度 $n$ のカイ二乗分布 自由度 $n-1$ のカイ二乗分布

t統計量への展開と実用的意味

統計学における重要な発見の一つに、標本平均と残差の二乗和が互いに独立であるという性質があります（これはバスの定理などで証明されます）。この独立性と正規分布・カイ二乗分布の性質を組み合わせることで、t統計量が導出されます。

t統計量は、分子に標本平均と想定される母平均の差（誤差）を置き、分母に標本標準偏差 $S_n$ を用いた標準誤差 $\sigma/\sqrt{n}$ の推定値を置くことで構成されます。特筆すべきは、分子と分母の両方に含まれる未知の母標準偏差 $\sigma$ が相殺される点です。

これにより、$\sigma$ の値が分からなくても、この比率は自由度 $n-1$ のStudentのt分布に従うことが保証されます。結果として、私たちはt統計量を用いて母平均 $\mu$ の信頼区間を算出することができ、これは「回帰線から標準誤差の何倍離れているか」という指標として解釈されます。

Frequently Asked Questions

なぜ残差の二乗和では自由度が $n-1$ になるのですか？

残差を計算する際に標本平均 $\overline{X}$ を使用するため、データ間に一つの制約（残差の合計は常にゼロになる）が生じます。そのため、独立に変動できるデータの数は $n$ 個から 1 個減り、$n-1$ となります。

ベッセルの補正とは具体的に何をすることですか？

母分散を推定する際、分母を $n$ ではなく $n-1$ で割ることです。これにより、標本分散が母分散に対して過小評価される傾向（偏り）をなくし、不偏分散を得ることができます。

t統計量において $\sigma$ が相殺されることのメリットは何ですか？

現実のデータ分析では母標準偏差 $\sigma$ は未知であることがほとんどです。$\sigma$ が計算過程で消えるため、未知のパラメータに依存せずに確率分布（t分布）を特定でき、統計的な検定や推定が可能になります。

t分布と正規分布の違いは何ですか？

t分布は正規分布に似た鐘型の形状をしていますが、裾がより広くなっています。これは標本サイズが小さい場合に、標準偏差の推定に伴う不確実性を考慮するためです。サンプルサイズ $n$ が大きくなるにつれ、t分布は標準正規分布に近づきます。