正規母集団の標本平均と標本分散は独立
$n$ 個の確率変数
$X_{i}$
のそれぞれが同一の
正規分布に従い、
互いに
独立であるならば、
標本平均
と
標本分散
は、
独立な確率分布に従う。
証明:
$n$ 個の確率変数
が互いに
独立であり、
同一の
期待値 $\mu$ と標準偏差
$\sigma$
を持つ
正規分布に従うと仮定する。
このとき、
$$
\tag{1}
$$
によって定義される $n$ 個の確率変数 $Y_{i}$ は、
いずれも期待値が $0$、 標準偏差が $1$ の正規分布に従う
(証明は「
標準正規分布」を参考 )。
よって、$Y_{i}$ の確率密度関数 $q_{i}(y_{i})$ は
$$
\tag{2}
$$
である。
一般に独立な確率変数の組があるとき、
それらの定数倍や定数を加えた確率変数の組もまた独立であるので、
$(1)$ によって定義される
$\{Y_{1}, Y_{2}, \cdots, Y_{n}\}$
は互いに独立である。
よって、
$\{Y_{1}, Y_{2}, \cdots, Y_{n}\}$ に対する同時確率密度関数 $Q(y_{1}, y_{2}, \cdots, y_{n})$
は、
を満たす。これと $(2)$ から、
である。ここで、ベクトル $\mathbf{y}$ を
と定義すると、$\mathbf{y}$ 同士の
内積が
であるので、
$$
\tag{3}
$$
と表せる。
$n$ 個の確率変数 $(1)$ の値が $n$ 次元空間のある領域
$\mathcal{D}_{Y}$ 内に含まれる
(その中の値をとる)
確率は、
$$
\tag{4}
$$
である。
ここで、
$n$ 個の確率変数 $\{ Z_{i} \}$
$(i=1,2,\cdots,n)$
を
$$
\tag{5}
$$
によって定義する。
右辺の行列
$A$ は第一列の成分が全て
$1/\sqrt{n}$ である
直交行列である。
すなわち、
$$
\tag{6}
$$
の形した直交行列である
(このような行列の存在については
下の補足1を参考)。
変数変換 $(5)$
による $\mathcal{D}_{Y}$ の写像を $\mathcal{D}_{Z}$ とする。
変換 $(5)$ は
全単射であるので、
$Y_{1}, Y_{2}, \cdots, Y_{n} \in {D}_{Y}$ である確率と
$Z_{1}, Z_{2}, \cdots, Z_{n} \in {D}_{Z}$ である確率は等しい。
すなわち、
$$
\tag{7}
$$
が成り立つ。これと $(4)$ から
$$
\tag{8}
$$
である。$A$ が
直交行列であるので、
$(5)$ の逆変換は、
$$
\tag{9}
$$
である。これを用いて
$(8)$
を変数変換すると、
$$
\tag{10}
$$
となる。
ここで、$J$ は変数変換 $(9)$ に伴うヤコビアン
である。
三つめの等号では
転置行列の行列式の性質を用いた。
また、
四つめの等号では
直交行列の行列式の性質を用いた。
加えて、
直交行列の定義と
内積の性質から、
であるので、
と表される。
ところで、
確率変数 $Z_{1}, Z_{2}, \cdots, Z_{n}$
の確率密度関数を
$ P(z_{1}, z_{2}, \cdots, z_{n})$ と表すと、
であるので、
$$
\tag{11}
$$
が成立する。
積分範囲が
である場合には、
である。
両辺を $b_{1}, b_{2}, \cdots, b_{n}$ によって偏微分すると、
$$
\tag{12}
$$
を得る。
このように同時確率密度関数が求まったので、
それぞれの確率変数 $Z_{i}$ に対する確率密度関数 $p_{i}(z_{i})$ を求めることができる。
具体的には、
$p_{i}(z_{i})$ は、$P(z_{1}, z_{2}, \cdots, z_{n})$ を
$z_{i}$ 以外の変数で積分したものである。
すなわち、
である。
最後の等号では
ガウス積分の公式
を用いた。
この結果と
$(12)$ から、
が成立することが分かる。
したがって、
$\{ Z_{1}, Z_{2}, \cdots, Z_{n}\}$
は互いに
独立な確率変数である。
これを踏まえて、
と定義すると、$(5)$ は、
$
\mathbf{Z} = A \mathbf{Y}
$
と表されるが、
これと
直交行列の定義と
内積の性質
から、
が成立し、この関係を成分で表して、
$(1)$ を用いると、
$$
\tag{13}
$$
である。
下の補足2 で証明しているように、
$$
\tag{14}
$$
の関係が成立するので、
$(13)$ から
$$
\tag{15}
$$
と表せる。
ところで、$(5) (6)(1)$ により、$Z_{1}$ は、
$$
\tag{16}
$$
と表せるので、$(15)$ は
と表せる。これと $(13)$ により、
を得る。書き換えると、
$$
\tag{17}
$$
である。
$\{ Z_{1}, Z_{2}, \cdots, Z_{n}\}$ が互いに独立であるので、
$Z_{1}$ と $Z_{2}^{2} + \cdots + Z_{n}^{2}$ は独立である。
すると、
$(17)$ から、$Z_{1}$ と $\frac{nS^{2}}{\sigma^2} $ が独立であることが分かる。
また、$Z_{1}$ は
$(16)$ と表せるので、併せて考えると、
であることが分かる。
これより、
$\overline{X}$ と $S^{2}$ は独立である。
すなわち、標本平均と標本分散が互いに独立である。
補足1: $(6)$ の直交行列の存在
ここでは、$(6)$ の形の行列、
すなわち、
の形の直交行列が存在することを証明する。
ベクトル $\mathbf{c}_{1}$ を
$$
\tag{A1}
$$
と定義する。
$
\| \mathbf{c}_{1} \| = 1
$
であるため、
$\mathbf{c}_{1}$ は
規格化されたベクトルである。
一般にベクトル空間には
任意の規格化されたベクトルを含む正規直交基底が存在するので、
$ \mathbf{c}_{1}$ を含む正規直交基底が存在する。それを、
と表す。
ここで
行列 $C$ を
と定義すると、$C$ は列ベクトルが正規直交系を成す行列になるので、直交行列である
(「
直交行列 ⟺ 列ベクトルが正規直交系」を参考)。
したがって、
が成り立つ。ここで $T$ は行列の
転置を表す記号であり、
$I$ は
単位行列である。
転置行列の性質を用いると、
この式は
と表せる。これは
$C^{T}$ もまた直交行列であることを表している。
$C^{T}$ を具体的に表すと、
である。
したがって、$(6)$ の形の直交行列が存在する。
補足2: 関係式 $(14)$ の証明
ここでは、$(14)$ 式
を証明する。
標本分散 $S^{2}$ の定義は、
である。ここで、
$\overline{X}$
は
標本平均
である。これらより、
が成立する。
これを用いると、
が示される。