正規分布の基本的な性質
定義
正規分布とは、確率密度関数 $p(x)$ が
によって表される分布である。
確率変数 $X$ が正規分布に従うことを
と表す。
図は、$\mu=10$、$\sigma^2=4$ の正規分布 $N(10,4)$ である。
期待値
正規分布
$
X \sim N(\mu, \sigma^2)
$
に従う確率変数 $X$ の期待値 $E(X)$ は、
である。
分散と標準偏差
正規分布
$
N(\mu, \sigma^2)
$
に従う確率変数 $X$ の分散 $V(X)$ は、
である。
標準偏差 $S(X)$ は、
$$
S(X) = \sqrt{V(X)}=\sigma
$$
である。
標準正規分布
確率変数 $X$ が正規分布
$
N(\mu, \sigma^2)
$
に従い、
確率変数 $Y$ を
と定義する。
このとき、$Y$ は正規分布
$
N(0, 1)
$
に従う。
すなわち、
が成り立つ。
$N(0,1)$ を
標準正規分布という。
証明
確率変数 $X$ が期待値が $\mu$ で分散が $\sigma^2$ の正規分布に従い、
すなわち、
$$
\tag{1}
$$
であり、
確率変数 $Y$ を
$$
\tag{2}
$$
と定義する。
$Y$ の確率密度関数を $P_{Y} (y)$ と表すと、
$Y$ が区間 $a \leq Y \leq b$ の間に観測される確率 $\mathrm{Pr} (a \leq Y \leq b) $ は、
$$
\tag{3}
$$
である。
一方で、$(2)$ より、
であるので、
$$
\tag{4}
$$
が成り立つ。
ここで $P_{X}(x)$ は $X$ の確率密度関数であり、
$(1)$ より、
である。
これと $(3)$ と $(4)$ より、
と表せる。
右辺の積分に対し、
$y=\frac{x-\mu}{\sigma}$ と置くと、
であるので、
となる。
両辺を $b$ で微分し、$b=y$ と置くことにより、
を得る。
右辺は、標準正規分布の確率密度関数である。
以上から、
が成り立つ。
和に関する再生性
確率変数 $X$ と $Y$ がそれぞれ
と正規分布に従う確率変数であるとき、
$X$ と $Y$ が
独立であるならば、
確率変数の和 $X+Y$ は、
期待値 $\mu_{1}+ \mu_{2}$、分散 $\sigma_{1}^{2} + \sigma_{2}^{2}$ の正規分布に従う。
すなわち、
である。
定数倍に関する再生性
確率変数 $X$ が正規分布
$
N(\mu, \hspace{0.5mm}\sigma^{\hspace{1mm}2})
$
に従うとき、
$X$ の定数倍 $cX$ は、
期待値が $c\mu$、
分散が $c^{2} \sigma^2$ の正規分布に従う。
すなわち、
が成り立つ。
ただし $c > 0$ とする。
証明
確率変数 $X$ が
期待値が $\mu$ で
分散が $\sigma^2$ の正規分布に従うとする。
すなわち、
$$
\tag{1}
$$
また
確率変数 $Y$ を
$$
\tag{2}
$$
と定義する。ここで $c > 0$ とする。
$Y$ の確率密度関数を $P_{Y} (y)$ と表すと、
$Y$ が区間 $a \leq Y \leq b$ の間に観測される確率 $\mathrm{Pr} (a \leq Y \leq b) $ は、
$$
\tag{3}
$$
である。
一方で、$(2)$ より、
であるので、
$$
\tag{4}
$$
が成り立つ。
ここで $P_{X}(x)$ は $X$ の
確率密度関数であり、
$(1)$ より、
である。
これと $(3)$ $(4)$ より、
と表せる。
右辺の第一項の積分に対し、
$u = cx$ と置くと、
であるので、
となる。両辺を $b$ で微分し、$b=y$ と置くことにより、
を得る。
右辺は、
期待値が $c \mu$ で
分散が
$c^2 \sigma^2$ の
正規分布の確率密度関数である。
以上から、
が成り立つ。
標本平均の正規分布
正規分布 $N(\mu, \sigma^2)$ に従い、互いに独立な確率変数 $X_{i}$ $(i=0,1,\cdots ,n)$
の
標本平均は
正規分布 $N \big( \mu,\hspace{0.5mm} \frac{1}{n}\sigma^2 \big)$ に従う。
すなわち、
\begin{eqnarray}
&&X_{i} \sim N (\mu, \sigma^2)
\\
&&
\Longrightarrow \hspace{1mm} \overline{X} \sim N \Big( \mu,\hspace{0.5mm} \frac{1}{n}\sigma^2 \Big)
\end{eqnarray}
が成り立つ。
証明
和に関する再生性を用いると、
\begin{eqnarray}
\sum_{i=1}X_{i} &=&
X_{1} + X_{2} + \cdots + X_{n}
\\
&\sim& N(n\mu,\hspace{0.5mm} n\sigma^2)
\end{eqnarray}
であるので、
定数倍に関する再生性を用いると、
\begin{eqnarray}
\overline{X} &=& \frac{1}{n}\sum_{i=1}X_{i}
\\
&\sim& N \Big( \frac{1}{n}(n\mu),\hspace{0.5mm} (\frac{1}{n})^2 (n\sigma^2 ) \Big)
\\
&=& N \Big( \mu,\hspace{0.5mm} \frac{1}{n}\sigma^2 \Big)
\end{eqnarray}
である。
すなわち、
標本平均 $\overline{X}$
は正規分布
$N \big( \mu,\hspace{0.5mm} \frac{1}{n}\sigma^2 \big)$
に従う。
標本平均と標本分散が独立
確率変数 $X_{1},X_{2},\cdots,X_{n}$ が同一の正規分布に従い、互いに独立であるならば、
標本平均
と
標本分散
は、互いに独立な確率分布に従う。
最尤法
正規分布
$
N(\mu, \hspace{0.5mm}\sigma^{\hspace{1mm}2})
$
を定義するパラメータ $\mu$ と $\sigma^2$ の最尤推定量は、
それぞれ
観測値の平均値と分散である。
すなわち、
ここで
$\{x_{1}^{M}, x_{2}^{M}, \cdots, x_{n}^{M} \}$
は $X$ の観測値
であり、
$
\overline{x} = \frac{1}{n} \sum_{i=1}^{n} x_{i}^{M}
$
である。
カイ二乗分布との関係
確率変数 $X$ が標準正規分布
$
N(0, 1)
$
に従うとき、
によって定義される確率変数 $Y$ は、自由度 $1$ の
カイ二乗分布に従う。
すなわち、
が成り立つ。
正規分布とカイ二乗分布に従う確率変数による $t$ 分布
確率変数 $X$ が
正規分布 $N(0,1)$ に従い、
確率変数 $Y$ が
カイ二乗分布 $\chi^2(n)$ に従うとき、
これらから定義される確率変数 $Z = \frac{X}{\sqrt{Y/n}}$ は、
自由度 $n$ の $t$ 分布に従う。
すなわち、
\begin{eqnarray}
&& X \sim N(0,1), \hspace{2mm} Y \sim \chi^2(n)
\\
\\
&& \Longrightarrow \hspace{1mm}\frac{X}{\sqrt{Y/n}} \sim t(n)
\end{eqnarray}
が成り立つ。