正規分布の基本的な性質

定義
  正規分布とは、確率密度関数 $p(x)$ が
正規分布
によって表される分布である。
  確率変数 $X$ が正規分布に従うことを
正規分布の記号
と表す。
正規分布の図
図は、$\mu=10$、$\sigma^2=4$ の正規分布 $N(10,4)$ である。
期待値
  正規分布 $ X \sim N(\mu, \sigma^2) $ に従う確率変数 $X$ の期待値 $E(X)$ は、
正規分布の期待値
である。
分散と標準偏差
 正規分布 $ N(\mu, \sigma^2) $ に従う確率変数 $X$ の分散 $V(X)$ は、
正規分布の分散
である。 標準偏差 $S(X)$ は、 $$ S(X) = \sqrt{V(X)}=\sigma $$ である。
標準正規分布
  確率変数 $X$ が正規分布 $ N(\mu, \sigma^2) $ に従い、 確率変数 $Y$ を
と定義する。 このとき、$Y$ は正規分布 $ N(0, 1) $ に従う。 すなわち、
標準正規分布
が成り立つ。 $N(0,1)$ を標準正規分布という。

証明
    確率変数 $X$ が期待値が $\mu$ で分散が $\sigma^2$ の正規分布に従い、 すなわち、
$$ \tag{1} $$ であり、 確率変数 $Y$ を
$$ \tag{2} $$ と定義する。
  $Y$ の確率密度関数を $P_{Y} (y)$ と表すと、 $Y$ が区間 $a \leq Y \leq b$ の間に観測される確率 $\mathrm{Pr} (a \leq Y \leq b) $ は、
$$ \tag{3} $$ である。 一方で、$(2)$ より、
であるので、
$$ \tag{4} $$ が成り立つ。 ここで $P_{X}(x)$ は $X$ の確率密度関数であり、 $(1)$ より、
である。 これと $(3)$ と $(4)$ より、
と表せる。
  右辺の積分に対し、 $y=\frac{x-\mu}{\sigma}$ と置くと、
であるので、
となる。 両辺を $b$ で微分し、$b=y$ と置くことにより、
を得る。 右辺は、標準正規分布の確率密度関数である。
  以上から、
が成り立つ。

和に関する再生性
  確率変数 $X$ と $Y$ がそれぞれ
と正規分布に従う確率変数であるとき、 $X$ と $Y$ が独立であるならば、 確率変数の和 $X+Y$ は、 期待値 $\mu_{1}+ \mu_{2}$、分散 $\sigma_{1}^{2} + \sigma_{2}^{2}$ の正規分布に従う。 すなわち、
正規分布の和に関する再生性
である。
定数倍に関する再生性
  確率変数 $X$ が正規分布 $ N(\mu, \hspace{0.5mm}\sigma^{\hspace{1mm}2}) $ に従うとき、 $X$ の定数倍 $cX$ は、 期待値が $c\mu$、 分散が $c^{2} \sigma^2$ の正規分布に従う。 すなわち、
正規分布の定数倍に関する再生性
が成り立つ。 ただし $c > 0$ とする。

証明
  確率変数 $X$ が期待値が $\mu$ で分散が $\sigma^2$ の正規分布に従うとする。 すなわち、
$$ \tag{1} $$ また 確率変数 $Y$ を
$$ \tag{2} $$ と定義する。ここで $c > 0$ とする。
  $Y$ の確率密度関数を $P_{Y} (y)$ と表すと、 $Y$ が区間 $a \leq Y \leq b$ の間に観測される確率 $\mathrm{Pr} (a \leq Y \leq b) $ は、
$$ \tag{3} $$ である。 一方で、$(2)$ より、
であるので、
$$ \tag{4} $$ が成り立つ。 ここで $P_{X}(x)$ は $X$ の確率密度関数であり、 $(1)$ より、
である。 これと $(3)$ $(4)$ より、
と表せる。
  右辺の第一項の積分に対し、 $u = cx$ と置くと、
であるので、
となる。両辺を $b$ で微分し、$b=y$ と置くことにより、
を得る。 右辺は、期待値が $c \mu$ で分散が $c^2 \sigma^2$ の正規分布の確率密度関数である。 以上から、
が成り立つ。

標本平均の正規分布
  正規分布 $N(\mu, \sigma^2)$ に従い、互いに独立な確率変数 $X_{i}$ $(i=0,1,\cdots ,n)$ の 標本平均は 正規分布 $N \big( \mu,\hspace{0.5mm} \frac{1}{n}\sigma^2 \big)$ に従う。 すなわち、 \begin{eqnarray} &&X_{i} \sim N (\mu, \sigma^2) \\ && \Longrightarrow \hspace{1mm} \overline{X} \sim N \Big( \mu,\hspace{0.5mm} \frac{1}{n}\sigma^2 \Big) \end{eqnarray} が成り立つ。

証明
  和に関する再生性を用いると、 \begin{eqnarray} \sum_{i=1}X_{i} &=& X_{1} + X_{2} + \cdots + X_{n} \\ &\sim& N(n\mu,\hspace{0.5mm} n\sigma^2) \end{eqnarray} であるので、 定数倍に関する再生性を用いると、 \begin{eqnarray} \overline{X} &=& \frac{1}{n}\sum_{i=1}X_{i} \\ &\sim& N \Big( \frac{1}{n}(n\mu),\hspace{0.5mm} (\frac{1}{n})^2 (n\sigma^2 ) \Big) \\ &=& N \Big( \mu,\hspace{0.5mm} \frac{1}{n}\sigma^2 \Big) \end{eqnarray} である。 すなわち、 標本平均 $\overline{X}$ は正規分布 $N \big( \mu,\hspace{0.5mm} \frac{1}{n}\sigma^2 \big)$ に従う。

標本平均と標本分散が独立
  確率変数 $X_{1},X_{2},\cdots,X_{n}$ が同一の正規分布に従い、互いに独立であるならば、 標本平均
標本平均
標本分散
標本分散
は、互いに独立な確率分布に従う。
最尤法
  正規分布 $ N(\mu, \hspace{0.5mm}\sigma^{\hspace{1mm}2}) $ を定義するパラメータ $\mu$ と $\sigma^2$ の最尤推定量は、 それぞれ 観測値の平均値と分散である。 すなわち、
正規分布に対する最尤法
ここで $\{x_{1}^{M}, x_{2}^{M}, \cdots, x_{n}^{M} \}$ は $X$ の観測値 であり、 $ \overline{x} = \frac{1}{n} \sum_{i=1}^{n} x_{i}^{M} $ である。
カイ二乗分布との関係
  確率変数 $X$ が標準正規分布 $ N(0, 1) $ に従うとき、
によって定義される確率変数 $Y$ は、自由度 $1$ のカイ二乗分布に従う。 すなわち、
標本正規分布に従う確率変数の二乗はカイ二乗分布
が成り立つ。
正規分布とカイ二乗分布に従う確率変数による $t$ 分布
  確率変数 $X$ が正規分布 $N(0,1)$ に従い、 確率変数 $Y$ がカイ二乗分布 $\chi^2(n)$ に従うとき、 これらから定義される確率変数 $Z = \frac{X}{\sqrt{Y/n}}$ は、 自由度 $n$ の $t$ 分布に従う。 すなわち、 \begin{eqnarray} && X \sim N(0,1), \hspace{2mm} Y \sim \chi^2(n) \\ \\ && \Longrightarrow \hspace{1mm}\frac{X}{\sqrt{Y/n}} \sim t(n) \end{eqnarray} が成り立つ。