和の分散、非加法性と共分散  

最終更新 2017年 12月5日
  確率変数の和 $X+Y$ の分散は、 それぞれの分散に等しくなく、 共分散の二倍だけことなる。 すなわち、
和の分散
が成立する。

  証明

離散的な場合:
  $X = x_{i}$ かつ $Y=y_{j}$ となる確率を $ \mathrm{Pr}(X=x_{i}, \hspace{1mm} Y=y_{j}) $ と表すと、 $X$ の分散 $V(X)$ と $Y$ の分散 $V(Y)$ は、 それぞれ
である。 ここで、 $n_{x}$ と $n_{y}$ はそれぞれ $X$ と $Y$ の事象の数であり、 $E(X)$ と $E(Y)$ はそれぞれ $X$ と $Y$ の期待値である。
  また、 $X+Y$ の分散は、
である。
  ここで、 $E(X+Y)$ は $X+Y$ の期待値であるが、 一般に期待値には加法性があるので、
が成り立つ。 ゆえに $V(X+Y)$ は、
と三つの項で表される。 第一項は $X$ の分散 $V(X)$ であり、 第二項は $Y$ の分散 $V(Y)$ である。 よって、
と表せる。 ここで共分散 $\mathrm{Cov}(X,Y)$ を
と定義すると、 分散 $V(X+Y)$ は、
と表せる。
  最後の項の共分散 $\mathrm{Cov}(X,Y)$ は、 正の値をとることもあれば、 負の値をとることもある (下の例を参考) 。 このような場合には、 和の分散は分散の和に等しくならない。 すなわち、
である。 このように分散には加法性が成立しない。 この点が期待値とは異なる。
  一方、 共分散がゼロになる場合 (下の例を参考) には、 和の分散が分散の和に等しくなる。 すなわち、
が成り立つ。  
連続的な場合:
  $X = x$ かつ $Y=y$ における確率分布(確率密度関数)を $ p(x,y) $ と表すと、 $X$ の分散 $V(X)$ と $Y$ の分散 $V(Y)$ は、 それぞれ
である。 ここで、 $E(X)$ と $E(Y)$ はそれぞれ $X$ と $Y$ の期待値である。
  また、 $X+Y$ の分散は、
である。
  ここで、 $E(X+Y)$ は $X+Y$ の期待値であるが、 一般に期待値には加法性があるので、
が成り立つ。 ゆえに $V(X+Y)$ は、
と三つの項で表される。 第一項は $X$ の分散 $V(X)$ であり、 第二項は $Y$ の分散 $V(Y)$ である。 よって、
と表せる。 ここで共分散 $\mathrm{Cov}(X,Y)$ を
と定義すると、 分散 $V(X+Y)$ は、
と表せる。
  共分散は正の値をとることもあれば、 負の値をとることもある。 したがって、 一般に分散には加法性が成り立たない。
 
共分散の計算例::
  二枚のコインを投げて、 表が出たときに $1$、 裏が出たときに $-1$ を割り当てるとき、 それぞれのコインのとる値を $X$ と $Y$ とすると、
である。
  もしも全ての事象が均等な確率で現れるならば、 すなわち、
であるならば、 $X$ と $Y$ の期待値がそれぞれ
となるため、 共分散は、
と $0$ になる。
  一方で、 もしもコイン $X$ が表のときに必ずコイン $Y$ も表になり、 $X$ が裏のときに必ずコイン $Y$ も裏になるならば、 すなわち、 確率分布が
であるならば、 $X$ と $Y$ の期待値がそれぞれ
となるため、 共分散は、
と正の値になる。
  またその一方で、 もしもコイン $X$ が表のときに必ずコイン $Y$ が裏になり、 $X$ が裏のときには必ずコイン $Y$ が表になるならば、 すなわち、 確率分布が
であるならば、 $X$ と $Y$ の期待値がそれぞれ
となるため、 共分散は、
と負の値になる。
  このように共分散は $0$ になることもあれば、 正の値になることもあり、 負の値になることもある。
  上で証明したように、 正や負の値をとる場合には、 分散には加法性が成立しない。