和の分散、非加法性と共分散
確率変数の和 $X+Y$ の分散は、
それぞれの分散に等しくなく、
共分散の二倍だけことなる。
すなわち、
が成立する。
証明
離散的な場合:
$X = x_{i}$ かつ $Y=y_{j}$ となる確率を
$
\mathrm{Pr}(X=x_{i}, \hspace{1mm} Y=y_{j})
$
と表すと、
$X$ の分散 $V(X)$ と $Y$ の分散 $V(Y)$ は、
それぞれ
である。
ここで、
$n_{x}$ と $n_{y}$ はそれぞれ $X$ と $Y$ の事象の数であり、
$E(X)$ と $E(Y)$ はそれぞれ $X$ と $Y$ の期待値である。
また、
$X+Y$ の分散は、
である。
ここで、
$E(X+Y)$ は $X+Y$ の期待値であるが、
一般に
期待値には加法性があるので、
が成り立つ。
ゆえに $V(X+Y)$ は、
と三つの項で表される。
第一項は $X$ の分散 $V(X)$ であり、
第二項は $Y$ の分散 $V(Y)$ である。
よって、
と表せる。
ここで共分散 $\mathrm{Cov}(X,Y)$ を
と定義すると、
分散 $V(X+Y)$ は、
と表せる。
最後の項の共分散 $\mathrm{Cov}(X,Y)$ は、
正の値をとることもあれば、
負の値をとることもある (
下の例を参考) 。
このような場合には、
和の分散は分散の和に等しくならない。
すなわち、
である。
このように分散には加法性が成立しない。
この点が期待値とは異なる。
一方、
共分散がゼロになる場合 (
下の例を参考) には、
和の分散が分散の和に等しくなる。
すなわち、
が成り立つ。
連続的な場合:
$X = x$ かつ $Y=y$ における確率分布(確率密度関数)を
$
p(x,y)
$
と表すと、
$X$ の分散 $V(X)$ と $Y$ の分散 $V(Y)$ は、
それぞれ
である。
ここで、
$E(X)$ と $E(Y)$ はそれぞれ $X$ と $Y$ の期待値である。
また、
$X+Y$ の分散は、
である。
ここで、
$E(X+Y)$ は $X+Y$ の期待値であるが、
一般に
期待値には加法性があるので、
が成り立つ。
ゆえに $V(X+Y)$ は、
と三つの項で表される。
第一項は $X$ の分散 $V(X)$ であり、
第二項は $Y$ の分散 $V(Y)$ である。
よって、
と表せる。
ここで共分散 $\mathrm{Cov}(X,Y)$ を
と定義すると、
分散 $V(X+Y)$ は、
と表せる。
共分散は正の値をとることもあれば、
負の値をとることもある。
したがって、
一般に分散には加法性が成り立たない。
共分散の計算例::
二枚のコインを投げて、
表が出たときに $1$、
裏が出たときに $-1$ を割り当てるとき、
それぞれのコインのとる値を $X$ と $Y$ とすると、
である。
もしも全ての事象が均等な確率で現れるならば、
すなわち、
であるならば、
$X$ と $Y$ の期待値がそれぞれ
となるため、
共分散は、
と $0$ になる。
一方で、
もしもコイン $X$ が表のときに必ずコイン $Y$ も表になり、
$X$ が裏のときに必ずコイン $Y$ も裏になるならば、
すなわち、
確率分布が
であるならば、
$X$ と $Y$ の期待値がそれぞれ
となるため、
共分散は、
と正の値になる。
またその一方で、
もしもコイン $X$ が表のときに必ずコイン $Y$ が裏になり、
$X$ が裏のときには必ずコイン $Y$ が表になるならば、
すなわち、
確率分布が
であるならば、
$X$ と $Y$ の期待値がそれぞれ
となるため、
共分散は、
と負の値になる。
このように共分散は $0$ になることもあれば、
正の値になることもあり、
負の値になることもある。
上で証明したように、
正や負の値をとる場合には、
分散には加法性が成立しない。