確率の独立性
定義
確率の独立性を一般的に表す。
ある観測を行って得た結果 (事象) を $A$ と表し、 $A$ が起こる確率を
この定義を抽象的で分かりづらいと感じる場合には、 下の確率変数の独立性の定義の方が分かり易いので、 そちらを独立性の定義として覚えておくとよい。 そうしておくことで多くの場合には不都合は起こらない。
確率変数の独立性
離散型の場合
確率変数 $X$ と確率変数 $Y$ がそれぞれ
このとき、 事象 $A_{i}$ と事象 $B_{j}$ が独立であるならば、
通常、確率変数の独立性 $(3)$ は $(1)$ と $(2)$ を用いて
連続型の場合
離散型の場合と同じように、
確率変数 $X$ と $Y$ に対する同時確率密度関数 $p(x,y)$ が
$X$ の確率密度関数 $p_{X}(x)$
と $Y$ の確率密度関数 $p_{Y}(y)$ の積に等しいとき、
すなわち、
具体例 (独立なコインとサイコロ)
コインとサイコロが一つずつある。
同じように変数 $Y$ にサイコロの目を割り当てる。 コインを投げて、 $Y=y$ となる確率を
このようなコインとサイコロの両方を投げて、 $X=x$ となり、 なおかつ、 $Y=y$ となる確率 (同時確率) を
これを用いると、個々の確率から同時確率が求められる。 たとえば、 コインの形に歪みがないとすると、
独立でない例についてはこちらの「積の期待値の例」を参考。
独立 = 物理的に無関係
独立性が成り立つ例を考える。
コインとサイコロが十分に遠く離れた所に一つずつある。 十分に遠く離れているので、 両者の間には物理的な影響が及ぼし合うことがない。 また、 過去にも両者が物理的な影響を及ぼし合ったことがないものとする。
さて、 コインとサイコロの間に物理的な影響がないので、 サイコロの結果はコインの結果に影響を与えない。 したがって、$X=+1$ かつ $Y=y$ となる確率 (同時確率) と、 $X=+1$ かつ $Y=y'$ $(y \neq y')$ となる確率は等しい。 すなわち、
このように、物理的に関係性のない二つの結果は独立になる (より正確には、このような議論は物理理論の定義と公理から案件である)。
積の期待値
$X$ と $Y$ が独立な確率変数であるとき、積 $XY$ の期待値は、
それぞれの期待値の積に等しい。すなわち、
証明
の値 (観測値) をとるとする。
$X=x_{i}$ かつ $Y=y_{j}$ と観測される同時確率を
と表すとき、積 $XY$ の期待値 $E(XY)$ は、
である。
確率変数 $X$ と $Y$ が独立であるとすると、
が成り立つ。
ここで、$\mathrm{Pr} (X=x_{i})$ は
$X=x_{i}$ と観測される確率 (周辺確率) であり、
$\mathrm{Pr} (Y=y_{i})$ は、$Y=y_{i}$ と観測される確率 (周辺確率) である。
したがって、$X$ と $Y$ が独立であるならば、
積の期待値は
と表される。
$X$ と $Y$ の期待値がそれぞれ
であるので、
を得る。
を満たすならば、
確率変数 $X$ と $Y$ が独立であるという。
このとき、積 $XY$ の期待値 $E(XY)$ は、
と表される。右辺の括弧内は、それぞれ $X$ と $Y$ の期待値である。すなわち、
であるので、
が成立する。
離散型の場合
確率変数 $X$ と確率変数 $Y$ がそれぞれ
連続型の場合
確率変数 $X$ と $Y$ の確率密度関数をそれぞれ $p_{X}(x)$、$p_{Y}(y)$ と表し、
同時確率密度関数を $p(x,y)$ と表すとき、
これらが
このとき、積 $XY$ の期待値 $E(XY)$ は、
具体例1 (独立なコインと独立でないコイン)
二枚のコインが互いに
- 独立な場合
- 独立でない場合
解説
一つのコインを投げて表が出たときに $X=+1$ を割り当て、裏が出た場合に、$X=-1$ を割り当てる。
コインに歪みが無いため、
であるので、このコインを投げたときの期待値は、
$$
\tag{1}
$$
である。
同じように、
他方のコインを投げて表が出たときに $Y=+1$ を割り当て、
裏が出た場合に、$Y=-1$ を割り当てると、
コインに歪みが無いため、
であるので、
このコインを投げたときの期待値は、
$$
\tag{2}
$$
である。
二枚のコインが 互いに独立であるとするならば、
同時確率は
である。
このとき、積 $XY$ の期待値は、
$$
\tag{3}
$$
である。
以上の $(1)(2)(3)$ から
が成り立つ。
すなわち、独立な二枚のコインの確率変数の積の期待値は、
個々のコインの確率変数の期待値の積に等しい。
その結果、
片方がが表のときに
他方が必ず表になり、
裏のときには
他方が必ず裏になるとする。
このような場合、
片方が表のときに
他方が裏になる確率は
$0$ であり、
片方が裏のときに
他方が表になる確率は
$0$ であるので、
である。また、
双方が表になる確率と双方が裏になる確率が等しいとすると、
である。確率の総和が $1$ であるため、このようになる。
片方のコインが表である確率と裏である確率 (周辺確率) は、 それぞれ
であり、
同じように他方では
である。
これより $X$ と $Y$ の期待値はそれぞれ
と求まる。
一方、 積 $XY$ の期待値は、
である。
したがって、
である。
このように
$X$ と $Y$ が独立でない場合には、
確率変数の積の期待値がそれぞれの確率変数の期待値の積に等しくはならない。
独立な場合
歪みのない独立した二枚のコインを取り上げる。
このとき、積 $XY$ の期待値は、
独立でない場合
上と同じように、二枚のコインがあり、
コインの表が出たときに $+1$ を割り当て、
裏が出た場合に
$-1$ を割り当てる。
ただし、
双方のコインは頑丈に結ばれているとする。
片方のコインが表である確率と裏である確率 (周辺確率) は、 それぞれ
一方、 積 $XY$ の期待値は、
和の分散
互いに独立な確率変数 $X$ と $Y$ の和 $X+Y$ の分散は、
それぞれの分散の和に等しい。
すなわち、
証明
一般に分散は確率変数と期待値の差の二乗の期待値であるので、 $X+Y$ の分散は、
と表される。
またこれは
期待値の加法性と定数倍の期待値の性質により、
と表せる。
ここで最後の結果の第一項と第二項はそれぞれ $V(X)$ と $V(Y)$ の分散である。
すなわち、
である。また第三項は共分散と呼ばれ、
と表すことにすると、
である。
ここで、
$X$ と $Y$ 独立な場合には、積 $XY$ の期待値に対して、
が成り立つので、
再び期待値の加法性と定数倍の期待値の性質を用いると、
共分散が
のように $0$ であることが分かる。ここで $E(1) = 1$ を用いた
($E(1)$ は確率の総和に等しいので $1$ になる)。
ゆえに、
が成り立つ。
一般に分散は確率変数と期待値の差の二乗の期待値であるので、 $X+Y$ の分散は、