確率の独立性

 
定義
  確率の独立性を一般的に表す。
  ある観測を行って得た結果 (事象) を $A$ と表し、 $A$ が起こる確率を
と表すことにする。 同じように事象 $B$ が起こる確率を
と表すことにする。また、$A$ が起こり、なおかつ、$B$ も起こる確率 ($A$ と $B$ の積事象の確率) を
と表す。
確率の独立性
このとき、積事象の確率が各々の事象の確率の積で表せるときに、 すなわち、
が成り立つならば、 事象 $A$ と $B$ が独立であるという。
  この定義を抽象的で分かりづらいと感じる場合には、 下の確率変数の独立性の定義の方が分かり易いので、 そちらを独立性の定義として覚えておくとよい。 そうしておくことで多くの場合には不都合は起こらない。
確率変数の独立性
離散型の場合
  確率変数 $X$ と確率変数 $Y$ がそれぞれ
の値 (観測値) をとるとする。 また、$X$ の観測結果が $x_{i}$ であるという事象を
$$ \tag{1} $$ と表し、 $Y$ の観測結果が $y_{j}$ であるという事象を
$$ \tag{2} $$ と表すことにする。
  このとき、 事象 $A_{i}$ と事象 $B_{j}$ が独立であるならば、
$$ \tag{3} $$ が成り立つ。 この関係が 任意の $i, j$ に対して (すなわち任意の観測結果に対して) 成り立つとき、 確率変数 $X$ と $Y$ が独立であるという。
  通常、確率変数の独立性 $(3)$ は $(1)$ と $(2)$ を用いて
と表される。ここで左辺は $X=x_{i}$ と観測され、なおかつ $Y=y_{i}$ と観測される確率 ($A_{i} \cap B_{j}$ となる確率) であり、同時確率と呼ばれる。
連続型の場合
  離散型の場合と同じように、 確率変数 $X$ と $Y$ に対する同時確率密度関数 $p(x,y)$ が $X$ の確率密度関数 $p_{X}(x)$ と $Y$ の確率密度関数 $p_{Y}(y)$ の積に等しいとき、 すなわち、
が成り立つとき、、 確率変数 $X$ と $Y$ が独立であるという。
具体例 (独立なコインとサイコロ)
  コインとサイコロが一つずつある。
  コインを投げて表の場合には変数 $X$ に $X=+1$ を割り当てる。 裏の場合には $X=-1$ を割り当てる。 サイコロを投げて、 $X=x$ となる確率を
と表す。
  同じように変数 $Y$ にサイコロの目を割り当てる。 コインを投げて、 $Y=y$ となる確率を
と表す。
  このようなコインとサイコロの両方を投げて、 $X=x$ となり、 なおかつ、 $Y=y$ となる確率 (同時確率) を
と表す。 このとき、コインとサイコロが独立であるならば、
が成り立つ。
  これを用いると、個々の確率から同時確率が求められる。 たとえば、 コインの形に歪みがないとすると、
であり、なおかつ、 サイコロの形に歪みがないならば、それぞれの値になる確率は、
である。 これより、例えばコインが表を向き、なおかつ、サイコロの目が $3$ となる同時確率は、
と求まる。
独立でない例についてはこちらの「積の期待値の例」を参考。
独立 = 物理的に無関係
  独立性が成り立つ例を考える。
  コインとサイコロが十分に遠く離れた所に一つずつある。 十分に遠く離れているので、 両者の間には物理的な影響が及ぼし合うことがない。 また、 過去にも両者が物理的な影響を及ぼし合ったことがないものとする。
  コインを投げて表の場合には変数 $X$ に $X=+1$ を割り当てる。 裏の場合には $X=-1$ を割り当てる。 コインの形に歪みがないならば、それぞれの値になる確率は、
$$ \tag{1} $$ である。 同じようにサイコロには変数 $Y$ にサイコロの目を割り当てる。 すなわち、 $Y=1,2,3,4,5,6$ を割り当てる。 サイコロの形に歪みがないならば、それぞれの値になる確率は、
$$ \tag{2} $$ である。
  さて、 コインとサイコロの間に物理的な影響がないので、 サイコロの結果はコインの結果に影響を与えない。 したがって、$X=+1$ かつ $Y=y$ となる確率 (同時確率) と、 $X=+1$ かつ $Y=y'$ $(y \neq y')$ となる確率は等しい。 すなわち、
が成り立つ。このことから、
$$ \tag{3} $$ と置くと、 $X=+1$ となる確率 (周辺確率) は、
と表せる。これと $(1)(3)$ から
である。 同じように考えると、
を得る。 これらと $(1)(2)$ から
が成り立つ。 したがって、 $X$ の結果と $Y$ の結果は独立である。
  このように、物理的に関係性のない二つの結果は独立になる (より正確には、このような議論は物理理論の定義と公理から案件である)。
積の期待値
  $X$ と $Y$ が独立な確率変数であるとき、積 $XY$ の期待値は、 それぞれの期待値の積に等しい。すなわち、
積の期待値
が成立する。
証明
離散型の場合
  確率変数 $X$ と確率変数 $Y$ がそれぞれ
の値 (観測値) をとるとする。 $X=x_{i}$ かつ $Y=y_{j}$ と観測される同時確率を
と表すとき、積 $XY$ の期待値 $E(XY)$ は、
である。 確率変数 $X$ と $Y$ が独立であるとすると、
が成り立つ。 ここで、$\mathrm{Pr} (X=x_{i})$ は $X=x_{i}$ と観測される確率 (周辺確率) であり、 $\mathrm{Pr} (Y=y_{i})$ は、$Y=y_{i}$ と観測される確率 (周辺確率) である。 したがって、$X$ と $Y$ が独立であるならば、 積の期待値は
と表される。 $X$ と $Y$ の期待値がそれぞれ
であるので、
を得る。
連続型の場合
  確率変数 $X$ と $Y$ の確率密度関数をそれぞれ $p_{X}(x)$、$p_{Y}(y)$ と表し、 同時確率密度関数を $p(x,y)$ と表すとき、 これらが
を満たすならば、 確率変数 $X$ と $Y$ が独立であるという。
  このとき、積 $XY$ の期待値 $E(XY)$ は、
と表される。右辺の括弧内は、それぞれ $X$ と $Y$ の期待値である。すなわち、
であるので、
が成立する。
具体例1 (独立なコインと独立でないコイン)
  二枚のコインが互いに
  • 独立な場合
  • 独立でない場合
の両方の場合に確率変数の積の期待値を計算し、 独立な場合には積にの期待値に等しいことを確認する。
解説
独立な場合
  歪みのない独立した二枚のコインを取り上げる。
  一つのコインを投げて表が出たときに $X=+1$ を割り当て、裏が出た場合に、$X=-1$ を割り当てる。 コインに歪みが無いため、
であるので、このコインを投げたときの期待値は、
$$ \tag{1} $$ である。 同じように、 他方のコインを投げて表が出たときに $Y=+1$ を割り当て、 裏が出た場合に、$Y=-1$ を割り当てると、 コインに歪みが無いため、
であるので、 このコインを投げたときの期待値は、
$$ \tag{2} $$ である。 二枚のコインが 互いに独立であるとするならば、 同時確率は
である。
  このとき、積 $XY$ の期待値は、
$$ \tag{3} $$ である。 以上の $(1)(2)(3)$ から
が成り立つ。 すなわち、独立な二枚のコインの確率変数の積の期待値は、 個々のコインの確率変数の期待値の積に等しい。
独立でない場合
  上と同じように、二枚のコインがあり、 コインの表が出たときに $+1$ を割り当て、 裏が出た場合に $-1$ を割り当てる。 ただし、 双方のコインは頑丈に結ばれているとする。
その結果、 片方がが表のときに 他方が必ず表になり、 裏のときには 他方が必ず裏になるとする。 このような場合、 片方が表のときに 他方が裏になる確率は $0$ であり、 片方が裏のときに 他方が表になる確率は $0$ であるので、
である。また、 双方が表になる確率と双方が裏になる確率が等しいとすると、
である。確率の総和が $1$ であるため、このようになる。
  片方のコインが表である確率と裏である確率 (周辺確率) は、 それぞれ
であり、 同じように他方では
である。 これより $X$ と $Y$ の期待値はそれぞれ
と求まる。
  一方、 積 $XY$ の期待値は、
である。 したがって、
である。 このように $X$ と $Y$ が独立でない場合には、 確率変数の積の期待値がそれぞれの確率変数の期待値の積に等しくはならない。
和の分散
  互いに独立な確率変数 $X$ と $Y$ の和 $X+Y$ の分散は、 それぞれの分散の和に等しい。 すなわち、
独立な場合の和の分散
が成立する。
証明
  一般に分散は確率変数と期待値の差の二乗の期待値であるので、 $X+Y$ の分散は、
と表される。 またこれは 期待値の加法性定数倍の期待値の性質により、
と表せる。 ここで最後の結果の第一項と第二項はそれぞれ $V(X)$ と $V(Y)$ の分散である。 すなわち、
である。また第三項は共分散と呼ばれ、
と表すことにすると、
である。 ここで、 $X$ と $Y$ 独立な場合には、積 $XY$ の期待値に対して、
が成り立つので、 再び期待値の加法性定数倍の期待値の性質を用いると、 共分散が
のように $0$ であることが分かる。ここで $E(1) = 1$ を用いた ($E(1)$ は確率の総和に等しいので $1$ になる)。 ゆえに、
が成り立つ。