ベイズの定理とは？～具体例と証明～

準備: 諸定義

$A$ と $B$ を確率変数 (例えばサイコロを振って出た目)とする。簡単のため、$A$ と $B$ の取りうる値は、

であるとする。サイコロの場合には、

である。このとき、同時確率・周辺確率・条件付き確率は以下のように定義される。

同時確率

$A = a_{i}$ と観測され、なおかつ、 $B = b_{j}$ と観測される確率を同時確率 (joint probability) と呼び、

と表す。サイコロの例でいえば、二つのサイコロを振り、一つ目の出た目が "3" で、二つ目の出た目が "5" である確率がこれにあたる。

周辺確率

($B$ の値に依らず) $A = a_{i}$ と観測される確率を、同時確率を用いて、

と定義する。同様に ($A$ の値に依らず) $B = b_{j}$ と観測される確率

と定義する。これらを周辺確率 (marginal probability) とよぶ。
サイコロの例でいえば、二つのサイコロを振り、一つ目の出た目が "3" である確率がこれにあたる。

条件付き確率

$A = a_{i}$ と観測された場合に、 $B = b_{j}$ と観測される確率を 条件付き確率 (conditional probability) といい、同時確率と周辺確率を用いて、

と定義される。ただし、定義されるのは $ \mathrm{Pr}(A=a_{i}) \neq 0$ の場合のみに限る。
同じように、 $A = a_{i}$ と観測された場合に、 $B = b_{j}$ とが観測される条件付き確率は、

と定義される。ただし、定義されるのは $ \mathrm{Pr}(B=b_{j}) \neq 0$ の場合のみに限る。
サイコロの例でいえば、二つのサイコロを振り、一つ目の出た目が "3" である条件の下で、二つ目の出た目が "5" となる確率がこれにあたる。

ベイズの定理 (証明)

$A$ と $B$ を確率変数 (例えばサイコロを振って出た目)とし、 $A$ と $B$ の取りうる値は、

であるとする。また、これらに対する条件付き確率や周辺確率を上記の準備のように表すとする。このとき、

の関係が成り立つ。この関係をベイズの定理 (Bayes' theorem) という。

証明
$B$ を条件とする条件付き確率の定義は、

である。一方、 $A$ を条件とする条件付き確率の定義は、

$$ \tag{1} $$ である。これらより、

が成り立つ (これをベイズの定理ということもある)。加えて、周辺確率の定義により、

であるので、

と表される。ここで再び $(1)$ を用いると、

を得る。

補足
このようにベイズの定理は、同時確率、周辺確率、条件付き確率の定義からストレートに導かれる。ゆえに、取り扱っている現象がベイズの定理の適用対象として妥当であるどうかを考えるときには、その現象に対して同時確率、周辺確率、条件付き確率の定義が妥当であるかどうかを検証する必要がある。

ベイズの定理の例題

ベイズの定理の簡単な例題として、ある渡り鳥の調査を考察する。
ある湖には三つの地域 $a_{1}, a_{2}, a_{3}$ から渡り鳥が飛来する。それぞれの地域から渡ってくる鳥の割合は、 $80$ %, $18$ %, $2$ % であるという。

また、 $a_{1}, a_{2}, a_{3}$ の地域から飛来した渡り鳥が黄色い羽を持つ確率がそれぞれ $1$ %, $0.2$ %, $2$ % であるという。

この湖にいる黄色い羽の渡り鳥がどの地域から飛来したのかをベイズの定理に基づいて推定せよ。

証明
渡り鳥の生息地域を $A$ とすると、$A$ の取りうる値は、

である。それぞれの地域から飛来する鳥の割合は、それぞれ $80$ %, $18$ %, $2$ % であるので、

である。
雛鳥の羽の色を $B$ とする。地域 $a_{1}$, $a_{2}$, $a_{2}$ から飛来した鳥が黄色い羽を持つ確率がそれぞれ $0.01$ %、$0.2$ %、 $2$ % であることから、

である。
これらを用いて、黄色い羽の鳥が発見された場合に、その鳥が地域 $a_{1}$ から飛来したものである確率

をベイズの定理に基づいて求めると、

である。同じように、黄色い羽の鳥が発見された場合に、その鳥が地域 $a_{2}$ から飛来したものである確率は、

最期に、黄色い羽の鳥が発見された場合に、その鳥が地域 $a_{3}$ から飛来したものである確率は、

である。
以上まとめると、その湖で黄色い羽の鳥が発見された場合に、その鳥が地域 $a_{1}, a_{2}, a_{3}$ から飛来したものである確率は、それぞれ $9.52$ %、$42.86$ %、$47.61$ % であると推定される。

ベイズの定理とは？ ～ 具体例と証明 ～