二項分布に対する最尤法
二項分布
を定義するパラメータ $q$ の最尤推定量は、
観測値 $\{x_{1}^{M}, x_{2}^{M}, \cdots, x_{n}^{M} \}$ の平均値の $\frac{1}{m}$ 倍である。
すなわち、
である。
ここで、
$\overline{x} = \frac{1}{n} \sum_{i=1}^{n} x_{i}^{M} $
である。
解説
二項分布のパラメータ推定
母集団の確率分布が二項分布
に従うことは分かっているが、
パラメータ $q$ の値が何であるかは分かっていない。
そういう状態で $n$ 回の観測を行ったところ、
観測値
を得たとする。
この結果を使って、
パラメータ $q$ の値が何であったかを推定したい。
これを二項分布に対する
パラメータ推定という。
二項分布の最尤推定
パラメータ推定には、
様々な方法があるが、
二項分布の
最尤推定では、
尤度と呼ばれる次の関数
が最大になるようにパラメータ推定を行う。
すなわち、
観測結果 $(2)$ から計算される尤度 $L$ が最大になる $q$ を求め、
それを推定値とする。
尤度とは?
観測結果全体が $(2)$ となる確率を
と表すとき、
各観測が
独立に行われたならば、
が成立する。
このように、
尤度は、
観測が独立に試行された場合の確率そのものであるので、
尤度が最大になるときに、
確率 $p(
x_{1}^{M}, \hspace{1mm} x_{2}^{M}, \hspace{1mm}\cdots, \hspace{1mm}x_{n}^{M}
) $
も最大になる。
ゆえに、
尤度を最大にするパラメータ $q$ を求めれば、
観測値全体が $(2)$ となる
確率が最大になる母集団分布が求められる。
最尤推定値の導出
尤度を最大にする $q$ を求める。
尤度 $(3)$ を確率分布 $(1)$ によって表すと、
である。
$L$ が最大になる $q$ は、
$L$ を $q$ で微分して $0$ になる条件
から求められる。
ただし、
最尤法では、
尤度が
を満たすことから、
$\log L$ を $q$ で微分して、
$0$ になる条件
から求められる(これについては、
「
$ f(x)>0$ のとき、 $\log f(x)$ が $x=x_m$ で最大になるならば、
$f(x)$ もまた $x=x_m$ で最大になる」 を参考)。
$(5)$ から尤度の対数は、
と表されるので、
微分が
となることから、
条件 $(6)$ は、
と表される。
この式から
を得る。
ここで、 $\overline{x}$ は 観測値 $(2)$ の
平均値である。
このように条件 $(6)$ から $q$ の値が得られたが、
この値において、
$\log L$ が最大になるかどうかはまだ分からない。
なぜなら、
条件 $(6)$ から得られる結論には、
一般に、
関数が最小になる場合や極小/極大になる場合、
および、
平らになる場合も含まれるからである。
そこで以下では、 $q$ が $(8)$ のときに、
$\log L$ が最大になることを示す。
尤度が最大になること
$(7)$ から $\log L$ の $q$ についての微分は、
であるが、
この関数は、
第一項の $ \frac{x_{1}^{M} + x_{2}^{M} + \cdots + x_{n}^{M}}{q}$ が
$q$ についての単調減少関数であり、
第二項の
$- \frac{mn - (x_{1}^{M} + x_{2}^{M} + \cdots + x_{n}^{M})}{1-q}$
もまた $q$ についての単調減少関数であるので、
単調減少関数である ($ 0 \lt q \lt 1 $ であることに注意)。
また、
$q = \frac{1}{m} \overline{x}$ のときにのみ
$0$ となるので、次のような増減表を持つ関数である。
よって、
$\log L$ は、
$q = \frac{1}{m}\overline{x}$ のときに最大になる。
結論
$\log L$ が
$q = \frac{1}{\overline{x}}$ のときに最大になることから、
$L$ そのものも、このときに最大になる。
言い換えると、
二項分布の尤度 $L$ を 最大にするパラメータ $q$ の値は、
観測値の平均値の逆数である。
すなわち、
である。