幾何分布に対する最尤法

最終更新 2018年 3月25日
  幾何分布
幾何分布の最尤推定00
を定義するパラメータ $q$ の最尤推定量は、 観測値 $\{x_{1}^{M}, x_{2}^{M}, \cdots, x_{n}^{M} \}$ の平均値の逆数である。 すなわち、
幾何分布の最尤推定01
である。 ここで、 $\overline{x} = \frac{1}{n} \sum_{i=1}^{n} x_{i}^{M} $ である。

  解説

  幾何分布のパラメータ推定
  母集団の確率分布が幾何分布
に従うことは分かっているが、 パラメータ $q$ の値が何であるかは分かっていない。 そういう状態で $n$ 回の観測を行ったところ、 観測値
を得たとする。
  この結果を使って、 パラメータ $q$ の値が何であったかを推定したい。 これを幾何分布に対するパラメータ推定という。


幾何分布の最尤推定
  パラメータ推定には、 様々な方法があるが、 幾何分布の最尤推定では、 尤度と呼ばれる次の関数
幾何分布の最尤推定04
が最大になるようにパラメータ推定を行う。 すなわち、 観測結果 $(2)$ から計算される尤度 $L$ が最大になる $q$ を求め、 それを推定値とする。


尤度とは?
  尤度と確率の関係をここで述べる。
  観測結果全体が $(2)$ となる確率を
幾何分布の最尤推定05
と表すとき、 各観測が独立に行われたならば、
幾何分布の最尤推定06
が成立する。
  このように、 尤度は、 観測が独立に試行された場合の確率そのものであるので、 尤度が最大になるときに、 確率 $p( x_{1}^{M}, \hspace{1mm} x_{2}^{M}, \hspace{1mm}\cdots, \hspace{1mm}x_{n}^{M} ) $ も最大になる。
  ゆえに、 尤度を最大にするパラメータ $q$ を求めれば、 観測値全体が $(2)$ となる確率が最大になる母集団分布が求められる。


最尤推定値の導出
  尤度を最大にする $q$ を求める。
  尤度 $(3)$ を確率分布 $(1)$ によって表すと、
幾何分布の最尤推定07
である。
  $L$ が最大になる $q$ は、 $L$ を $q$ で微分して $0$ になる条件
幾何分布の最尤推定08
から求められる。 ただし、 最尤法では、 尤度が
幾何分布の最尤推定09
を満たすことから、 $\log L$ を $q$ で微分して、 $0$ になる条件
幾何分布の最尤推定10
から求められる(これについては、 「$ f(x)>0$ のとき、 $\log f(x)$ が $x=x_m$ で最大になるならば、 $f(x)$ もまた $x=x_m$ で最大になる」 を参考)。
  $(5)$ から尤度の対数は、
幾何分布の最尤推定11
と表されるので、 微分が
幾何分布の最尤推定12
となることから、 条件 $(6)$ は、
幾何分布の最尤推定13
と表される。
  この式から
幾何分布の最尤推定14
を得る。 ここで、 $\overline{x}$ は 観測値 $(2)$ の平均値である。
  このように条件 $(6)$ から $q$ の値が得られたが、 この値において、 $\log L$ が最大になるかどうかはまだ分からない。 なぜなら、 条件 $(6)$ から得られる結論には、 一般に、 関数が最小になる場合や極小/極大になる場合、 および、 平らになる場合も含まれるからである。
  そこで以下では、 $q$ が $(8)$ のときに、 $\log L$ が最大になることを示す。


尤度が最大になること
  $(7)$ から $\log L$ の $q$ についての微分は、
幾何分布の最尤推定15
であるが、 この関数は、 第一項の $ \frac{n}{q}$ が $q$ についての単調減少関数であり、 第二項の $- \frac{(x_{1}^{M} + x_{2}^{M} + \cdots + x_{n}^{M})-n}{1-q}$ もまた $q$ についての単調減少関数であるので、 単調減少関数である ($ 0 < q < 1 $ であることに注意)。 また、 $q = \frac{1}{\overline{x}}$ のときにのみ $0$ となるので、次のような増減表を持つ関数である。
幾何分布の最尤推定16
よって、 $\log L$ は、 $q = \frac{1}{\overline{x}}$ のときに最大になる。


結論
  $\log L$ が $q = \frac{1}{\overline{x}}$ のときに最大になることから、 $L$ そのものも、このときに最大になる。 言い換えると、 幾何分布の尤度 $L$ を 最大にするパラメータ $q$ の値は、 観測値の平均値の逆数である。 すなわち、
幾何分布の最尤推定17
である。