最尤推定

母集団分布の形が分かっているがその母数が未知であるときに，

個の標本値 $x_{1},x_{2},\ldots,x_{n}$ を母集団分布に従う確率変数 $X_{1},X_{2},\ldots,X_{n}$ がとることは最も起こりやすい(maximum likelihood)という条件を用いてその母数を決めようとするものである．

例題 3..4

ポワソン母集団から大きさ3の独立な標本を無作為に抽出したとき，その値が $x_{1},x_{2},x_{3}$ であったとする．この標本値から母平均 $\mu$ を推定しよう．

解標本値 $x_{1},x_{2},x_{3}$ は，母集団と同じポワソン分布に従い，かつ互いに独立な確率変数 $X_{1},X_{2},X_{3}$ たとった値だと考えられる．そのような値をとる確率 $P(X_{1} = x_{1}, X_{2} = x_{2}, X_{3} = x_{3})$ を $L$ とすると， $X_{1},X_{2},X_{3}$ は独立より，

$\displaystyle L = P(X_{1} = 1)P(X_{2} = x_{2})P(X_{3} = x_{3}) = e^{-\mu}\frac{... ...}}}{x_{3}!} = e^{-3\mu}\frac{\mu^{x_{1} + x_{2} + x_{3}}}{x_{1}! x_{2}! x_{3}!}$

となる．ここで，この確率が最も起こりやすい $\mu$ を求める．つまり， $L$

が最大となるような $\mu$ を求める． $x_{1},x_{2},x_{3}$ は標本値として既知であるから， $\mu$ の関数としての $L = L(\mu)$ は，

$\displaystyle \frac{dL}{d\mu} = 0$

のときに最大となる．したがって，

$\displaystyle \frac{dL}{d\mu}$	$\displaystyle =$	$\displaystyle -3e^{-3\mu}\frac{\mu^{x_{1} + x_{2} + x_{3}}}{x_{1}! x_{2}! x_{3}... ...} + x_{3})e^{-3\mu}\frac{\mu^{x_{1} + x_{2} + x_{3} - 1}}{x_{1}! x_{2}! x_{3}!}$
	$\displaystyle =$	$\displaystyle -3L + \mu^{-1}(x_{1} + x_{2} + x_{3})L = \frac{L}{\mu}(-3\mu + x_{1} + x_{2} + x_{3}) = 0$

より，

$\displaystyle \mu = \frac{1}{3}(x_{1} + x_{2} + x_{3})$

が母平均の推定値である．

このようにして得られた推定量を最尤推定量といい，推定値を得るために考えた関数 $L$ を尤度関数といいます．

例題 3..5

$N(\mu,\sigma^2)$ に従う正規母集団から，大きさ

の独立な標本を無作為抽出したところ，その標本値が $x_{1},x_{2},\ldots,x_{n}$ であった．母分散 $\sigma^2$ が既知のときの母平均 $\mu$ の最尤推定量を求めよ．

解 $N(\mu,\sigma^2)$ の確率密度は

$\displaystyle f(x) = \frac{1}{\sqrt{2\pi}\sigma}{\rm exp}\{-\frac{(x-\mu)^2}{2\sigma^2}\}$

である．

個の標本は互いに独立なので

$\displaystyle L = P(X_{1} = x_{1}) \cdots P(X_{n} = x_{n}) = \left(\frac{1}{\sq... ...\{-\frac{(x_{1} -\mu)^2 + \cdots + (x_{n} - \mu)^2}{2\sigma^2} \right\}\right)$

ここで， $x_{1},x_{2},\ldots,x_{n},\sigma^2$ は既知だから，

$\displaystyle \frac{dL}{d\mu}$	$\displaystyle =$	$\displaystyle -\frac{1}{2\sigma^2}\{2(\mu - x_{1}) + 2(x_{2} - \mu) + \cdots + 2(\mu - x_{2})\}L$
	$\displaystyle =$	$\displaystyle -\frac{1}{\sigma^2}\{n\mu - (x_{1} + x_{2} + \cdots + x_{n})\}L = 0$

したがって，

$\displaystyle \mu = \frac{1}{n}(x_{1} + x_{2} + \cdots + x_{n}) = \bar{x}$

が最尤推定量となる．

統計学演習問題 5

1. 次のデータの不偏分散を求めよう．また，標準偏差を求めよう．

$\displaystyle 110, 121, 133, 124, 126, 118, 112, 125, 131, 120 {\rm (cm)}$