正規分布への最尤推定の推定値の求め方

正規分布への最尤推定とは、母集団が正規分布に従うという仮説の下で、標本データをどの正規分布に当てはめるのが一番尤もらしいかを推定する方法です。
平均 $\mu$ 、分散 $\sigma ^ 2$ の正規分布の確率密度関数は、以下で表せます。

$\begin{aligned} \frac{1}{\sqrt{2 \pi \sigma ^ 2}} exp \left( - \frac{(x - \mu) ^ 2}{2 \sigma ^ 2} \right) \end{aligned}$

なので、データが正規分布に従うと仮定した場合やるべきことは、データから最も尤らしい平均値 $\mu ^ *$ と分散 $\sigma ^ {2 *}$ を求めることだけです。すなわちこの二つのパラメータを求めるのが、最尤推定ということになります。数式では、以下のように表せます。

$\begin{aligned} \mu ^ {\\*} = \max _ {\mu} \prod _ {i=1} ^ N p(x _ i) \\ \sigma ^ {2 \\*} = \max _{\sigma ^ 2} \prod _ {i=1} ^ N p(x _ i) \end{aligned}$

上の式は、一番実現確率が高い $p(x)$ をあらわしています。つまり、サンプルの集合 $(x _ 1,...,x _ n)$ に対して、どのような正規分布の時に、 $n$ このサンプルの同時実現確率 $p(X _ 1 = x _ 1,...,X _ n = x _ n)$ が最も大きくなるかというのを考えているわけです。積の形で表さているのは、それぞれの標本が独立であることを暗に仮定しているためです。ちなみにこの最大化する確率の積のことを尤度といいます。そして、尤度の対数をとったものを対数尤度といい、尤度を最大化することと、対数尤度を最大化することは等価であることが知られています。

さて、上の式の解を求めるのにはどうしたらいいでしょうか。正規分布の確率密度関数は、 $\mu$ で2回微分してあげると、定数 $\times ((x-\mu) ^ 2) ^ N \times$ 指数関数の項　となっているので、これは広義の凸関数であることが分かります。また、 $\sigma$ についても2回微分をすると同様のことが言えます。したがって、最大値を与える $\mu,\sigma$ は必ず存在して、しかも、次の関係式が成立します。

$\begin{aligned} \frac{\partial \prod _ i p(x _ i)}{\partial \mu} = 0 \\ \frac{\partial \prod _ i p(x _ i)}{\partial \sigma ^ 2} = 0 \\ \end{aligned}$

これを解くと、最尤推定値は以下のようになることが分かります。

$\begin{aligned} \mu ^ {\\*} = \frac{1}{N} \sum _ {i=1} ^ N x _ i \\ \sigma ^ {2 \\*} = \frac{1}{N} \sum _ {i=1} ^ N (x _ i - \mu) ^ 2 \\ \end{aligned}$

ここからわかるように最尤推定値は標本の平均と分散に一致します。 つまり、標本の平均と分散を求めるという行為は、正規分布（と標本の独立性）を仮定して、母集団分布の平均と分散を求める行為であるといえます。