代表的な分布関数

尤度の分布関数

正規分布

\[f(x\mid\mu,\sigma^2) = \frac{1}{\sqrt{2\pi}\sigma}\exp\left(-\frac{(x - \mu)^2}{2\sigma^2}\right)\]

この母数は平均 \(\mu\) と分散 \(\sigma^2\)

ベルヌーイ分布

\(x\in\{0, 1\}\) として、

\[\begin{split}f(x\mid\theta) = \begin{cases}1 - \theta & (x = 0) \\ \theta & (x = 1)\end{cases}\end{split}\]

この母数は \(\theta\)

二項分布

\(x\in\{0, 1, \cdots, n\}\) として、

\[f(x\mid\theta) = {}_nC_x\theta^x(1-\theta)^{n-x}\]

この母数は \(\theta\)\(n=1\) とするとベルヌーイ分布に一致する。

共役事前分布

尤度 \(f(x|\theta)\) の関数形に事前分布 \(\pi_0(\theta)\) の関数形をうまく合わせておくと、事後分布の式がきれいになって計算が楽になる。 これを共役事前分布という。

尤度 共役事前分布 事後分布
二項分布 ベータ分布 ベータ分布
正規分布(分散既知) 正規分布 正規分布
正規分布(分散未知) 逆ガンマ分布 逆ガンマ分布
ポアソン分布 ガンマ分布 ガンマ分布

二項分布

尤度が次の二項分布に従うとする。

\[f(x|\theta) = {}_nC_x\theta^x(1-\theta)^{n-x}\]

この母数 \(\theta\) の事前分布が次のベータ分布に従うとする。

\[\pi(\theta) = \frac{(p+q-1)!}{(p-1)!(q-1)!}\theta^{p-1}(1-\theta)^{q-1}\]

このとき事後分布は次式のようにベータ分布となる。

\[\begin{split}\pi(\theta|x) &\propto f(x|\theta)\pi(\theta) \\ &\propto \theta^{p+x-1}(1-\theta)^{q+n-x-1} \\ &= \theta^{p'-1}(1-\theta)^{q'-1}\end{split}\]

ただし

\[p' = p+x,\quad q'=q+n-x\]

正規分布(分散既知)

尤度が次の正規分布に従うとする。 ただし分散 \(\sigma^2\) は既知であるとし、母数は平均 \(\mu\) のみとする。

\[f(x|\mu) = \frac{1}{\sqrt{2\pi}\sigma}\exp\left(-\frac{(x - \mu)^2}{2\sigma^2}\right)\]

母数 \(\mu\) の事前分布が次の正規分布に従うとする。

\[\pi_0(\mu) = \frac{1}{\sqrt{2\pi}\sigma_0} \exp\left(-\frac{(\mu - \mu_0)^2}{2\sigma_0^2}\right)\]

標本として n 個のデータ \(\{x_1, x_2, \cdots, x_n\}\) を観測したとする。 このとき

\[\begin{split}\pi_n(\mu) &\propto q_n(\mu) \\ &= \left(\prod_{i=1}^n f(x_i|\mu)\right)\pi_0(\mu) \\ &= \left(\frac{1}{\sqrt{2\pi}\sigma}\right)^n \left[\prod_{i=1}^n\exp\left(-\frac{(x_i - \mu)^2}{2\sigma^2}\right)\right] \cdot\frac{1}{\sqrt{2\pi}\sigma_0}\exp\left(-\frac{(\mu - \mu_0)^2}{2\sigma_0^2}\right) \\ &\propto \exp\left(-\frac{\sum_{i=1}^n(x_i-\mu)^2}{2\sigma^2}\right) \exp\left(-\frac{(\mu-\mu_0)^2}{2\sigma_0^2}\right)\end{split}\]

ここで、標本平均と標本分散はそれぞれ次式で与えられる。

\[\begin{split}\bar{x} &= \frac{1}{n}\sum x_i \\ S^2 &= \frac{1}{n}\sum (x_i - \bar{x})^2\end{split}\]

これらを使うと次式が導ける。

\[\begin{split}\sum_{i=1}^n(x_i-\mu)^2 &= \sum_{i=1}^n\left\{(x_i - \bar{x}) - (\mu - \bar{x})\right\}^2 \\ &= \sum_{i=1}^n(x_i-\bar{x})^2 + n(\mu-\bar{x})^2 \\ &= nS^2+n(\mu-\bar{x})^2\end{split}\]

これを代入すると、

\[\begin{split}\pi_n(\mu) &\propto \exp\left( -\frac{n(\mu-\bar{x})^2}{2\sigma^2} -\frac{(\mu-\mu_0)^2}{2\sigma_0^2}\right) \\ &\propto \exp\left[ -\frac{n\sigma_0^2+\sigma^2}{2\sigma^2\sigma_0^2}\left( \mu - \frac{n\sigma_0^2\bar{x}+\sigma^2\mu_0}{n\sigma_0^2+\sigma^2} \right)^2\right] \\ &= \exp\left(-\frac{(\mu - \mu_n)^2}{2\sigma_n^2}\right)\end{split}\]

ただし次のように置いた。

\[\sigma_n^2 = \frac{\sigma^2\sigma_0^2}{n\sigma_0^2+\sigma^2} ,\quad \mu_n = \frac{n\sigma_0^2\bar{x}+\sigma^2\mu_0}{n\sigma_0^2+\sigma^2}\]

上記が、データ観測後に得られる事後分布の平均と分散である。

この式を観察すると次のことがわかる。 まず、常に \(\sigma_n < \sigma_0\) が成り立っている。 つまり、観測データを織り込んだ分だけ分散の小さい分布が得られている。 また、\(\bar{x} = \mu_0\) の場合には \(\mu_n = \mu_0\) となることもわかる。

ベイズ更新の漸化式の形に書き直して整理すると次式が得られる。

\[\begin{split}\frac{1}{\sigma_n^2} &= \frac{1}{\sigma^2} + \frac{1}{\sigma_{n-1}^2} = \cdots = \frac{n}{\sigma^2} + \frac{1}{\sigma_0^2} \\ \frac{\mu_n}{\sigma_n^2} &= \frac{x_n}{\sigma^2} + \frac{\mu_{n-1}}{\sigma_{n-1}^2} = \cdots = \frac{\sum_{i=1}^n x_i}{\sigma^2} + \frac{\mu_0}{\sigma_0^2}\end{split}\]