指数分布族

R 形・動き 機械学習 統計 数学

変数x, パラメータ\theta があるとき、
\begin{align}f(x|\theta)&=h(x)g(\theta)\exp\{\eta(\theta)T(x)\}\\&=h(x)\exp\{\eta(\theta)T(x)-A(\theta)\}\\&=\exp\{\eta(\theta)T(x)-A(\theta)+B(x)\}\end{align}
と表すことができる場合は、指数分布族という。ここで、exp やlog で無理やりカッコ内に指数法則を使って変換してやれば、各々の式は同じことを意味している。
ここで、
T(x)：十分統計量 sufficient statistics
\eta(\theta)：natural parameter
指数分布族のwiki にはどんな分布が指数分布族で、統計量がどういうものかが書いてある。
　
ここでは、ベルヌーイ分布が指数分布族である例を出していて、
\begin{align}p(x|\theta)&=\theta^x (1-\theta)^{1-x}\\&=\exp\{x\log\theta+(1-\theta)\log(1-\theta)\}\\&=(1-\theta)\exp\{x\log\frac{\theta}{1-\theta}\}\\&=\exp\{x\log\frac{\theta}{1-\theta}-(-\log(1-\theta))\}\end{align}
となるので、
T(x)=x
\eta(\theta)=\log\frac{\theta}{1-\theta}
A(\theta)=-\log(1-\theta)
である。
十分統計量T(x) の期待値や分散を求めることができて、こちらやこちら(PDF)を使って例えばベルヌーイ分布の平均は
\begin{align}E(T(x))&=\frac{A^{'}(\theta)}{\eta^{'}(\theta)}\\&=\frac{\frac{1}{1-\theta}}{\frac{1}{\theta}+\frac{1}{1-\theta}}\\&=\theta\end{align}
となって\theta であることが確認できる。' は微分である。
　
情報幾何の先生といろいろやっていて、分布をlog で変換した時にたぶんこれが有用ようなという雰囲気。