ものすごいわかりやすかったKullback-Leibler divergence

情報量を と置くと、
単調に減少する
ふたつの分布が独立ならば、加算的に扱える
というので、 と書いておく。
　
符号化してその平均長を考えると
はエントロピーである。
さてここで、 はわからないけど、理論的にこれならば、上のエントロピーが成り立つ。しかし、何度も言うが はわからないので、ひとまず を考える。これの平均長は

だが、 （実際にデータとして得ている は、実態はわからないけれども からサンプリングされている）と書けるので、結局 である。
このふたつの、（真の分布 のときの平均長）-（真の分布がわからないけれどもとりあえず とおいた平均長）を計算すると

となる。
これは常に0 以上で、 とすれば、 と のふたつの関数を考えれば成り立ち、0 になるときは恒等的に のときである。