情報量を と置くと、 単調に減少する ふたつの分布が独立ならば、加算的に扱える というので、 と書いておく。 符号化してその平均長を考えると はエントロピーである。 さてここで、 はわからないけど、理論的にこれならば、上のエントロピーが成り立つ。し…