INFINITY -数学とかプログラミングとか-

統計とプログラムを使って役に立たせたい

TeX用コマンド入力を支援するための辞書をご利用ください。
sanctuary's blogは,適当なことが書いてあります。

疑問

任意の分散の場合は、一様分布が、エントロピー最大の分布である。

しかし、分散一定、例えば1のとき、正規分布エントロピー最大の分布である。

一見、図から一様分布のほうが、乱雑さが高く、ある点に密度が集中していず、正規分布のほうが、平均周りで集中している。

なぜ、分散一定の時にエントロピーが最大の分布は、正規分布なのか?

curve(dnorm, -2, 2, type="l",ylim=c(0,0.4))
par(new=T)
curve(dunif(x, min=-sqrt(3), max=sqrt(3), log = FALSE),-2,2,type="l",ylim=c(0,0.4))