任意の分散の場合は、一様分布が、エントロピー最大の分布である。
しかし、分散一定、例えば1のとき、正規分布がエントロピー最大の分布である。
一見、図から一様分布のほうが、乱雑さが高く、ある点に密度が集中していず、正規分布のほうが、平均周りで集中している。
なぜ、分散一定の時にエントロピーが最大の分布は、正規分布なのか?
curve(dnorm, -2, 2, type="l",ylim=c(0,0.4))
par(new=T)
curve(dunif(x, min=-sqrt(3), max=sqrt(3), log = FALSE),-2,2,type="l",ylim=c(0,0.4))