INFINITY -数学とかプログラミングとか-

統計とプログラムを使って役に立たせたい

TeX用コマンド入力を支援するための辞書をご利用ください。
sanctuary's blogは,適当なことが書いてあります。

エントロピー

p=seq(0,1,length=1000)

f=function(p){
	-p*log(p)
}

plot(p,f(p),xlab="p",ylab="entropy",xlim=c(0,1),ylim=c(0,0.5),type="l")

確率変数Xが取り得る値が8で確率が、
(1/2,1/4,1/8,1/16,1/64,1/64,1/64,1/64)であるとする。

この時、Entropyは、以下のようになります。

> -{1/2*log2(1/2)+1/4*log2(1/4)+1/8*log2(1/8)+1/16*log2(1/16)+4/64*log2(1/64)}
[1] 2