エントロピー
p=seq(0,1,length=1000) f=function(p){ -p*log(p) } plot(p,f(p),xlab="p",ylab="entropy",xlim=c(0,1),ylim=c(0,0.5),type="l")
確率変数Xが取り得る値が8で確率が、
(1/2,1/4,1/8,1/16,1/64,1/64,1/64,1/64)であるとする。
この時、Entropyは、以下のようになります。
> -{1/2*log2(1/2)+1/4*log2(1/4)+1/8*log2(1/8)+1/16*log2(1/16)+4/64*log2(1/64)} [1] 2