【熵】
拼译:entropy
描述一个事件不确定性程度的量度。美国数学家申农提出。设X是离散型随机变量,取值是a1,a2,…,ak,…(至多可列个),且Pr(X=ai)=pi(i=1,2,…),则称“-∑pilnpi”为X的熵,并记为H(X),即H(X)=-∑pilnpi(注意,上面式中规定当pi=0时,0·1n0=0)。对于连续型随机变量X,若X~p(x),且积分“-∫p(x)lnp(x)dx”有意义,则称为p(x)(或X)的熵。如参数空间 ,若p(θk)=1,p(θi)=0(当i≠k时)。即θ以概率1取θk是肯定的,于是我们求得墒是 。这是不确定性最小的极端情形。若p(θi)=1/n,(i=1,2,…,n)于是有H(p(x)= =lnn。可见,均匀分布的熵最大。 |