信息量amount of information

在信息论中概率事件发生时的信息度量。离散事件的信息量可用下法计算：
如果所有的事件等概率发生，那么每个刺激事件（以比特为单位）所包含的信息H_s为：

H_s＝log₂N

这里N是概率相同事件的数目。
如果事件发生的概率不相等，那么每个刺激事件所包含的信息H_s为：
这里p_i是事件i发生的概率。
上面求出的是单个事件所传递的信息量。一系列不同概率的事件所包含的平均信息量Have可用下式计算：

所以平均信息量以事件发生概率作为权重，是每个事件的信息量之和。