信息熵——先农熵

      Shannon以概率和数理统计为工具，提出度量信息量的数学公式，对于离散型信源，当它由若干随机事件所组成时，随机事件出现的不确定度用其出现的概率来描述。事件出现的可能性愈小，概率就愈小，而所含信息量却愈大；相反，事件出现可能性愈大，概率就愈大，而所含信息量却愈小，所以信息量可用事件出现概率的单调减函数来表示，若各事件概率分布不等，则信源提供的平均信息量H即为：

 

      上式就是信息熵，也称Shannon熵，其中，pi为第i个符号出现的概率，且有pi总和为1.

 

      由符号编码序列直方图可得到反映符号序列总体特征的统计量——Shannon熵。

 

      可以看出信息熵是从平均意义上描述信源的总体特征的，它表示信源输出的平均信息量，它表征信源的平均不确定性。