信息熵、联合熵、条件熵、互信息信息熵、联合熵、条件熵、互信息
一个随机事件xxx的自信息量1定义为：I(x)=log1p(x)I(x)=\log\frac{1}{p(x)}I(x)=logp(x)1注意，在信息论中，log\loglog函数的底通常设置为2，此时，自信息量的单位为比特(bit)；在机器学习中，log\loglog函数的底通常设置为自然常数e，此时，自信息量的单位为奈特(nat)。需要从以下两方面来理解自信息量：举例说明，“中彩票”事件的概率极小，但是一旦中了彩票，“中彩票”事件的自信息量很大，也就是说，“中彩票”会获得极大的信息量（
