一文彻底搞懂信息熵、相对熵、交叉熵和条件熵（含例子）
熵：就是描述信息的不确定的程度，统计学中，对事件的发生情况可以通过概率P定量的描述出来，熵也是一种统计学定量描述，是对信息的不确定程度的描述，这种描述也是通过“概率P”来描述的。对于某个事件的信息熵的计算公式如下：式中X代表事件，事件X的发生存在n中可能性，当我们知道每一种可能性情况下的发生概率值时，就能通过上式子计算得到信息熵值。【例子】序号 事件 ...
