信息熵，联合熵，条件熵，交叉熵，相对熵+例子
信息熵（Information Entropy）所谓熵也就是信息的不确定性，也就是混乱程度，举个例子便于理解。我们玩一个大转盘，有32个格子，分别标了1-32的数字，格子大小都一样，那么转动以后每个格子被指针指到的概率也是一样的。那么在转盘转动之前我们要下注的话就很纠结了，随便下哪一个都一样。这时候整个系统的信息是非常混乱无序的。我现在转好了让你猜是哪个数字，你会怎么猜？我会问，是1-1...
