熵、交叉熵、条件熵、互信息1. 概念、公式2. softmax和交叉熵3. 互信息和交叉熵
关于softmax和交叉熵：probability，odds，logit, softmax, logSoftmax，交叉熵熵：随机事件X有n种可能发生的情况，每种情况发生的概率为pip_ipiH(X)=−∑i=1npilog(pi)H(X)=-\sum_{i=1}^{n} p_ilog(p_i)H(X)=−i=1∑npilog(pi)交叉熵：度量两个概率分布p、q之间的差异，yiy_iyi服从q分布，pip_ipi服从p分布Ci=−∑j=1Cyjlog(pj)C_i = -\sum
