机器学习中的各种熵1、熵2 信息熵3 联合熵4 条件熵5 交叉熵 (Cross entropy)6 相对熵 (Relative entropy)，也称KL散度 (Kullback–Leibler divergence)
1、熵熵：熵，热力学中表征物质状态的参量之一，用符号S表示，其物理意义是体系混乱程度的度量。从统计的角度来看，概率分布是对随机变量的刻画，而熵就是对不同概率分布的刻画！本质上，熵是为了描述不确定的程度，并以此对不同的概率分布进行比较。举个例子，两枚硬币，一个上抛一次正面朝上概率是0.5,另一个是0.8，此时，假设两枚硬币上抛一次落下后朝上的面分别是x,y。此时，我们可以很容易确定随机变量x,y的概率分布，并借此对两个随机变量有准确的掌握。但我们要问，这两个随机变量哪个更随机？或者说，哪个随机变量
