用matlab验证信息熵的可加性,信息熵(Information Entropy)
什么是信息熵信息熵是一个数学上颇为抽象的概念，在这里不妨把信息熵理解成某种特定信息的出现概率(离散随机事件的出现概率)。一个系统越是有序，信息熵就越低；反之，一个系统越是混乱，信息熵就越高。信息熵也可以说是系统有序化程度的一个度量。信息熵的计算根据Charles H. Bennett对Maxwell's Demon的解释，对信息的销毁是一个不可逆过程，所以销毁信息是符合热力学第二定律的。而产生信息...
