表1. 目标值为PlayTennis的14个训练样例

如表1所示，目标值是：PlayTennis，也就是是否打球。
表1中有四个特征，分别是天气（Outlook）、温度（Temperature）、湿度（Humidity）以及风（Wind）。

1. 信息熵

信息熵的公式：
$$H(X)=-\sum _{x\in X}p(x)\log p(x)$$
顺带一提，
$$0\le H(X)\le \log n$$

以表1为例，设是否打球这一随机变量为$Y$，则
$$p(Y=\text{Yes})=\frac{9}{14}$$
$$p(Y=\text{No})=\frac{5}{14}$$
所以，
$$\begin{array}{rl}H(Y)& =-\sum _{y\in Y}p(y)\log p(y)\\ & =-(p(Y=\text{Yes})\ast \log p(Y=\text{Yes})+p(Y=\text{No})\ast \log p(Y=\text{No}))\\ & =-(\frac{9}{14}\ast {\log }_2\frac{9}{14}+\frac{5}{14}\ast {\log }_2\frac{5}{14})\\ & =0.9403\end{array}$$

2. 条件熵

条件熵表示在条件$X$下$Y$的信息熵。
公式如下：
$$H(Y|X)=\sum _{x\in X}p(x)H(Y|X=x)$$

在表1的例子中，设湿度（Humidity）为随机变量$X$，则：
$$p(X=\text{High})=\frac{7}{14}=\frac{1}{2}$$

$$p(X=\text{Normal})=\frac{7}{14}=\frac{1}{2}$$
所以，
$$\begin{array}{rl}H(Y|X)& =\sum _{x\in X}p(x)H(Y|X=x)\\ & =p(X=\text{High})\ast H(Y|X=\text{High})+p(X=\text{Normal})\ast H(Y|X=\text{Normal})\end{array}$$

接下来计算$H(Y|X=\text{High})$和$H(Y|X=\text{Normal})$。

根据信息熵的计算方法可得：
$$\begin{array}{rl}H(Y|X=\text{High})& =-\sum _{y\in Y}p(y)\log p(y)\\ & =-(p(Y=\text{Yes}|X=\text{High})\ast \log p(Y=\text{Yes}|X=\text{High})\\ & +p(Y=\text{No}|X=\text{High})\ast \log p(Y=\text{No}|X=\text{High})\\ & =-(\frac{3}{7}\ast {\log }_2\frac{3}{7}+\frac{4}{7}\ast {\log }_2\frac{4}{7})\\ & =0.9852\end{array}$$

$$\begin{array}{rl}H(Y|X=\text{Normal})& =-\sum _{y\in Y}p(y)\log p(y)\\ & =-(p(Y=\text{Yes}|X=\text{Normal})\ast \log p(Y=\text{Yes}|X=\text{Normal})\\ & +p(Y=\text{No}|X=\text{Normal})\ast \log p(Y=\text{No}|X=\text{Normal})\\ & =-(\frac{6}{7}\ast {\log }_2\frac{6}{7}+\frac{1}{7}\ast {\log }_2\frac{1}{7})\\ & =0.5917\end{array}$$

因此，
$$\begin{array}{rl}H(Y|X)& =\sum _{x\in X}p(x)H(Y|X=x)\\ & =p(X=\text{High})\ast H(Y|X=\text{High})+p(X=\text{Normal})\ast H(Y|X=\text{Normal})\\ & =\frac{1}{2}\ast 0.9852+\frac{1}{2}\ast 0.5917\\ & =0.7884\end{array}$$

3. 参考文章

1. 什么是信息熵、条件熵和信息增益

最后

以上就是落寞舞蹈最近收集整理的关于信息熵和条件熵的计算1. 信息熵2. 条件熵3. 参考文章的全部内容，更多相关信息熵和条件熵的计算1.内容请搜索靠谱客的其他文章。