Stanford概率图模型（Probabilistic Graphical Model）— 第一讲贝叶斯网络基础

83 阅读 0 评论 55 点赞

我是靠谱客的博主直率乌冬面，最近开发中收集的这篇文章主要介绍Stanford概率图模型（Probabilistic Graphical Model）— 第一讲贝叶斯网络基础，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

概率图模型（Probabilistic Graphical Model）系列来自Stanford公开课Probabilistic Graphical Model中Daphne Koller 老师的讲解。（https://class.coursera.org/pgm-2012-002/class/index）

主要内容包括（转载请注明原始出处http://blog.csdn.net/yangliuy）

1. 贝叶斯网络及马尔可夫网络的概率图模型表示及变形。

2. Reasoning 及Inference 方法，包括exact inference (variable elimination, clique trees) 和 approximate inference(belief propagation message passing, Markov chain Monte Carlo methods)。

3. 概率图模型中参数及结构的learning方法。

4. 使用概率图模型进行统计决策建模。

第一讲. 贝叶斯网络基础

1、贝叶斯网络的定义

贝叶斯网络是一个有向无环图，其中结点代表了随机变量，边代表了随机变量之间的概率关系，其联合概率分布可以用贝叶斯链式法则来表示

其中ParG(Xi)表示结点Xi在图G中的父节点对应的随机变量。

2、贝叶斯网络中概率影响的流动（Flow of Probabilistic Influence）

概率影响的流动性反应了贝叶斯网络中随机变量条件独立性关系，如下图所示

图中贝叶斯网络模型反映如下四个随机变量之间的关系

Difficulty 课程难度

Intelligence 学生聪明程度

Grade 学生课程成绩

SAT 学生高考成绩

Letter 学生是否可以得到教授工作推荐信

在左边对应的六种情况下，只有最后一种情况X→W←Y下X的概率不会影响到Y的概率。这是因为W不是被观察变量，其值是未知的，因此随机变量X的值不会影响随机变量Y的取值。有趣的是，当中间W变量成为被观察变量，上述结论就会发生变化。如下图所示

当WєZ时，即W为观察变量时，所有判断会变得相反。仍然以 X→W← Y 为例，此时W的值已知，比如已知某个学生Grade为B，那么此时学生的聪明程度Intelligence和课程难度Difficulty就不再条件独立了。比如，这种情况下如果课程比较容易，那边学生很聪明的概率较小；反之，若课程很难，则学生很聪明的概率较大。其他情况可以采用右边这个贝叶斯网络例子来理解。

3 Active Trails

经过第2部分的分析，我们可以归纳如下结论

Atrail X1 ─ … ─ Xn is active if:

it has no v-structures

Atrail X1 ─ … ─ Xn is active given Z if:

– for any v-structure Xi-1 → Xi← Xi+1 we have that Xi or one of its descendants ∈Z

– no other Xi is in Z

显然如果X1 ─ … ─Xn is active，那么X1和Xn就不再条件独立。

4 Independence in Graph

这里先总结D-separate 的情况，如下图所示