问题描述：

在学习主题模型的时候遇到的采样问题，看了很多博客，我都不能理解，自己想了很久解决了这个问题。
已知： $p(x_i|{\vec{x}}_{\neg i})(i=1,...,n)$
$\vec{x}=(x_1,x_2,x_3,...,x_n)$
${\vec{x}}_{\neg i}=(x_1,...,x_{i-1},x_{i+1},...,x_n)$
求:$p(x_1,x_2,x_3,x_4,x_5,...,x_n)$联合分布的样本

一个通俗的例子：

PDD是个大老板，家里和公司里有各有100辆车，每天早晨上班会从家里出发去距离家2km的公司，他可以选开车或者走路，晚上回家也是一样有两种选择。小黑是一个私家侦探，统计了PDD早晨和晚上是否开车了信息，写在了一张纸上，结果他搞丢了。。。小黑现在只记得自己曾经心里默念的
如果他早晨是开车出去的，呢么晚上开车回来的概率是80%；如果早晨是走路去的，晚上走路的概率是80%；如果晚上是走路回来的，第二天早晨走路的概率是80%；如果晚上是开车回来的，第二天开车的概率是80%
他现在想预测PDD某天的行程，该怎么办？
呢就假设他一年前的第一天是开车去的，然后依照条件概率生成一年的序列，然后求每个情况的概率期望。
接下来看数学部分！！

最简单的二维情况

两个维度，每个维度两个取值。

$p(Y|X)$ 条件概率分布

$p(X|Y)$ 条件概率分布

将条件概率看作是$X$和$Y$状态的两个转移矩阵 (从$X$中的$0$状态或者$1$状态转移到$Y$中的$0$状态或者$1$状态)
$p(Y|X)$就是$X$转移到$Y$的矩阵（要按照转移矩阵的要求写，行和等于1）定义为$A_{Y|X}$
$p(X|Y)$就是$Y$转移到$X$的矩阵（要按照转移矩阵的要求写，行和等于1）定义为$A_{X|Y}$

思考1：$X$转移到$X$的矩阵怎么写
答案：$X$先转移到$Y$,$Y$在转移到$X$ 即：$A_{X|X}=A_{Y|X}\ast A_{X|Y}$
举个例子：$A_{(x=0|x=1)}$代表从$X$的$0$状态转移到$X$的$1$状态的概率，按照$A_{X|X}=A_{Y|X}\ast A_{X|Y}$计算结果对不对？
计算：$A_{(x=0|x=1)}=A_{(y=0|x=0)}\ast A_{(x=1|y=0)}+A_{(y=0|x=0)}\ast A_{(x=1|y=0)}$
理论上转移方式：$x=0转到y=0，y=0转到x=1$
qquadqquadqquadquad $x=0转到y=1，y=1转到x=1$
计算出的结果和转移方式是相对应的，这么算是对的。

思考2：$X$转移$N$步之后，当$N$足够大，得到平稳分布，这个平稳分布是什么。
解答：
假设x的初始分布为$f_{X_0}=(s,t)$
${\pi }_{(X_0)}\ast (A_{X|X}{)}^N={\pi }_{(X_N)}$
即可以推出：
${\pi }_{(X_0)}\ast (A_{X|X}{)}^N={\pi }_{(X_0)}\ast (A_{X|X}{)}^{N-1}{A}_{X|X}={\pi }_{(X_{(N-1)})}\ast (A_{X|X})={\pi }_{(X_N)}$
令马尔科夫链的平稳分布等于$\pi$，有：
${\pi }_{x_{(N-1)}}={\pi }_{x_N}=\pi$
即求解：
$\pi \ast (A_{X|X})=\pi$
已知这个方程有唯一解，因为平稳分布唯一（只考虑这个情况哦）：
$\pi \ast (A_{X|X})=\pi \ast (A_{X|X})=\pi \ast (A_{Y|X})\ast (A_{X|Y})$
令：$\pi =(p_1+p_3,p_2+p_4)$
带进方程，检查是否相等。是相等的，非常合理。
这个平稳分布就是x的边缘分布。

思考3：在平稳分布后，对$X$进行抽样得到就是x的边缘分布的样本，如果我想得到$（x，y）$联合分布样本该怎么办？
解答：咱们观察一下，达到平稳分布时：$\pi =(p_1+p_3,p_2+p_4)$，仅在这时候抽样，得到的是$X$服从边缘分布$p(X)$的样本
接下来一步在做转移的时候：转移矩阵是$(A_{Y|X})\ast (A_{X|Y})$的乘积，我们把它拆成两步：$X-Y-X$
在$X$服从平稳分布的时候，抽样得到$x$，思考这个样本$x$根据$(A_{Y|X=x})$概率转移抽样得到一个$y$，呢么这一组$(x，y)$服从什么分布？？？？
$p(X=x)\ast (A_{Y=y|X=x})=p(X=x)\ast p(Y=y|X=x)=p(X=x，Y=y)$
这组$(x，y)$就是联合分布的样本。

整理抽样过程
1.随机给定x
2.经过足够多的转移步数$N$,得到 $x\sim 平稳分布\pi$
3.此时，记录$x$,在使用$A_{Y|X}$进行$X-Y$的转移变换，抽样得到$y$，总共得到$(x，y)$作为联合分布的样本。$y$在依据进行$A_{X|Y}$进行状态转移，重复步骤3，可以得到服从联合分布的足够多的样本。

重新思考这个过程 希望能拓展到n维

重新定义原过程：给当初始值$x_0$,经过足够多的转移步数$N$,达到平稳分布时抽样，得到$x_n$,先经过$A_{(Y|X=x_{n+1})}$抽样得到$y_{n+1}$，$y_{n+1}$再经过$A_{(X|Y=y_{n+1})}$抽样得到$x_{n+1}$,完成又一次转移，这个状态记录$（x_{n+1}，y_{n+1})$，所以之后的每一次状态转移都可以到一组样本列$(x_{n+i}，y_{n+i})$

如果将初始任意$x_0$换成初始给定任意的$(x_0，y_0)$，概率转移矩阵不变，采样过程发生了什么变化？
本质没有发生任何变化。只是单变量再变化，写成了双变量而已。
所以联合分布$(x,y)$的概率转移矩阵就是$(A_{Y|X})\ast (A_{X|Y})$

继续将过程等价：从$(x_0，y_0)$样本出发，得到符合分布的样本$(x_i,y_i)$的状态转移方式是：(在纸上画出来就是)，先沿着$x$轴变化得到$y_i$,再沿着$y$轴变化得到$x_i$。（其实就是将一切不沿着轴进行转移的矩阵等价为两次沿着坐标轴的转移，记住这个，gibbs采样就是找到了转移方式的特殊解,就是将一步转移等价成两步）
即：
$(x_i,yi)\to (x_{i+1},y_{i+1})=(x_i,yi)\to (x_i,y_{i+1})\to (x_{i+1},y_{i+1})$

等价到高纬：这就很容易了，沿着轴依照条件概率$p(x_i|{\vec{x}}_{\neg i})$采样就是了。

高维等价

已知：$p(x_i|{\vec{x}}_{\neg i})(i=1,...,n)$
求:$p(x_1,x_2,x_3,x_4,x_5,...,x_n)$联合分布的样本

1.给定初始值$(x_0,x_1,x_2,...,x_n)$,定义概率转移矩阵为$\prod _{i=1}^{n}p(x_i|x_{\neg i})$
2.达到平稳分布之后，每使用一次$p(x_i|x_{\neg i})(i=1,...,n)$记录一下$x_i$,整个一次转移结束得到$(x_1,x_2,x_3,...,x_n)$，重复步骤2。（为什么不直接使用$\prod _{i=1}^{n}p(x_i|x_{\neg i}$)直接一次转移而是一次次记录再转移一小步？因为不方便计算，存储。而且抽样得到样本并不覆盖全部情况。一次计算出来就浪费空间时间了。）

附上大家和我看过无数遍却不能理解的算法过程：

最后

以上就是迷路棒球最近收集整理的关于Gibbs sampling详细分析问题描述：一个通俗的例子：最简单的二维情况高维等价的全部内容，更多相关Gibbs内容请搜索靠谱客的其他文章。