LDA 吉布斯采样（Gibbs Sampling）的公式推导

假设读者已经了解 LDA 的来龙去脉。

需要明确采样的含义：
随机变量是总体，采样就是按照总体的概率分布（指示了样本出现的概率）抽取样本的过程。样本应该能正确反映总体的情况，即样本与总体应该具有相同的统计性质（均值，方差等）。

一、《LDA数学八卦》中的推导

语料库中的第 $i$ 个词对应的主题我们记为 $z_i$，其中 $i=(m,n)$ 是一个二维下标，即语料库中第 $i$ 个词对应于第 $m$ 篇文档的第 $n$ 词，我们用 $\neg i$ 表示去除下标为 $i$ 的词。
那么按照 Gibbs Sampling 的要求，我们要求得任一坐标轴 $i$ 对应的条件分布 $p(z_i=k|Z_{\neg i},W)$，注意这是一个离散型概率分布的抽样。由贝叶斯法则可得（条件概率正比于联合概率）：
$$p(z_i=k|Z_{\neg i},W)\propto p(z_i=k,w_i=t|Z_{\neg i},W_{\neg i})$$
由于$z_i=k,w_i=t$只涉及到第 $m$ 篇文档和第 $k$ 个主题，所以只会涉及到如下两个 Dirichlet-Multinomial 共轭结构

1. $\alpha \to {\theta }_m\to z_m$
2. $\beta \to {\phi }_k\to w_k$

去掉了语料中第 $i$ 个词对应的 $(z_i,w_i)$，并不会改变上面两个共轭结构，只是会减少对应的计数。所以 ${\theta }_m,{\phi }_k$ 的后验分布都还是狄利克雷分布：
$$\begin{gathered} p({\theta }_m|Z_{\neg i},W_{\neg i})=Dir({\theta }_m|n_{m,\neg i}+\alpha ) \\ p({\phi }_k|Z_{\neg i},W_{\neg i})=Dir({\phi }_k|n_{k,\neg i}+\beta ) \end{gathered}$$
注意，$n_{m,\neg i},n_{k,\neg i}$ 都不是双下标，$n_m=(n_m^{(1)},\cdots ,n_m^{(K)})$，$n_m^{(k)}$ 表示第 m 篇文档中第 k 个主题的词的个数，$n_k=(n_k^{(1)},\cdots ,n_k^{(V)})$，$n_k^{(t)}$ 表示第 k 个主题中第 t（词典下标） 个词的个数。$\neg i$ 表示去除下标为 $i$（语料下标） 的词，所以在统计生成 $n_m,n_k$ 这两个向量时，我们可以当做第 m 篇文档中就没有这个词，也就不统计该词相关的计数，$n_{m,\neg i},n_{k,\neg i}$ 表示的就是这样一种含义。

Gibbs Sampling 公式的推导：
$$\begin{array}{rl}p(z_i=k|Z_{\neg i},W)\propto & p(z_i=k,w_i=t|Z_{\neg i},W_{\neg i})\\ =& \int p(z_i=k,w_i=t,{\theta }_m,{\phi }_k|Z_{\neg i},W_{\neg i})\mathrm{d}{\theta }_m\mathrm{d}{\phi }_k\\ =& \int p(z_i=k,{\theta }_m|Z_{\neg i},W_{\neg i})\cdot p(w_i=t,{\phi }_k|Z_{\neg i},W_{\neg i})\mathrm{d}{\theta }_m\mathrm{d}{\phi }_k\\ =& \int p(z_i=k|{\theta }_m)p({\theta }_m|Z_{\neg i},W_{\neg i})\cdot p(w_i=t|{\phi }_k)p({\phi }_k|Z_{\neg i},W_{\neg i})\mathrm{d}{\theta }_m\mathrm{d}{\phi }_k\\ =& \int p(z_i=k|{\theta }_m)Dir({\theta }_m|n_{m,\neg i}+\alpha )\mathrm{d}{\theta }_m\cdot \int p(w_i=t|{\phi }_k)Dir({\phi }_k|n_{k,\neg i}+\beta )\mathrm{d}{\phi }_k\\ =& \int {\theta }_{mk}Dir({\theta }_m|n_{m,\neg i}+\alpha )\mathrm{d}{\theta }_m\cdot \int {\phi }_{kt}Dir({\phi }_k|n_{k,\neg i}+\beta )\mathrm{d}{\phi }_k\\ =& E({\theta }_{mk})\cdot E({\phi }_{kt})\\ =& {\hat{\theta }}_{mk}\cdot {\hat{\phi }}_{kt}\end{array}$$

根据狄利克雷分布的期望公式有：
$$\begin{gathered} {\hat{\theta }}_{mk}=\frac{n_{m,\neg i}^{(k)}+{\alpha }_k}{{\sum }_{k=1}^K{n}_{m,\neg i}^{(k)}+{\alpha }_k} \\ {\hat{\phi }}_{kt}=\frac{n_{k,\neg i}^{(t)}+{\beta }_t}{{\sum }_{t=1}^V{n}_{k,\neg i}^{(t)}+{\beta }_t} \end{gathered}$$

所以 LDA 模型的采样公式为：
$$p(z_i=k|Z_{\neg i},W)\propto \frac{n_{m,\neg i}^{(k)}+{\alpha }_k}{{\sum }_{k=1}^K{n}_{m,\neg i}^{(k)}+{\alpha }_k}\cdot \frac{n_{k,\neg i}^{(t)}+{\beta }_t}{{\sum }_{t=1}^V{n}_{k,\neg i}^{(t)}+{\beta }_t}$$

二、《Parameter estimation for text analysis》中的推导

第一类狄利克雷积分，后面直接当作结论使用，不做证明：
$$\Delta (\alpha )={\int }_{\sum x_i=1}\prod _{i=1}^N{x}_i^{{\alpha }_i-1}\mathrm{d}x$$
考虑一个有狄利克雷先验的一元模型（文档的生成仅依赖于一个词分布），此时只有一个 Dirichlet-Multinomial 共轭结构，有：
$$p(W|\alpha )=\int p(W|p)\cdot p(p|\alpha )\mathrm{d}p$$
对比我们在概率论中学过的全概率公式，可以把这个式子理解为连续型变量的全概率公式。
具体的：
p ( W ∣ α ⃗ ) = ∫ ∏ n = 1 N M u l t ( w = w n ∣ p ⃗ , 1 ) ⋅ D i r ( p ⃗ ∣ α ⃗ ) d p ⃗ = ∫ ∏ v = 1 V p v n ( v ) ⋅ 1 Δ ( α ⃗ ) ∏ v = 1 V p v α v − 1 d p ⃗ = 1 Δ ( α ⃗ ) ∫ ∏ v = 1 V p v n ( v ) + α v − 1 d p ⃗ ∣ D i r i c h l e t ∫ = Δ ( n ⃗ + α ⃗ ) Δ ( α ⃗ ) , n ⃗ = { n ( v ) } v = 1 V begin{aligned} p(W|vec{alpha})=&int{prod_{n=1}^Nmathrm{Mult}(w=w_n|vec{p},1)cdot mathrm{Dir}(vec{p}|vec{alpha})mathrm dvec{p}}\ =&int{prod_{v=1}^Vp_v^{n^{(v)}}cdot frac{1}{Delta(vecalpha)}prod_{v=1}^Vp_v^{alpha_v-1}mathrm dvec{p}}\ =&frac{1}{Delta(vecalpha)}int{prod_{v=1}^Vp_v^{n^{(v)}+alpha_v-1}mathrm dvec{p}} & | mathrm{Dirichlet}int\ =&frac{Delta(vec{n}+vecalpha)}{Delta(vecalpha)},vec{n}={n^{(v)}}_{v=1}^V end{aligned} p(W∣α )====​∫n=1∏N​Mult(w=wn​∣p ​,1)⋅Dir(p ​∣α )dp ​∫v=1∏V​pvn(v)​⋅Δ(α )1​v=1∏V​pvαv​−1​dp ​Δ(α )1​∫v=1∏V​pvn(v)+αv​−1​dp ​Δ(α )Δ(n +α )​,n ={n(v)}v=1V​​∣Dirichlet∫​
其中，$\mathrm{M}\mathrm{u}\mathrm{l}\mathrm{t}(w=w_n|p,1)$ 表示多项式分布 N 次实验中一次实验的观测结果，最后一步的推导使用了第一类狄利克雷积分。

上面这个推导的意义是，消去了多项式分布的参数 $p$ 的影响，因为它是未知的，仅使用词计数和狄利克雷超参数（伪计数）来表达观察到的语料的概率。

那么对于 LDA 模型来说，就是 K+M 个 Dirichlet-Multinomial 共轭结构。
首先对于 K 个主题的 Dirichlet-Multinomial 共轭结构有：
p ( w ⃗ ∣ z ⃗ , β ⃗ ) = ∫ p ( w ⃗ ∣ z ⃗ , Φ ) p ( Φ ∣ β ⃗ ) d Φ = ∏ k = 1 K ∫ 1 Δ ( β ⃗ ) ∏ t = 1 V φ k , t n k ( t ) + β t − 1 d φ ⃗ k = ∏ k = 1 K Δ ( n ⃗ k + β ⃗ ) Δ ( β ⃗ ) , n ⃗ k = { n k ( t ) } t = 1 V begin{aligned} p(vec w|vec z,vec beta)=&int p(vec w|vec z,Phi)p(Phi|vec beta)mathrm dPhi\ =&prod_{k=1}^Kintfrac{1}{Delta(vecbeta)}prod_{t=1}^Vvarphi_{k,t}^{n_k^{(t)}+beta_t-1}mathrm dvecvarphi_k\ =&prod_{k=1}^Kfrac{Delta(vec n_k+vecbeta)}{Delta(vecbeta)},vec n_k={n_k^{(t)}}_{t=1}^V end{aligned} p(w ∣z ,β ​)===​∫p(w ∣z ,Φ)p(Φ∣β ​)dΦk=1∏K​∫Δ(β ​)1​t=1∏V​φk,tnk(t)​+βt​−1​dφ ​k​k=1∏K​Δ(β ​)Δ(n k​+β ​)​,n k​={nk(t)​}t=1V​​
其次对于 M 个文档的 Dirichlet-Multinomial 共轭结构有：
p ( z ⃗ ∣ α ⃗ ) = ∫ p ( z ⃗ ∣ Θ ) p ( Θ ∣ α ⃗ ) d Θ = ∏ m = 1 M ∫ 1 Δ ( α ⃗ ) ∏ k = 1 K θ m , k n m ( k ) + α k − 1 d θ ⃗ m = ∏ m = 1 M Δ ( n ⃗ m + α ⃗ ) Δ ( α ⃗ ) , n ⃗ m = { n m ( k ) } k = 1 K begin{aligned} p(vec z|vec alpha)=&int p(vec z|Theta)p(Theta|vec alpha)mathrm dTheta\ =&prod_{m=1}^Mintfrac{1}{Delta(vecalpha)}prod_{k=1}^Ktheta_{m,k}^{n_m^{(k)}+alpha_k-1}mathrm dvectheta_m\ =&prod_{m=1}^Mfrac{Delta(vec n_m+vecalpha)}{Delta(vecalpha)},vec n_m={n_m^{(k)}}_{k=1}^K end{aligned} p(z ∣α )===​∫p(z ∣Θ)p(Θ∣α )dΘm=1∏M​∫Δ(α )1​k=1∏K​θm,knm(k)​+αk​−1​dθ m​m=1∏M​Δ(α )Δ(n m​+α )​,n m​={nm(k)​}k=1K​​
所以模型的联合分布为：
$$p(z,w|\alpha ,\beta )=\prod _{k=1}^K\frac{\Delta (n_k+\beta )}{\Delta (\beta )}\cdot \prod _{m=1}^M\frac{\Delta (n_m+\alpha )}{\Delta (\alpha )}$$
因为 Gibbs Sampling 的要求就是根据条件分布进行采样，所以 LDA 模型的采样公式为：
$$\begin{array}{rlr}p(z_i=k|z_{\neg i},w)=& \frac{p(w,z)}{p(w,z_{\neg i})}=\frac{p(w|z)}{p(w_{\neg i}|z_{\neg i})p(w_i)}\cdot \frac{p(z)}{p(z_{\neg i})}& (1)\\ \propto & \frac{\Delta (n_k+\beta )}{\Delta (n_{k,\neg i}+\beta )}\cdot \frac{\Delta (n_m+\alpha )}{\Delta (n_{m,\neg i}+\alpha )}& (2)\\ =& \frac{\Gamma (n_k^{(t)}+{\beta }_t)\Gamma ({\sum }_{t=1}^V{n}_{k,\neg i}^{(t)}+{\beta }_t)}{\Gamma (n_{k,\neg i}^{(t)}+{\beta }_t))\Gamma ({\sum }_{t=1}^V{n}_k^{(t)}+{\beta }_t)}\cdot \frac{\Gamma (n_m^{(k)}+{\alpha }_k)\Gamma ({\sum }_{k=1}^K{n}_{m,\neg i}^{(k)}+{\alpha }_k)}{\Gamma (n_{m,\neg i}^{(k)}+{\alpha }_k)\Gamma ({\sum }_{k=1}^K{n}_m^{(k)}+{\alpha }_k)}& (3)\\ =& \frac{n_{k,\neg i}^{(t)}+{\beta }_t}{{\sum }_{t=1}^V{n}_{k,\neg i}^{(t)}+{\beta }_t}\cdot \frac{n_{m,\neg i}^{(k)}+{\alpha }_k}{[{\sum }_{k=1}^K{n}_m^{(k)}+{\alpha }_k]-1}& (4)\\ \propto & \frac{n_{k,\neg i}^{(t)}+{\beta }_t}{{\sum }_{t=1}^V{n}_{k,\neg i}^{(t)}+{\beta }_t}\cdot (n_{m,\neg i}^{(k)}+{\alpha }_k)& (5)\end{array}$$
上面的公式推导做以下五点解释：

1. (1) 式和 (2) 式正比，是因为 $p(w_i)$ 是一个常数；由于 $\neg i$ 只涉及两个共轭结构，所以 (1) 式到 (2) 式约去了相同的 $\Delta$ 函数。
2. (2) 式到 (3) 式，同样是因为 i 只与第 k 个主题和第 m 篇文档有关，将 $\Delta$ 函数展开成 $\Gamma$ 函数后，约去了相同的 $\Gamma$ 函数。
3. (3) 式到 (4) 式利用了 $\Gamma$ 函数的性质：$\Gamma (x+1)=x\Gamma (x)$，进行约去。
4. (4) 式里有一个减 1，是因为把第 m 篇文档里要去掉的那个计数分离了出来。
5. 因为第 m 篇文档的单词数是已知的，所以 (4) 式和 (5) 式是正比关系。

三、原来对 LDA 的一个疑惑，以及解答

疑问：LDA 并没有做任何词语语义方面的工作，仅仅是做一些数量上的统计，它是怎么挖掘出文档具有语义含义的主题的呢？

LDA 本质上是对词进行了聚类（依据某方面的相似度），聚的这个类就是主题。换句话说就是，按照主题给词进行了聚类。

既然没有做词语义方面的工作，那词之间的相似度是怎么确定的呢？
读完 LDA 著名的科普文章《Parameter estimation for text analysis》，它里面提到潜在主题是高阶共现的结果，即，t1 和 t2 共现，t2 和 t3 共现，表明 t1 和 t3 是一个二阶共现，以此类推。（共现，在不同上下文中共同出现。两个词越经常在不同的上下文共现，就越表示这两个词相似。）

最后

以上就是无辜歌曲最近收集整理的关于LDA 吉布斯采样（Gibbs Sampling）的公式推导的全部内容，更多相关LDA内容请搜索靠谱客的其他文章。