搞懂多维高斯分布的由来

PRML的2.3节一开始就给出了多维高斯分布的形式：

N ( x ∣ μ , Σ ) = 1 ( 2 π ) d 2 ∣ Σ ∣ 1 2 exp ⁡ { − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) } ( 1 ) begin{aligned}Bbb{N}(mathbf x|mathbf{mu},mathbfSigma) &=frac{1}{(2pi)^{frac{d}{2}}left|Sigmaright|^frac{1}{2}}exp{{-frac{1}{2}(mathbf x-mu)^TSigma^{-1}(mathbf x-mu)}}end{aligned}quadquadquad(1) N(x∣μ,Σ)​=(2π)2d​∣Σ∣21​1​exp{−21​(x−μ)TΣ−1(x−μ)}​(1)

其中， $\mu$ 是D维 mean vector， $\Sigma$ 是 $D\times D$ 协方差矩阵，里面的第 i 行第 j 列元素表示第 i 个变量第 j 个变量的协方差， $|\Sigma |$ 代表协方差矩阵的行列式。

书上没有说式(1)到底是怎么来的，而本文主要就是讲式(1)的由来。

首先考虑一维标准正态分布，概率密度函数为：

$$f(x)=\frac{1}{\sqrt{2\pi }}\exp (-\frac{x^2}{2})(2)$$

然后考虑 n 维独立标准高斯分布，就是 n 个独立的一维标准正态分布随机变量的联合分布：

$$p(x_1,\dots ,x_n)=p(x_1)\dots p(x_n)=(2\pi {)}^{-\frac{n}{2}}\exp \left(-\frac{{x_1}^2+\cdots +{x_n}^2}{2}\right)(3)$$

为了表达方便，用向量的形式来表示，设 $\mathbf{x}=(x_1\dots x_n{)}^T$ ，式（3）写作：

$$f(\mathbf{x})=(2\pi {)}^{-\frac{n}{2}}\exp \left(-\frac{1}{2}{\mathbf{x}}^T\mathbf{x}\right)(4)$$

一般的，设 $\mathbf{y}$ 由 $\mathbf{x}$ 的线性变换得到：

$$\mathbf{y}=A\mathbf{x}+\mu (5)$$

其中A是 $n\times n$ 的非奇异矩阵， $\mu$ 是n维向量

可把$\mathbf{x}$ 用 $\mathbf{y}$ 表示：

$$\mathbf{x}=A^{-1}(\mathbf{y}-\mu )(6)$$

注意到，式（6）线性变换的雅可比行列式是 $|{\mathbf{A}}^{-1}|$ （关于雅可比行列式参见我的另一篇文章)

因此：$\mathrm{d}\mathbf{x}=|{\mathrm{A}}^{-1}|\mathrm{d}\mathbf{y}(7)$

设 ${\Sigma }^{-1}=(A^{-1}{)}^T{A}^{-1}$ ，则 $|A|=|\Sigma {|}^{\frac{1}{2}}$ ，由联合概率分布密度的定义，有：

$$\begin{array}{rl}1=\int \cdots \int f(\mathbf{x})d\mathbf{x}& =\int \cdots \int f(A^{-1}(\mathbf{y}-\mu ))|{\mathbf{A}}^{-1}|d\mathbf{y}\\ & =\int \cdots \int \frac{1}{{\sqrt{2\pi }}^n|A|}\exp \left[-\frac{1}{2}(\mathbf{y}-\mu {)}^T(A^{-1}{)}^T{A}^{-1}(\mathbf{y}-\mu )\right]d\mathbf{y}\\ & =\int \cdots \int \frac{1}{{\sqrt{2\pi }}^n|\Sigma {|}^{\frac{1}{2}}}\exp \left[-\frac{1}{2}(\mathbf{y}-\mu {)}^T{\Sigma }^{-1}(\mathbf{y}-\mu )\right]d\mathbf{y}\end{array}10)$$

因此，向量 $\mathbf{y}$ 的联合概率概率密度函数是：

$$f(\mathbf{y})=\frac{1}{(2\pi {)}^{\frac{n}{2}}|\Sigma {|}^{\frac{1}{2}}}\exp \left[-\frac{1}{2}(\mathbf{y}-\mu {)}^T{\Sigma }^{-1}(\mathbf{y}-\mu )\right]d\mathbf{y}(11)$$

也就是式（1）

转载自：
博主：清雅的机器学习笔记
博文地址：https://zhuanlan.zhihu.com/p/39763207
来源：知乎

最后

以上就是文静电源为你收集整理的搞懂多维高斯分布的由来的全部内容，希望文章能够帮你解决搞懂多维高斯分布的由来所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。