机器学习之高斯分布例题

考虑三维正态分布$p(\mathbf{x}\mid \omega )\sim N(\mu \mid \Sigma )$，其中$\mu =\left(\begin{array}{c}1\\ 2\\ 2\end{array}\right)$及$\Sigma =\left(\begin{array}{ccc}1& 0& 0\\ 0& 5& 2\\ 0& 2& 5\end{array}\right)$

(a) 求点$x_0=(0.5,0,1{)}^T$处的概率密度；

解：根据正态分布密度公式：

$N(\mu \mid \Sigma )=\frac{1}{(2\pi {)}^{D/2}}\frac{1}{|\Sigma {|}^{1/2}}exp\left\{\frac{-1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )\right\}$

其中，由题目条件可知 $x_0-\mu =\left(\begin{array}{c}-0.5\\ -2\\ -1\end{array}\right),|\Sigma {|}^{-1}=\left(\begin{array}{ccc}1& 0& 0\\ 0& \frac{5}{21}& -\frac{2}{21}\\ 0& -\frac{2}{21}& \frac{5}{21}\end{array}\right),|\Sigma |=21$

因此，
$\begin{array}{rl}p(x_0\mid \mu )& =\frac{1}{(2\pi {)}^{3/2}}\frac{1}{|\Sigma {|}^{1/2}}exp\left\{\frac{-1}{2}(x_0-\mu {)}^T{\Sigma }^{-1}(x_0-\mu )\right\}\\ & =\frac{1}{\sqrt{168{\pi }^3}}exp\left\{-\frac{89}{168}\right\}\end{array}$

(b) 构造白化变换矩阵$A_{\omega }(A_{\omega }=\Phi {\Lambda }^{-1/2})$，计算分别表示本征向量和本征值的矩阵$\Phi 和\Lambda$；然后，将此分布转换为以原点为中心，协方差矩阵为单位阵的分布，即$p(\mathbf{x}\mid \omega )\sim N(0\mid I)$；

解：设$\Sigma$的特征值为${\lambda }_i$，对应的特征向量为${\xi }_i$，由矩阵的性质得：

$\Sigma {\xi }_i={\lambda }_i{\xi }_i，$解得$\lambda =[{\lambda }_1,{\lambda }_2,{\lambda }_3{]}^T=[1,3,7{]}^T，{\xi }_1=[1,0,0{]}^T,{\xi }_2=[0,\frac{\sqrt{2}}{2},-\frac{\sqrt{2}}{2}{]}^T,{\xi }_3=[0,\frac{\sqrt{2}}{2},\frac{\sqrt{2}}{2}{]}^T$

因此对应的本征值矩阵和本征向量为：

$\Lambda =diag[{\lambda }_1,{\lambda }_2,{\lambda }_3]=\left(\begin{array}{ccc}1& 0& 0\\ 0& 3& 0\\ 0& 0& 7\end{array}\right)；$

$\Phi =[{\xi }_1,{\xi }_2,{\xi }_3]=\left(\begin{array}{ccc}1& 0& 0\\ 0& -\frac{\sqrt{2}}{2}& \frac{\sqrt{2}}{2}\\ 0& \frac{\sqrt{2}}{2}& \frac{\sqrt{2}}{2}\end{array}\right)$

$A_{\omega }(A_{\omega }=\Phi {\Lambda }^{-1/2})=\left(\begin{array}{ccc}1& 0& 0\\ 0& -\frac{\sqrt{6}}{6}& \frac{\sqrt{14}}{14}\\ 0& \frac{\sqrt{6}}{6}& \frac{\sqrt{14}}{14}\end{array}\right)$

下面推导变换过程：

令$y=A^{T}x$，则$x=(A^T{)}^{-1}y$

$\begin{array}{rl}& (x-\mu {)}^T{\Sigma }^{-1}(x-\mu )\\ =& ((A^T{)}^{-1}y-(A^T{)}^{-1}{\mu }_y{)}^T{\Sigma }^{-1}((A^T{)}^{-1}y-(A^T{)}^{-1}{\mu }_y)\\ =& (y-{\mu }_y{)}^T(A^{-1}{)}^T{\Sigma }^{-1}{A}^{-1}(y-{\mu }_y)\\ =& (y-{\mu }_y{)}^T(A^T\Sigma A{)}^{-1}(y-{\mu }_y)\end{array}$

其中${\mu }_y=(A^T{)}^{-1}\mu$

由上式可知$p(\mathbf{y}\mid \omega )\sim N({\mathbf{A}}^{\mathbf{T}}\mu \mid A^T\Sigma A)$

$A^T\Sigma A=(\Phi {\Lambda }^{-1/2}{)}^T\Sigma \Phi {\Lambda }^{-1/2}={\Lambda }^{-1/2}{\Phi }^T\Sigma \Phi \Lambda ={\Lambda }^{-1/2}\Lambda {\Lambda }^{-1/2}=I$

若要变换后的高斯分布$p(\mathbf{y}\mid \omega )\sim N(0\mid I)$，则只需要将y平移$\mu$个单位，因此此变换为：

$y=(A_{\omega }{)}^T(x-\mu )$

( c ) 将整个同样的变换过程应用于点$x_0$以产生一变换点$x_w；$

$x_w=(A_w{)}^T(x_0-\mu )={\left[\frac{1}{2},-\frac{\sqrt{6}}{6},\frac{3\sqrt{14}}{14}\right]}^T$

( d ) 通过详细计算说明，证明原分布中从$x_0$到均值$\mu$的mahalanobis距离与变换后的分布中从$x_{\omega }$到 0 的mahalanobis距离相等；

因为马氏距离的平方为：$nabla^2=(x-mu)T Sigma^{-1}(x-mu) $

所以分别计算变换前和变换后马氏距离的平方可得：

$\begin{array}{rl}& x_0\to \mu ，{\nabla }^2=(x_0-\mu {)}^T{\Sigma }^{-1}(x_0-\mu )=\frac{89}{84}\\ & x_w\to 0，{\nabla }^2=x_w^T{x}_w=\frac{89}{84}\end{array}$

由计算可知，两者的马氏距离相等。

( e ) 概率密度在某个线性变换下是否保持不变？换句话说，对于某线性变换T，是否有$p({\mathbf{x}}_0\mid N(\mu ,\Sigma ))=p(T^t{x}_0\mid N(T^t\mu ,T^t\Sigma T))$？解释原因

通常会变化。以高斯分布为例，分析$p(x)$的表达式，尽管$e$的指数项上的值在变换前后不变，但$|S|$的值变化了，这将使得 $p(x)$的值变化。方差(或协方差矩阵)用于衡量总体与均值的偏离程度。在变换中总体的分布范围会改变，自然会造成方差(或协方差矩阵)的变化。

( f ) 证明：当把一个一般的白化变换$A_{\omega }(A_{\omega }=\Phi {\Lambda }^{-1/2})$应用于一个高斯分布时可保证最终分布的协方差与单位阵$I$成比例，检查变换后的矩阵是否仍具有归一化特性；

证明：令原始高斯分布的协方差矩阵为$\Sigma$ ，变换后高斯分布的协方差矩阵为${\Sigma }_{\omega }$ ，由协方差矩阵的定义

$\Sigma =E[(x-\mu )(x-\mu {)}^T]$

$\begin{array}{rl}{\Sigma }_{\omega }& =E[(A_{\omega }^{T}x-A_{\omega }^T\mu )(A_{\omega }^{T}x-A_{\omega }^T\mu {)}^T]\\ & =E[(A_{\omega }^{T}x-A_{\omega }^T\mu )(x^T{A}_{\omega }-{\mu }^T{A}_{\omega })]\\ & =E[A_{\omega }^T(x-\mu )(x-\mu {)}^T{A}_{\omega })]\\ & =A_{\omega }^{T}E[(x-\mu )(x-\mu {)}^T]A_{\omega })\\ & =A_{\omega }^T\Sigma A_{\omega }\end{array}$

前面的解题中为了方便将$\Phi$取为正交的，在一般情况下表示本征向量的矩阵不一定正交，不妨设为$\Phi =k\Omega$，其中$\Omega$为正交阵，$k$为常数。由于$\Sigma$为对称阵，故有分解$\Sigma =\Omega \Lambda {\Omega }^T$，将之代入${\Sigma }_{\omega }$中有

${\Sigma }_{\omega }=A_{\omega }^T\Omega \Lambda {\Omega }^T{A}_{\omega }=(k\Omega {\Lambda }^{-\frac{1}{2}}{)}^T\Omega \Lambda {\Omega }^T(k\Omega {\Lambda }^{-\frac{1}{2}})=k^2({\Lambda }^{-\frac{1}{2}}{)}^T{\Omega }^T\Omega \Lambda {\Omega }^T\Omega {\Lambda }^{-\frac{1}{2}}$

由于$\Lambda$为对角阵，$({\Lambda }^{-\frac{1}{2}}{)}^T={\Lambda }^{-\frac{1}{2}}$，而${\Omega }^T={\Omega }^{-1}$，因此

${\Sigma }_{\omega }=k^2({\Lambda }^{-\frac{1}{2}}{)}^T{\Omega }^T\Omega \Lambda {\Omega }^T\Omega {\Lambda }^{-\frac{1}{2}}=k^2{\Lambda }^{-\frac{1}{2}}\Lambda {\Lambda }^{-\frac{1}{2}}=k^{2}I$

最后

以上就是激动自行车为你收集整理的机器学习之高斯分布例题的全部内容，希望文章能够帮你解决机器学习之高斯分布例题所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。