机器学习理论 || GMM模型

63 阅读 0 评论 42 点赞

我是靠谱客的博主光亮心锁，这篇文章主要介绍机器学习理论 || GMM模型，现在分享给大家，希望可以做个参考。

EM算法的应用—— 高斯混合聚类模型 GMM模型

参考书籍：

周志华.机器学习 P206
李航.统计学习方法 P162
范明译.数据挖掘导论P368

李航.统计学习方法中高斯混合模型仅介绍一元高斯分布的情况，周志华.机器学习则采用多元高斯分布的写法，但求解过程不够突出EM算法的思想。此外，李航.统计学习方法中的一些写法会产生误解。因此下面过程主要根据李航.统计学习方法中的推导方法，但会有部分修正。

GMM算法主要利用EM算法来估计高斯混合模型中的参数，然后根据计算得到的
概率进行聚类。
EM算法原理看这里

1、定义

2、目标函数

理论的目标函数：

求解的目标函数：

3、步骤

（1）首先计算高斯混合模型的参数

输入：观测数据D={y1,y2,y3,…,yn} ,高斯混合模型的个数

输出：高斯混合模型参数

一维高斯混合模型公式根据《统计学习方法》，多维高斯混合模型公式根据《机器学习》

4、注意

如果细心的同学可以看见，迭代更新参数中，一维和多维中方差或协差阵计算所带入的均值有所差异（或者说是两本书的差异）。一维高斯分布参数计算中，方差更新计算带入的是上一步的均值，而多维高斯分布中协差阵带入的是更新后的均值。两者的差异不大，计算方差或协差阵时带入上一步计算的均值或更新后的均值都可以，只要保证收敛即可。一般情况下都是收敛的。