我是靠谱客的博主 时尚煎蛋,最近开发中收集的这篇文章主要介绍EM算法求高斯混合模型参数估计-python,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

#coding:gbk
import math
import copy
import numpy as np
import matplotlib.pyplot as plt

isdebug = False

# 指定k个高斯分布参数,这里指定k=2。注意2个高斯分布具有相同均方差Sigma,分别为Mu1,Mu2。
def ini_data(Sigma,Mu1,Mu2,k,N):
	global X
	global Mu
	global Expectations
	X = np.zeros((1,N))
	Mu = np.random.random(2)
	Expectations = np.zeros((N,k))
	for i in xrange(0,N):
		if np.random.random(1) > 0.5:
			X[0,i] = np.random.normal()*Sigma + Mu1
		else:
			X[0,i] = np.random.normal()*Sigma + Mu2
	if isdebug:
		print "***********"
		print u"初始观测数据X:"
		print X
# EM算法:步骤1,计算E[zij]
def e_step(Sigma,k,N):
	global Expectations
	global Mu
	global X
	for i in xrange(0,N):
		Denom = 0
		for j in xrange(0,k):
			Denom += math.exp((-1/(2*(float(Sigma**2))))*(float(X[0,i]-Mu[j]))**2)
		for j in xrange(0,k):
			Numer = math.exp((-1/(2*(float(Sigma**2))))*(float(X[0,i]-Mu[j]))**2)
			Expectations[i,j] = Numer / Denom
	if isdebug:
		print "***********"
		print u"隐藏变量E(Z):"
		print Expectations
# EM算法:步骤2,求最大化E[zij]的参数Mu
def m_step(k,N):
	global Expectations
	global X
	for j in xrange(0,k):
		Numer = 0
		Denom = 0
		for i in xrange(0,N):
			Numer += Expectations[i,j]*X[0,i]
			Denom +=Expectations[i,j]
		Mu[j] = Numer / Denom 
# 算法迭代iter_num次,或达到精度Epsilon停止迭代
def run(Sigma,Mu1,Mu2,k,N,iter_num,Epsilon):
	ini_data(Sigma,Mu1,Mu2,k,N)
	print u"初始<u1,u2>:", Mu
	for i in range(iter_num):
		Old_Mu = copy.deepcopy(Mu)
		e_step(Sigma,k,N)
		m_step(k,N)
		print i,Mu
		if sum(abs(Mu-Old_Mu)) < Epsilon:
			break
if __name__ == '__main__':
   run(6,40,20,2,1000,1000,0.0001)
   plt.hist(X[0,:],50)
   plt.show()

EM算法一般表述:

       当有部分数据缺失或者无法观察到时,EM算法提供了一个高效的迭代程序用来计算这些数据的最大似然估计。在每一步迭代分为两个步骤:期望(Expectation)步骤和最大化(Maximization)步骤,因此称为EM算法。

       假设全部数据Z是由可观测到的样本X={X1, X2,……, Xn}和不可观测到的样本Z={Z1, Z2,……, Zn}组成的,则Y = X∪Z。EM算法通过搜寻使全部数据的似然函数Log(L(Z; h))的期望值最大来寻找极大似然估计,注意此处的h不是一个变量,而是多个变量组成的参数集合。此期望值是在Z所遵循的概率分布上计算,此分布由未知参数h确定。然而Z所遵循的分布是未知的。EM算法使用其当前的假设h`代替实际参数h,以估计Z的分布。

                                                             Q( h`| h) = E [ ln P(Y|h`) | h, X ]

       EM算法重复以下两个步骤直至收敛。

       步骤1:估计(E)步骤:使用当前假设h和观察到的数据X来估计Y上的概率分布以计算Q( h` | h )。

                                                              Q( h` | h ) ←E[  ln P(Y|h`) | h, X ]

       步骤2:最大化(M)步骤:将假设h替换为使Q函数最大化的假设h`:

                                                              h   ←argmaxQ( h` | h )

高斯混合模型参数估计问题:

简单起见,本问题研究两个高斯混合模型参数估计k=2。

       问题描述:假设X是由k个高斯分布均匀混合而成的,这k个高斯分布的均值不同,但是具有相同的方差。设样本值为x1, x2, ……, xn,xi可以表示为一个K+1元组< xi, zi1, zi2, …, zik>,其中只有一个取1,其余的为0。此处的zi1到zik为隐藏变量,是未知的。且任意zij被选择的概率相等,即

                                                 P(zij = 1)=1/k (j=1,2,3.....k)

最后

以上就是时尚煎蛋为你收集整理的EM算法求高斯混合模型参数估计-python的全部内容,希望文章能够帮你解决EM算法求高斯混合模型参数估计-python所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(71)

评论列表共有 0 条评论

立即
投稿
返回
顶部