语音特征i-Vector EM估计公式推导

“Useful Derivations for i-Vector Based Approach to Data Clustering in Speech Recognition” Yu Zhang
这篇文章较为详细地推到了i-Vecoter的由来，解答了许多困惑，salute!

正文

假设${\mathbf{Y}}^i=\left({\mathbf{y}}_1^i,{\mathbf{y}}_2^i,\dots ,{\mathbf{y}}_{T_i}^i\right)$是一段目标说话人D维的长度为Ti的特征向量序列数据，在i-Vector方法中，我们希望用一个特征超矢量$M(i)$来刻画说话人的这段数据：
$$M(i)=M_0+Tw(i)$$
$M(i)$为目标说话人超矢量,其中$M(0)$是由背景训练训练出的不含目标说话人的GMM-UBM的均值超矢量（多个高斯的均值向量拼接在一起），T是全局差异空间矩阵，w(i) 就是i-Vector，其维度远远小于$M(0)$。
可以这样形象地理解:
假设同一个Beat被许多人拿来写Rap，那么$M(0)$就是这个Beat的旋律，是固定的。然后不同人把几个词如“天气”，“时间”组成w(i) 即i-Vector，然后再将这几个词扩充成高维的句子来组成歌词即$Tw(i)$，最后就得到不同的Music即$M(i)$。

通过MAP来估计w(i)：
$$\begin{array}{rl}\hat{\mathbf{w}}(i)& =\underset{\mathbf{w}(i)}{\mathrm{argmax}}p\left(\mathbf{w}(i)\mid {\mathbf{Y}}^i\right)\\ & =\underset{\mathbf{w}(i)}{\mathrm{argmax}}p\left({\mathbf{Y}}^i\mid \mathbf{w}(i)\right)p(\mathbf{w}(i))\end{array}$$
将GMM-UMP的均值用M(i)对应的均值子向量表示,根据论文进一步写为：
$$p\left({\mathbf{Y}}^i\mid \mathbf{w}(i)\right)\simeq \prod _{t=1}^{T_i}\prod _{k=1}^K\mathcal{N}{\left({\mathbf{y}}_t^i;{\mathbf{M}}_k(i),{\mathbf{R}}_k\right)}^{p\left(k\mid y_t^i,{\mathbf{\Omega }}^{(0)}\right)}$$
where
$$p\left(k\mid {\mathbf{y}}_t^i,{\mathbf{\Omega }}^{(0)}\right)=\frac{c_k\mathcal{N}\left({\mathbf{y}}_t^i;{\mathbf{m}}_k,{\mathbf{R}}_k^{(0)}\right)}{{\sum }_{l=1}^K{c}_l\mathcal{N}\left({\mathbf{y}}_t^i;{\mathbf{m}}_l,{\mathbf{R}}_l^{(0)}\right)}$$
这应该就是EM里E步对隐变量的估计
上面取log后应该是变成了EM里的Q函数（直接复制论文了）：
$$\begin{array}{l}\log p\left({\mathbf{Y}}^i\mid \mathbf{w}(i)\right)={\sum }_{t=1}^{1_i}{\sum }_{k=1}^{11}p\left(k\mid {\mathbf{y}}_t^i,{\mathbf{\Omega }}^{(0)}\right)\log \mathcal{N}\left({\mathbf{y}}_t^i;{\mathbf{M}}_k(i),{\mathbf{R}}_k\right)\\ ={\sum }_{t=1}^{T_i}{\sum }_{k=1}^{K}p\left(k\mid {\mathbf{y}}_t^i,{\mathbf{\Omega }}^{(0)}\right)[\log \frac{1}{(2\pi {)}^{D/2}{|{\mathbf{R}}_k|}^{1/2}}\\ -\frac{1}{2}{\left({\mathbf{y}}_t^i-{\mathbf{m}}_k-{\mathbf{T}}_k\mathbf{w}(i)\right)}^{\top }{\mathbf{R}}_k^{-1}\left({\mathbf{y}}_t^i-{\mathbf{m}}_k-{\mathbf{T}}_k\mathbf{w}(i)\right)]\\ ={\sum }_{t=1}^{T_i}{\sum }_{k=1}^{K}p\left(k\mid {\mathbf{y}}_t^i,{\mathbf{\Omega }}^{(0)}\right)[\log \frac{1}{(2\pi {)}^{D/2}{|{\mathbf{R}}_k|}^{1/2}}-\frac{1}{2}{\left({\mathbf{y}}_t^i-{\mathbf{m}}_k\right)}^{\top }{\mathbf{R}}_k^{-1}\left({\mathbf{y}}_t^i-{\mathbf{m}}_k\right)\\ +{\mathbf{w}}^{\top }(i){\mathbf{T}}_k^{\top }{\mathbf{R}}_k^{-1}\left({\mathbf{y}}_t^i-{\mathbf{m}}_k\right)-\frac{1}{2}{\mathbf{w}}^{\top }(i){\mathbf{T}}_k^{\top }{\mathbf{R}}_k^{-1}{\mathbf{T}}_k\mathbf{w}(i)]\end{array}$$
只有最后两项与w(i)有关定义为：
$$\begin{array}{rl}\mathcal{H}(i)& =\sum _{t=1}^{T_i}\sum _{k=1}^{K}p\left(k\mid {\mathbf{y}}_t^i,{\mathbf{\Omega }}^{(0)}\right)\left[{\mathbf{w}}^{\top }(i){\mathbf{T}}_k^{\top }{\mathbf{R}}_k^{-1}\left({\mathbf{y}}_t^i-{\mathbf{m}}_k\right)-\frac{1}{2}{\mathbf{w}}^{\top }(i){\mathbf{T}}_k^{\top }{\mathbf{R}}_k^{-1}{\mathbf{T}}_k\mathbf{w}(i)\right]\\ =& {\mathbf{w}}^{\top }(i)\mathbf{T}{\mathbf{R}}^{-1}{\mathbf{\Gamma }}_y(i)-\frac{1}{2}{\mathbf{w}}^{\top }(i){\mathbf{T}}^{\top }\mathbf{\Gamma }(i){\mathbf{R}}^{-1}\mathbf{T}\mathbf{w}(i)\end{array}$$
其中$\mathbf{\Gamma }(i)$是$(D\cdot K)\times (D\cdot K)$的对角矩阵，对角线第k个部分的值为${\gamma }_k(i)\ast {\mathbf{I}}_{D\times D}$；
${\mathbf{\Gamma }}_y(i)$是$(D\cdot K)$维的超矢量，${\mathbf{\Gamma }}_{y,k}(i)$是其第k个子矢量。

$${\gamma }_k(i)=\sum _{t=1}^{T_i}p\left(k\mid {\mathbf{y}}_t^i,{\mathbf{\Omega }}^{(0)}\right)$$
$${\Gamma }_{y,k}(i)=\sum _{t=1}^{T_i}p\left(k\mid y_t^i,{\Omega }^{(0)}\right)\left(y_t^i-m_k\right)$$
然后：
$$\begin{array}{l}p\left(\mathbf{w}(i)\mid {\mathbf{Y}}^i\right)\propto p\left({\mathbf{Y}}^i\mid \mathbf{w}(i)\right)p(\mathbf{w}(i))\\ \propto \exp \left({\mathbf{w}}^{\top }(i)\mathbf{T}{\mathbf{R}}^{-1}{\mathbf{\Gamma }}_y(i)-\frac{1}{2}{\mathbf{w}}^{\top }(i){\mathbf{T}}^{\top }\mathbf{\Gamma }(i){\mathbf{R}}^{-1}\mathbf{T}\mathbf{w}(i)\right)\cdot \exp \left(-\frac{1}{2}{\mathbf{w}}^{\top }(i)\mathbf{w}(i)\right)\\ =\exp \left({\mathbf{w}}^{\top }(i)\mathbf{T}{\mathbf{R}}^{-1}{\mathbf{\Gamma }}_y(i)-\frac{1}{2}{\mathbf{w}}^{\top }(i)\left[{\mathbf{T}}^{\top }\mathbf{\Gamma }(i){\mathbf{R}}^{-1}\mathbf{T}+\mathbf{I}\right]\mathbf{w}(i)\right)\\ =\exp \left({\mathbf{w}}^{\top }(i)\mathbf{T}{\mathbf{R}}^{-1}{\mathbf{\Gamma }}_y(i)-\frac{1}{2}{\mathbf{w}}^{\top }(i)l(i)\mathbf{w}(i)\right)\\ \propto \exp \left(-\frac{1}{2}{\left(\mathbf{w}(i)-l^{-1}(i){\mathbf{T}}^{\top }{\mathbf{R}}^{-1}{\mathbf{\Gamma }}_y(i)\right)}^{\top }\mathbf{l}(i)\left(\mathbf{w}(i)-l^{-1}(i){\mathbf{T}}^{\top }{\mathbf{R}}^{-1}{\mathbf{\Gamma }}_y(i)\right)\right)\end{array}$$
w(i)的后验分布就可以写为均值为
$$l^{-1}(i){\mathbf{T}}^{\top }{\mathbf{R}}^{-1}{\mathbf{\Gamma }}_y(i)$$
方差为：
$${\mathbf{l}}^{-1}(i)$$
$$l(i)=I+T^{\top }\mathbf{\Gamma }(i)R^{-1}\mathbf{T}$$
的高斯分布，所以就可以用均值来作为w(i)的估计（很像稀疏贝叶斯）：
$$\hat{\mathbf{w}}(i)=l^{-1}(i){\mathbf{T}}^{\top }{\mathbf{R}}^{-1}{\mathbf{\Gamma }}_y(i)$$
然后在M步通过求导得零估计参数T和R。（省略复制。。）

总结：
E-Step:
$$\begin{array}{rl}E[\mathbf{w}(i)]& =l^{-1}(i){\mathbf{T}}^{\top }{\mathbf{R}}^{-1}{\mathbf{\Gamma }}_y(i)\\ E\left[\mathbf{w}(i){\mathbf{w}}^{\top }(i)\right]& =E[\mathbf{w}(i)]E\left[{\mathbf{w}}^{\top }(i)\right]+{\mathbf{l}}^{-1}(i)\end{array}$$
M-Step:
$$\begin{array}{c}{\mathbf{T}}^m{\sum }_{\mathbf{i}}{\mathbf{\Gamma }}^m(i)E\left[\mathbf{w}(i){\mathbf{w}}^{\top }(i)\right]={\sum }_i{\mathbf{\Gamma }}_{\mathbf{y}}^m(i)E\left[{\mathbf{w}}^{\top }(i)\right]\\ {\mathbf{R}}_k=\frac{1}{{\sum }_i{\gamma }_k(i)}\left({\sum }_i{\mathbf{\Gamma }}_{\mathbf{y}{y}^{\top },k}(i)-M_k\right)\end{array}$$
算法步骤（精华）

1. 用背景数据训练GMM-UBM
2. 用UBM的协方差矩阵做初值初始化R，然后T设置为：
   $${\mathbf{T}}^{m,f}\in \left[-\alpha {\mathbf{R}}^{m,m},\alpha {\mathbf{R}}^{m,m}\right],\forall m=1,\dots ,DK;f=1,\dots ,F$$
   D为输入特征维度，K为混合高斯个数，F为i-Vector维度，${\mathbf{T}}^{m,f}$表示T的m行，N列。
3. 对第i段说话人序列训练数据，计算${\gamma }_k(i),{\mathbf{\Gamma }}_{y,k}(i)$，${\mathbf{\Gamma }}_{y{y}^{\top },k}(i)$来得到
4. E-step:计算$E[\mathbf{w}(i)]$ 和 $E\left[\mathbf{w}(i){\mathbf{w}}^{\top }(i)\right]$
5. 对所有的说话人序列训练数据重复步骤3,4.
6. M-step:更新T和R
7. 如果收敛，结束。否则返回4。

注：不清楚的公式直接看论文。

最后

以上就是昏睡乐曲最近收集整理的关于语音特征i-Vector EM估计公式推导的全部内容，更多相关语音特征i-Vector内容请搜索靠谱客的其他文章。