写在前面的话

最近看模式识别课程的时候卡在了一个地方，见下图：

协方差矩阵倒还知道，自相关矩阵？怎么推导的？它有什么意义？上网查了资料，要么晦涩难懂，要么一堆废话，这里我想尽量用最简洁的语言讲清楚它们。

前置知识

向量的内积与外积

场景：机器学习

样本（n个样本，N个维度（特征））：
X = { x 1 , x 2 , . . . , x n } x i = { w i , 1 , w i , 2 , . . . , w i , N } T i ∈ [ 1 , n ] w j = { w 1 , j , w 2 , j , . . . , w n , j } j ∈ [ 1 , N ] X=left { x_1,x_2,...,x_n right } \ x_i=left { w_{i,1},w_{i,2},...,w_{i,N} right } ^T \ iin left [ 1,n right ] \ w_j=left { w_{1,j},w_{2,j},...,w_{n,j} right }\ jin left [ 1,N right ] \ X={x1​,x2​,...,xn​}xi​={wi,1​,wi,2​,...,wi,N​}Ti∈[1,n]wj​={w1,j​,w2,j​,...,wn,j​}j∈[1,N]
这里的i和j与下面的i和j无关！！！

具体样例（3个样本，4个维度（特征））：
X = { x 1 , x 2 , x 3 } x 1 = { 1 , 2 , 3 , 4 } T x 2 = { 3 , 2 , 1 , 4 } T x 3 = { 2 , 2 , 3 , 4 } T X=left { x_1,x_2,x_3 right } \ x_1=left { 1,2,3,4 right } ^T\ x_2=left { 3,2,1,4 right } ^T\ x_3=left { 2,2,3,4 right } ^T X={x1​,x2​,x3​}x1​={1,2,3,4}Tx2​={3,2,1,4}Tx3​={2,2,3,4}T
方差（后面会频繁用到方差）：

自协方差矩阵

首先定义由各样本向量均值构成的向量$M_X$ ，则样本向量$X$构成的协方差矩阵记为 ：
M X = E ( X ) = { m 1 , m 2 , . . . , m N } T C X , X = E { ( X − M X ) ( X − M X ) T } = [ c 1 , 1 . . . c 1 , N . . . . . . . . . c N , 1 . . . c N , N ] M_X=Eleft ( X right )=left { m_1,m_2,...,m_N right }^T \ C_{X,X}=Eleft{ left ( X-M_X right )left ( X-M_X right ) ^T right} =begin{bmatrix} c_{1,1} & ... & c_{1,N}\ ... & ... & ...\ c_{N,1} & ... &c_{N,N} end{bmatrix} MX​=E(X)={m1​,m2​,...,mN​}TCX,X​=E{(X−MX​)(X−MX​)T}=⎣⎡​c1,1​...cN,1​​.........​c1,N​...cN,N​​⎦⎤​
$c_{i,i}$是$w_i$的方差：
$$c_{i,i}=E\left\{\left(w_i-M_{X,i}\right){\left(w_i-M_{X,i}\right)}^T\right\}=E\left\{{\left|w_i-M_{X,i}\right|}^2\right\}$$
$c_{i,j}$是$w_i$和$w_j$的协方差：
$$c_{i,j}=E\left\{\left(w_i-M_{X,i}\right){\left(w_j-M_{X,j}\right)}^T\right\}$$
通过公式可以知道，自协方差矩阵也是Hermitian矩阵。自协方差矩阵也被称为方差矩阵，用符号$Var(X)$表示。

注意，自协方差矩阵是N*N的方阵，理解协方差矩阵的关键就在于它的计算是不同维度之间的协方差，而不是不同样本之间。拿到一个样本矩阵，最先要明确的就是一行是一个样本还是一个维度。在这里一行是一个维度，一列是一个样本，这一点一定要记住！

具体样例

X = { x 1 , x 2 , x 3 } x 1 = { 1 , 2 , 3 , 4 } T x 2 = { 3 , 2 , 1 , 4 } T x 3 = { 2 , 2 , 3 , 4 } T X = [ 1 3 2 2 2 2 3 1 3 4 4 4 ] X=left { x_1,x_2,x_3 right } \ x_1=left { 1,2,3,4 right } ^T\ x_2=left { 3,2,1,4 right } ^T\ x_3=left { 2,2,3,4 right } ^T\ X=begin{bmatrix} 1 & 3 & 2 \ 2 & 2 & 2 \ 3 & 1 & 3 \ 4 & 4 & 4 \ end{bmatrix} X={x1​,x2​,x3​}x1​={1,2,3,4}Tx2​={3,2,1,4}Tx3​={2,2,3,4}TX=⎣⎢⎢⎡​1234​3214​2234​⎦⎥⎥⎤​

M X = E ( X ) = { m 1 , m 2 , . . . , m N } T m 1 = ( 1 + 3 + 2 ) / 3 = 2 m 2 = ( 2 + 2 + 2 ) / 3 = 2 m 3 = ( 3 + 1 + 3 ) / 3 = 2.5 m 4 = ( 4 + 4 + 4 ) / 3 = 4 M X = { 2 , 3 , 2.5 , 4 } T M_X=Eleft ( X right )=left { m_1,m_2,...,m_N right } ^T \ m_1=(1+3+2)/3=2\ m_2=(2+2+2)/3=2\ m_3=(3+1+3)/3=2.5\ m_4=(4+4+4)/3=4\ M_X=left { 2,3,2.5,4 right } ^T MX​=E(X)={m1​,m2​,...,mN​}Tm1​=(1+3+2)/3=2m2​=(2+2+2)/3=2m3​=(3+1+3)/3=2.5m4​=(4+4+4)/3=4MX​={2,3,2.5,4}T
$$C_{X,X}=E\left\{\left(X-M_X\right){\left(X-M_X\right)}^T\right\}=\left[\begin{array}{ccc}{c}_{1,1}& ...& c_{1,N}\\ ...& ...& ...\\ c_{N,1}& ...& c_{N,N}\end{array}\right]$$
$$X-M_X=\left[\begin{array}{ccc}1-2& 3-2& 2-2\\ 2-3& 2-3& 2-3\\ 3-2.5& 1-2.5& 3-2.5\\ 4-4& 4-4& 4-4\end{array}\right]=\left[\begin{array}{ccc}-1& 1& 0\\ -1& -1& -1\\ 0.5& -1.5& 0.5\\ 0& 0& 0\end{array}\right]$$
$${\left(X-M_X\right)}^T=\left[\begin{array}{cccc}-1& -1& 0.5& 0\\ 1& -1& -1.5& 0\\ 0& -1& 0.5& 0\end{array}\right]$$
$c_{i,i}$是$w_i$的方差：
$$\begin{gathered} c_{i,i}=E\left\{\left(w_i-M_{X,i}\right){\left(w_i-M_{X,i}\right)}^T\right\}=E\left\{{\left|w_i-M_{X,i}\right|}^2\right\} \\ {w}_1-M_{X,1}={\left[\begin{array}{ccc}1-2& 3-2& 2-2\end{array}\right]}^T={\left[\begin{array}{ccc}-1& 1& 0\end{array}\right]}^T \\ \left(x_1-M_{X,1}\right){\left(x_1-M_{X,1}\right)}^T=(-1)\ast (-1)+(1)\ast (1)+0\ast 0=2 \\ E\left\{{\left|w_1-M_{X,1}\right|}^2\right\}=2/n=2/3 \end{gathered}$$

在matlab里面是除以样本数减1的差值，即n-1。

$c_{i,j}$是$w_i$和$w_j$的协方差：
$$\begin{gathered} c_{i,j}=E\left\{\left(w_i-M_{X,i}\right){\left(w_j-M_{X,j}\right)}^T\right\} \\ {w}_1-M_{X,1}={\left[\begin{array}{ccc}1-2& 3-2& 2-2\end{array}\right]}^T={\left[\begin{array}{ccc}-1& 1& 0\end{array}\right]}^T \\ {w}_2-M_{X,2}={\left[\begin{array}{ccc}2-3& 2-3& 2-3\end{array}\right]}^T={\left[\begin{array}{ccc}-1& -1& -1\end{array}\right]}^T \\ \left(x_1-M_{X,1}\right){\left(x_2-M_{X,2}\right)}^T=(-1)\ast (-1)+(1)\ast (-1)+0\ast (-1)=0 \\ E\left\{\left(w_i-M_{X,i}\right){\left(w_j-M_{X,j}\right)}^T\right\}=0/n=0 \end{gathered}$$

自相关矩阵

自相关矩阵定义为样本向量与自身的外积的数学期望，其实就是自协方差矩阵不减均值向量就好：
$$R_{X,X}=E\left(X{X}^T\right)=\left[\begin{array}{ccc}{r}_{1,1}& ...& r_{1,N}\\ ...& ...& ...\\ r_{N,1}& ...& r_{N,N}\end{array}\right]$$

$r_{i,i}$是$w_i$的自相关系数：
$$r_{i,i}=E\left\{w_i{w}_i^T\right\}=E\left\{{\left|w_i\right|}^2\right\}$$
$r_{i,j}$是$w_i$和$w_j$的互相关系数：
$$r_{i,j}=E\left\{w_i{w}_j^T\right\}$$
自相关矩阵是复共轭对称的，即为Hermitian矩阵。

这里就不举例了，计算方法都相似~

自相关矩阵与自协方差矩阵的关系

自相关矩阵与自协方差矩阵存在如下关系：
$$C_{X,X}=R_{X,X}-M_X{M}_X^T$$

互协方差矩阵

考虑又一个数据集，样本数量无所谓，但是特征数一定要是N：
Y = { y 1 , y 2 , . . . , y n } T Y=left { y_1,y_2,...,y_n right }^T Y={y1​,y2​,...,yn​}T
通过自协方差矩阵的推广，可以得到样本向量$X$与$Y$的互协方差矩阵，定义为：
$$\begin{gathered} M_X=E\left(X\right) \\ {M}_Y=E\left(Y\right) \\ {C}_{X,Y}=E\left\{\left(X-M_X\right){\left(Y-M_Y\right)}^T\right\}=\left[\begin{array}{ccc}{c}_{w_{x1},w_{y1}}& ...& c_{w_{x1},w_{yN}}\\ ...& ...& ...\\ c_{w_{xN},w_{y1}}& ...& c_{w_{xN},w_{yN}}\end{array}\right] \end{gathered}$$
互协方差表示两个向量对应元素减去各自期望，再相乘再做期望。

$\left(X-M_X\right),{\left(Y-M_Y\right)}^T$表示两个零期望的随机序列。

互相关矩阵

通过自相关矩阵的推广，可以得到样本向量$X$与$Y$的互相关矩阵，定义为：
$$R_{X,Y}=E\left(X{Y}^T\right)=\left[\begin{array}{ccc}{r}_{w_{x1},w_{y1}}& ...& r_{w_{x1},w_{yN}}\\ ...& ...& ...\\ r_{w_{xN},w_{y1}}& ...& r_{w_{xN},w_{yN}}\end{array}\right]$$
互相关表示两个向量对应元素相乘的期望。

互相关矩阵与互协方差矩阵的关系

互相关矩阵与互协方差矩阵存在如下关系：
$$C_{X,Y}=R_{X,Y}-M_X{M}_Y^T$$
当样本向量$X$与$Y$的维数不同时，他们的互相关矩阵和互协方差矩阵为非方阵，当他们的维数相同时，他们的互相关矩阵与互协方差矩阵为方阵，但仍不为复共轭对称矩阵。

如果$X$与$Y$这两个序列的期望$E(X)$与$E(Y)$为0，那么互相关矩阵和互协方差矩阵是一样的。

性质

协方差矩阵与互协方差矩阵由如下的性质：
（1）自协方差矩阵是复共轭转置对称的；
（2）线性组合向量$Ax+b$的自协方差矩阵$C_{Ax+b}=C_{Ax}=A{C}_x{A}^T$；
（3）互协方差矩阵不是复共轭转置对称的，但是满足$C_{x,y}=C_{y,x}^T$；
（4）$C_{x_1+x_2,y}=C_{x_1,y}+C_{x_2,y}$；
（5）若随机向量$X$与$Y$具有相同的维数，则$C_{x+y}=C_x+C_{x,y}+C_{y,x}+C_y$;
（6）$C_{Ax,By}=A{C}_{x,y}{B}^T$；

相关系数

自协方差矩阵和互协方差矩阵主要用于描述矩阵各行，列向量之间的相关程度，但由于其元素是自协方差矩阵，互协方差函数的绝对大小，有的时候在衡量相关度的时候并不准确，因而需要引入相关系数的概念，定义为：
$${\rho }_{xy}\stackrel{def}{\Rightarrow }\frac{c_{x,y}}{{\sigma }_x{\sigma }_y}$$
其中， 是随机变量$X$与$Y$的互协方差， ${\sigma }_x^2$与${\sigma }_y^2$则表示$X$与$Y$的方差。由Caucht-Schwartz不等式可以知道$0\le \left|{\rho }_{xy}\right|\le 1$。相关系数${\rho }_{xy}$给出了随机向量$X$与$Y$的相关程度，接近于0说明两个向量的相似度越小，越接近于1说明两个向量的相似度越大。

最后

以上就是孝顺铃铛为你收集整理的【什么是自相关矩阵，自协方差矩阵，互相关矩阵，互协方差矩阵？】写在前面的话前置知识自协方差矩阵自相关矩阵自相关矩阵与自协方差矩阵的关系互协方差矩阵互相关矩阵互相关矩阵与互协方差矩阵的关系性质相关系数的全部内容，希望文章能够帮你解决【什么是自相关矩阵，自协方差矩阵，互相关矩阵，互协方差矩阵？】写在前面的话前置知识自协方差矩阵自相关矩阵自相关矩阵与自协方差矩阵的关系互协方差矩阵互相关矩阵互相关矩阵与互协方差矩阵的关系性质相关系数所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。