【回归分析】1. 随机向量(1)

2.1 均值向量与协方差阵

当用矩阵形式来表示一个线性模型时，观测向量和误差向量都是随机向量。

• 均值向量：设 $X=(X_1,X_2,\cdots ,X_n{)}^{\prime }$ 为 $n$ 维随机向量，定义 $X$ 的均值向量为
  $$\mathrm{E}(X)={\left(\mathrm{E}(X_1),\mathrm{E}(X_2),\cdots ,\mathrm{E}(X_n)\right)}^{\prime }.$$

• 协方差阵：定义 $n$ 维随机向量 $X$ 的协方差阵为
  $$\mathrm{C}\mathrm{o}\mathrm{v}\left(X\right)=\mathrm{E}\left[(X-\mathrm{E}(X))(X-\mathrm{E}(X){)}^{\prime }\right].$$
  这是一个 $n\times n$​​ 的对称矩阵。

  $\mathrm{C}\mathrm{o}\mathrm{v}(X)$​ 的 $(i,j)$​ 元为 $X_i$​ 和 $X_j$​ 的协方差 $\mathrm{C}\mathrm{o}\mathrm{v}(X_i,X_j)$​ 。

  $\mathrm{C}\mathrm{o}\mathrm{v}(X)$​ 的 $(i,i)$​ 元为 $X_i$​ 的方差 $\mathrm{V}\mathrm{a}\mathrm{r}(X_i)$​ 。

定理 2.1.1：设 $A$​ 为 $m\times n$​ 非随机矩阵，$X$​ 和 $b$​​ 分别为 $n\times 1$ 和 $m\times 1$ 随机向量，记 $Y=AX+b$​ ，则
$$\mathrm{E}(Y)=A\mathrm{E}(X)+b.$$

设 $A=(a_{ij}),b=(b_1,b_2,\cdots ,b_m{)}^{\prime },Y=(Y_1,Y_2,\cdots ,Y_m{)}^{\prime }$ ，于是
$$Y_i=\sum _{j=1}^n{a}_{ij}{X}_j+b_i,i=1,2,\cdots ,m.$$
求均值得
$$\mathrm{E}(Y_i)=\sum _{j=1}^n{a}_{ij}\mathrm{E}(X_j)+\mathrm{E}(b_i),i=1,2,\cdots ,m.$$
改写为矩阵形式得证。

推论 2.1.1：用 $\mathrm{t}\mathrm{r}(\cdot )$​ 表示矩阵的迹，即对角线元素之和，则有
$$\mathrm{t}\mathrm{r}[\mathrm{C}\mathrm{o}\mathrm{v}(X)]=\sum _{i=1}^n\mathrm{V}\mathrm{a}\mathrm{r}(X_i).$$
定理 2.1.2：设 $X$ 为任意的 $n$ 维随机向量，则 $X$ 的协方差矩阵是非负定对称矩阵。

对称性是显然的。对任意的 $n\times 1$ 非随机向量 $c$ ，注意到 $Y=c^{\prime }X$​ 是一个随机变量，考虑其方差
$$\begin{array}{rl}\mathrm{C}\mathrm{o}\mathrm{v}(Y)& =\mathrm{C}\mathrm{o}\mathrm{v}(c^{\prime }X)\\ & \\ & =\mathrm{E}\left[\left(c^{\prime }X-\mathrm{E}\left(c^{\prime }X\right)\right){\left(c^{\prime }X-\mathrm{E}\left(c^{\prime }X\right)\right)}^{\prime }\right]\\ & \\ & =c^{\prime }\mathrm{E}\left[\left(X-\mathrm{E}(X)\right){\left(X-\mathrm{E}(X)\right)}^{\prime }\right]c\\ & \\ & =c^{\prime }\mathrm{C}\mathrm{o}\mathrm{v}(X)c.\end{array}$$
因为 $\mathrm{C}\mathrm{o}\mathrm{v}(Y)$ 是总是非负的，所以对任意的 $c$ 都有 $c^{\prime }\mathrm{C}\mathrm{o}\mathrm{v}(X)c$​ 是非负的，故非负定性得证。

定理 2.1.3：设 $A$ 为 $m\times n$ 非随机矩阵，$X$ 为 $n$ 维随机向量，$Y=AX$ ，则
$$\mathrm{C}\mathrm{o}\mathrm{v}(Y)=A\mathrm{C}\mathrm{o}\mathrm{v}(X)A^{\prime }.$$

根据定义可得，
$$\begin{array}{rl}\mathrm{C}\mathrm{o}\mathrm{v}(Y)& =\mathrm{E}\left[(Y-\mathrm{E}(Y))(Y-\mathrm{E}(Y){)}^{\prime }\right]\\ & \\ & =\mathrm{E}\left[(AX-\mathrm{E}(AX))(AX-\mathrm{E}(AX){)}^{\prime }\right]\\ & \\ & =A\mathrm{E}\left[(X-\mathrm{E}(X))(X-\mathrm{E}(X){)}^{\prime }\right]A^{\prime }\\ & \\ & =A\mathrm{C}\mathrm{o}\mathrm{v}(X)A^{\prime }.\end{array}$$

对于两个不同维度的随机向量 $X$ 和 $Y$​​​ ，我们也可以定义协方差阵，但这里的协方差阵不再是方阵。

• 设 $X$​ 和 $Y$​ 分别为 $n$​ 维和 $m$​ 维随机向量，定义 $X$​ 和 $Y$​ 的协方差阵为
  $$\mathrm{C}\mathrm{o}\mathrm{v}(X,Y)=\mathrm{E}\left[(X-\mathrm{E}(X))(Y-\mathrm{E}(Y){)}^{\prime }\right].$$
  这是一个 $n\times m$​ 的矩阵。$\mathrm{C}\mathrm{o}\mathrm{v}(X,Y)$​ 的 $(i,j)$​ 元为 $X_i$​ 和 $Y_j$​ 的协方差 $\mathrm{C}\mathrm{o}\mathrm{v}(X_i,Y_j)$ 。

定理 2.1.4：设 $X$ 和 $Y$ 分别为 $n$ 维和 $m$ 维随机向量，$A$ 和 $B$ 分别为 $p\times n$ 和 $q\times m$​ 非随机矩阵，则
$$\mathrm{C}\mathrm{o}\mathrm{v}(AX,BY)=A\mathrm{C}\mathrm{o}\mathrm{v}(X,Y)B^{\prime }.$$

根据定义可得，
$$\begin{array}{rl}\mathrm{C}\mathrm{o}\mathrm{v}(AX,BY)& =\mathrm{E}\left[(AX-\mathrm{E}(AX))(BY-\mathrm{E}(BY){)}^{\prime }\right]\\ & \\ & =A\mathrm{E}\left[(X-\mathrm{E}(X))(Y-\mathrm{E}(Y){)}^{\prime }\right]B^{\prime }\\ & \\ & =A\mathrm{C}\mathrm{o}\mathrm{v}(X,Y)B^{\prime }.\end{array}$$

2.2 随机向量的二次型

设 $X=(X_1,X_2,\cdots ,X_n{)}^{\prime }$ 为 $n$ 维随机向量，$A$ 为 $n\times n$ 对称阵，则称随机变量
$$X^{\prime }AX=\sum _{i=1}^n\sum _{j=1}^n{a}_{ij}{X}_i{X}_j$$
为 $X$​ 的二次型。这里要求 $X$ 的协方差阵 $\mathrm{C}\mathrm{o}\mathrm{v}(X)$ 存在。

定理 2.2.1：设 $\mathrm{E}(X)=\mu ,\mathrm{C}\mathrm{o}\mathrm{v}(X)=\Sigma$​ ，则
$$\mathrm{E}\left(X^{\prime }AX\right)={\mu }^{\prime }A\mu +\mathrm{t}\mathrm{r}(A\Sigma ).$$

对随机向量 $X$ 的二次型作如下的变换：
$$\begin{array}{rl}{X}^{\prime }AX& =(X-\mu +\mu {)}^{\prime }A(A-\mu +\mu )\\ & \\ & =(X-\mu {)}^{\prime }A(X-\mu )+{\mu }^{\prime }A(X-\mu )+(X-\mu {)}^{\prime }A\mu +{\mu }^{\prime }A\mu .\end{array}$$
可以证明上式的第二项和第三项的期望为 $0$​ ，即
$$\begin{array}{r}\mathrm{E}\left[{\mu }^{\prime }A(X-\mu )\right]={\mu }^{\prime }A[\mathrm{E}\left(X\right)-\mu ]=0,\\ \\ \mathrm{E}\left[(X-\mu {)}^{\prime }A\mu \right]=[\mathrm{E}\left(X\right)-\mu {]}^{\prime }A\mu =0,\\ \end{array}$$
注意到 $(X-\mu {)}^{\prime }A(X-\mu )$​ 是一个随机变量​，所以有
$$(X-\mu {)}^{\prime }A(X-\mu )=\mathrm{t}\mathrm{r}\left((X-\mu {)}^{\prime }A(X-\mu )\right),$$
利用矩阵的迹的性质 $\mathrm{t}\mathrm{r}(AB)=\mathrm{t}\mathrm{r}(BA)$​​​​​ ，以及求迹和求期望可交换次序，可得
$$\begin{array}{rl}\mathrm{E}\left[(X-\mu {)}^{\prime }A(X-\mu )\right]& =\mathrm{E}\left[\mathrm{t}\mathrm{r}\left((X-\mu {)}^{\prime }A(X-\mu )\right)\right]\\ & \\ & =\mathrm{E}\left[\mathrm{t}\mathrm{r}\left(A(X-\mu )(X-\mu {)}^{\prime }\right)\right]\\ & \\ & =\mathrm{t}\mathrm{r}\left[\mathrm{E}\left[A(X-\mu )(X-\mu {)}^{\prime }\right]\right]\\ & \\ & =\mathrm{t}\mathrm{r}\left[A\mathrm{E}\left[(X-\mu )(X-\mu {)}^{\prime }\right]\right]\\ & \\ & =\mathrm{t}\mathrm{r}(A\Sigma ).\end{array}$$
所以对 $X$ 的二次型求期望可得
$$\begin{array}{rl}\mathrm{E}\left(X^{\prime }AX\right)& =\mathrm{E}\left[(X-\mu {)}^{\prime }A(X-\mu )\right]+0+0+{\mu }^{\prime }A\mu \\ & \\ & =\mathrm{t}\mathrm{r}(A\Sigma )+{\mu }^{\prime }A\mu .\end{array}$$

推论 2.2.1：设 $\mathrm{E}(X)=\mu ,\mathrm{C}\mathrm{o}\mathrm{v}(X)=\Sigma$ ，则

(1) 若 $\mu =0$​​ ，则
$$\mathrm{E}\left(X^{\prime }AX\right)=\mathrm{t}\mathrm{r}(A\Sigma ).$$
(2) 若 $\Sigma ={\sigma }^{2}I$​ ，则
$$\mathrm{E}\left(X^{\prime }AX\right)={\mu }^{\prime }A\mu +{\sigma }^2\mathrm{t}\mathrm{r}(A).$$
(3) 若 $\mu =0,\Sigma =I$ ，则
$$\mathrm{E}\left(X^{\prime }AX\right)=\mathrm{t}\mathrm{r}(A).$$
定理 2.2.2：设随机变量 $X_1,X_2,\cdots ,X_n$ 相互独立，且 $\mathrm{E}(X_i)={\mu }_i$ 。假设 $X_i-{\mu }_i$ 独立同分布，且有
$$\mathrm{V}\mathrm{a}\mathrm{r}(X_i)={\sigma }^2,m_r=\mathrm{E}{\left(X_i-{\mu }_i\right)}^r,r=3,4.$$

记 $X=(X_1,X_2,\cdots ,X_n{)}^{\prime }$ 为 $n$ 维随机向量，其均值向量为 $\mu =({\mu }_1,{\mu }_2,\cdots ,{\mu }_n{)}^{\prime }$ ，设 $A=(a_{ij})$ 为 $n\times n$​​​ 非随机对称矩阵，设 $a=(a_{11},a_{22},\cdots ,a_{nn}{)}^{\prime }$ 为 $A$​ 的对角线元素组成的列向量，则有
$$\mathrm{V}\mathrm{a}\mathrm{r}\left(X^{\prime }AX\right)=\left(m_4-3{\sigma }^4\right)a^{\prime }a+2{\sigma }^4\mathrm{t}\mathrm{r}\left(A^2\right)+4{\sigma }^2{\mu }^{\prime }{A}^2\mu +4m_3{\mu }^{\prime }Aa.$$

写出二次型的方差公式
$$\mathrm{V}\mathrm{a}\mathrm{r}\left(X^{\prime }AX\right)=\mathrm{E}{\left(X^{\prime }AX\right)}^2-{\left[\mathrm{E}\left(X^{\prime }AX\right)\right]}^2.$$
由 $\mathrm{E}(X)=\mu$​ 和 $\mathrm{C}\mathrm{o}\mathrm{v}(X)={\sigma }^{2}I$​ 可推得
$$\mathrm{E}\left(X^{\prime }AX\right)={\mu }^{\prime }A\mu +{\sigma }^2\mathrm{t}\mathrm{r}(A).$$
令 $Z=X-\mu$ ，则 $\mathrm{E}(Z)=0$ ，对随机向量 $X$​​​ 的二次型作类似的变换：
$$\begin{array}{rl}{X}^{\prime }AX& =(X-\mu {)}^{\prime }A(X-\mu )+{\mu }^{\prime }A(X-\mu )+(X-\mu {)}^{\prime }A\mu +{\mu }^{\prime }A\mu \\ & \\ & =Z^{\prime }AZ+{\mu }^{\prime }AZ+Z^{\prime }A\mu +{\mu }^{\prime }A\mu \\ & \\ & =Z^{\prime }AZ+2{\mu }^{\prime }AZ+{\mu }^{\prime }A\mu .\end{array}$$
注意到 ${\mu }^{\prime }AZ$ 和 $Z^{\prime }A\mu$ 都是随机变量，且互为转置关系，所以 ${\mu }^{\prime }AZ=Z^{\prime }A\mu$ 。

对 $X$​​ 的二次型的平方可得
$$\begin{array}{rl}{\left(X^{\prime }AX\right)}^2& ={\left(Z^{\prime }AZ\right)}^2+4{\left({\mu }^{\prime }AZ\right)}^2+{\left({\mu }^{\prime }A\mu \right)}^2\\ & \\ & +2{\mu }^{\prime }A\mu \left[Z^{\prime }AZ+2{\mu }^{\prime }AZ\right]+4{\mu }^{\prime }AZ{Z}^{\prime }AZ.\end{array}$$
下面逐个计算上式所含的每个期望。

首先计算第一项的期望，由于
$${\left(Z^{\prime }AZ\right)}^2=\sum _i\sum _j\sum _k\sum _l{a}_{ij}{a}_{kl}{Z}_i{Z}_j{Z}_k{Z}_l,$$
又因为 $Z_i$ 的独立同分布可得
$$\mathrm{E}\left(Z_i{Z}_j{Z}_k{Z}_l\right)=\{\begin{array}{ll}{m}_4,& i=j=k=l,\\ {\sigma }^4,& i=j\ne k=l;i=k\ne j=l;i=l\ne j=k,\\ 0,& \text{otherwise}.\end{array}$$
于是有
$$\begin{array}{rl}\mathrm{E}{\left(Z^{\prime }AZ\right)}^2& =m_4\left(\sum _{i=1}^n{a}_{ii}^2\right)+{\sigma }^4\left(\sum _{i\ne k}{a}_{ii}{a}_{kk}+\sum _{i\ne j}{a}_{ij}^2+\sum _{i\ne j}{a}_{ij}{a}_{ji}\right)\\ & \\ & =m_4\left(\sum _{i=1}^n{a}_{ii}^2\right)+{\sigma }^4\left(\sum _{i\ne k}{a}_{ii}{a}_{kk}+2\sum _{i\ne j}{a}_{ij}^2\right)\\ & \\ & =m_4\left(\sum _{i=1}^n{a}_{ii}^2\right)+{\sigma }^4\left(\sum _{i\ne k}{a}_{ii}{a}_{kk}+2\left(\sum _{i=1}^n\sum _{j=1}^n{a}_{ij}^2-\sum _{i=1}^n{a}_{ii}^2\right)\right)\\ & \\ & =m_4{a}^{\prime }a+{\sigma }^4\left[{\left[\mathrm{t}\mathrm{r}(A)\right]}^2-a^{\prime }a+2\left[\mathrm{t}\mathrm{r}\left(A^2\right)-a^{\prime }a\right]\right]\\ & \\ & =(m_4-3{\sigma }^4)a^{\prime }a+{\sigma }^4\left[{\left[\mathrm{t}\mathrm{r}(A)\right]}^2+2\mathrm{t}\mathrm{r}\left(A^2\right)\right].\end{array}$$

然后计算第二项的期望
$$\begin{array}{rl}\mathrm{E}{\left({\mu }^{\prime }AZ\right)}^2& =\mathrm{E}\left(Z^{\prime }A\mu {\mu }^{\prime }AZ\right)\\ & \\ & ={\sigma }^2\cdot \mathrm{t}\mathrm{r}\left(A\mu {\mu }^{\prime }{A}^{\prime }\right)\\ & \\ & ={\sigma }^2{\mu }^{\prime }{A}^2\mu .\end{array}$$
接着计算第四项的期望，注意到
$$\mathrm{E}\left(Z^{\prime }AZ\right)={\sigma }^2\mathrm{t}\mathrm{r}(A),\mathrm{E}\left({\mu }^{\prime }AZ\right)=0,$$
所以有
$$\mathrm{E}\left[{\mu }^{\prime }A\mu \left[Z^{\prime }AZ+2{\mu }^{\prime }AZ\right]\right]={\mu }^{\prime }A\mu \left({\sigma }^2\mathrm{t}\mathrm{r}(A)\right).$$
最后计算第五项的期望，定义 $b=A\mu$ ，则有
$$\mathrm{E}\left({\mu }^{\prime }AZ{Z}^{\prime }AZ\right)=\sum _i\sum _j\sum _k{b}_i{a}_{jk}\mathrm{E}\left(Z_i{Z}_j{Z}_k\right).$$
又因为 $Z_i$ 的独立同分布可得
$$
{rm E}left(Z_iZ_jZ_kright)=left{begin{array}{ll}
m_3 , & i=j=k ,

0 , & text{otherwise} .
end{array}
right.
$$于是有$$
{rm E}left(mu’AZZ’AZright)=m_3sum_{i}b_ia_{ii}=m_3b’a=m_3mu’Aa .
$$将上述结果代入二次型的方差公式可得$$
begin{aligned}
{rm Var}left(X’AXright)&=(m_4-3sigma^{4)a’a+sigma}4left[left[{rm tr}(A)right]^2+2{rm tr}left(A^{2right)right]+4sigma}2mu’A^{2mu+left(mu’Amuright)}2
&quad +2mu’Amuleft(sigma^2{rm tr}(A)right)+m_3mu’Aa-left[mu’Amu+sigma^2{rm tr}(A)right]^2
&=(m_4-3sigma^{4)a’a+2sigma}4{rm tr}left(A^{2right)+4sigma}2mu’A^2mu+4m_3mu’Aa .
end{aligned}
$$

2.3 正态随机向量

设 $n$ 维随机向量 $X=(X_1,X_2,\cdots ,X_n{)}^{\prime }$ 具有密度函数
$$f(x)=\frac{1}{(2\pi {)}^{n/2}{\left(\mathrm{d}\mathrm{e}\mathrm{t}(\Sigma )\right)}^{1/2}}\exp \left\{-\frac{1}{2}(x-\mu {)}^{\prime }{\Sigma }^{-1}(x-\mu )\right\},$$
其中 $x=(x_1,x_2,\cdots ,x_n{)}^{\prime }\in {\mathbb{R}}^n$ ，$\mu =({\mu }_1,{\mu }_2,\cdots ,{\mu }_n{)}^{\prime }$ 是 $n$ 维非随机向量 ，$\Sigma$ 是对称正定矩阵，则称 $X$ 为 $n$ 维正态随机向量，记为 $N(\mu ,\Sigma )$ 。

可以证明，$\mu$ 和 $\Sigma$ 分别是 $X$ 的均值向量和协方差矩阵。

记 ${\Sigma }^{1/2}$ 为 $\Sigma$ 的平方根阵，${\Sigma }^{-1/2}$ 为 $\Sigma$ 的逆矩阵，定义
$$Y={\Sigma }^{-1/2}\left(X-\mu \right),$$
则有 $X={\Sigma }^{1/2}Y+\mu$ ，于是 $Y$ 的密度函数为
$$g(y)=f\left({\Sigma }^{1/2}y+\mu \right)\left|J\right|,$$
其中 $J$ 为向量变换的 Jocobi 行列式：
$$J=\left|\begin{array}{cccc}\frac{\partial x_1}{\partial y_1}& \frac{\partial x_1}{\partial y_2}& \cdots & \frac{\partial x_1}{\partial y_n}\\ \frac{\partial x_2}{\partial y_1}& \frac{\partial x_2}{\partial y_2}& \cdots & \frac{\partial x_2}{\partial y_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial x_n}{\partial y_1}& \frac{\partial x_n}{\partial y_2}& \cdots & \frac{\partial x_n}{\partial y_n}\end{array}\right|=\mathrm{d}\mathrm{e}\mathrm{t}\left({\Sigma }^{1/2}\right)=\mathrm{d}\mathrm{e}\mathrm{t}{\left(\Sigma \right)}^{1/2}.$$
所以
$$g(y)=\frac{1}{(2\pi {)}^{n/2}}\exp \left\{-\frac{1}{2}{y}^{\prime }y\right\}=\prod _{i=1}^n\frac{1}{\sqrt{2\pi }}{e}^{-y_i^2/2}.$$

这表明 $Y$ 的 $n$ 个分量相互独立，且同服从 $N(0,1)$ 。因此
$$\mathrm{E}(Y)=0,\mathrm{C}\mathrm{o}\mathrm{v}(Y)=I_n.$$
于是有
$$\mathrm{E}(X)=\mu ,\mathrm{C}\mathrm{o}\mathrm{v}(X)=\Sigma .$$
这里我们称 $Y\sim N\left(0,I_n\right)$ 为多元标准正态分布。

若 $X$ 的协方差矩阵具有如下分块对角矩阵的形式：
$$\Sigma =\left(\begin{array}{cc}{\Sigma }_{11}& 0\\ 0& {\Sigma }_{22}\end{array}\right),$$
这里 ${\Sigma }_{11}$ 为 $m\times m$ 矩阵，其中 $m<n$ ，将 $X,x$ 和 $\mu$ 也分块为
$$X=\left(\begin{array}{c}{X}_1\\ X_2\end{array}\right),x=\left(\begin{array}{c}{x}_1\\ x_2\end{array}\right),\mu =\left(\begin{array}{c}{\mu }_1\\ {\mu }_2\end{array}\right),$$
这里 $X_1,x_1$ 和 ${\mu }_1$ 均为 $m\times 1$ 向量，则 $X$ 的密度函数可以写为
$$f(x)=f_1(x_1)f_2(x_2),$$
其中
$$\begin{array}{rl}& f_1(x_1)=\frac{1}{(2\pi {)}^{m/2}{\left(\mathrm{d}\mathrm{e}\mathrm{t}({\Sigma }_{11})\right)}^{1/2}}\exp \left\{-\frac{1}{2}(x_1-{\mu }_1{)}^{\prime }{\Sigma }_{11}^{-1}(x_1-{\mu }_1)\right\},\\ & \\ & f_2(x_2)=\frac{1}{(2\pi {)}^{(n-m)/2}{\left(\mathrm{d}\mathrm{e}\mathrm{t}({\Sigma }_{22})\right)}^{1/2}}\exp \left\{-\frac{1}{2}(x_2-{\mu }_2{)}^{\prime }{\Sigma }_{22}^{-1}(x_2-{\mu }_2)\right\},\end{array}$$
这表明 $X_1\sim N\left({\mu }_1,{\Sigma }_{11}\right),X_2\sim N\left({\mu }_2,{\Sigma }_{22}\right)$ ，且 $X_1$ 和 $X_2$ 相互独立。

定理 2.3.1：设 $X\sim N(\mu ,\Sigma )$ 是 $n$ 维正态随机向量，

(1) 若 $X,\mu$ 和 $\Sigma$ 分别具有如下的分块形式
$$X=\left(\begin{array}{c}{X}_1\\ X_2\end{array}\right),\mu =\left(\begin{array}{c}{\mu }_1\\ {\mu }_2\end{array}\right),\Sigma =\left(\begin{array}{cc}{\Sigma }_{11}& 0\\ 0& {\Sigma }_{22}\end{array}\right),$$
则 $X_1\sim N\left({\mu }_1,{\Sigma }_{11}\right),X_2\sim N\left({\mu }_2,{\Sigma }_{22}\right)$ ，且 $X_1$ 和 $X_2$ 相互独立。

(2) 若 $\Sigma ={\sigma }^2{I}_n$ ，且 $X=(X_1,X_2,\cdots ,X_n{)}^{\prime },\mu =({\mu }_1,{\mu }_2,\cdots ,{\mu }_n{)}^{\prime }$ ，则 $X$ 的 $n$ 个分量相互独立，且 $X_i\sim N({\mu }_i,{\sigma }^2)$ 。

这里隐含了一个定理：对多元正态分布来说，$X_1$ 与 $X_2$ 不相关，即 $\mathrm{C}\mathrm{o}\mathrm{v}(X_1,X_2)={\Sigma }_{12}=0$ ，可以推出 $X_1$ 与 $X_2$ 相互独立。

定理 2.3.2：设 $n$ 维随机向量 $X\sim N(\mu ,\Sigma )$ ，$A$ 为 $n\times n$ 非随机可逆矩阵，$b$ 为 $n$ 维非随机向量， 记 $Y=AX+b$ ，则 $Y\sim N(A\mu +b,A\Sigma A^{\prime })$ 。

由于 $A$ 可逆，所以 $X=A^{-1}(Y-b)$ ，所以 $Y$ 的密度函数为
$$g(y)=f\left(A^{-1}(y-b)\right)|J|,$$
其中 $J$ 为向量变换的 Jacobi 行列式：
$$J=\left|\begin{array}{cccc}\frac{\partial x_1}{\partial y_1}& \frac{\partial x_1}{\partial y_2}& \cdots & \frac{\partial x_1}{\partial y_n}\\ \frac{\partial x_2}{\partial y_1}& \frac{\partial x_2}{\partial y_2}& \cdots & \frac{\partial x_2}{\partial y_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial x_n}{\partial y_1}& \frac{\partial x_n}{\partial y_2}& \cdots & \frac{\partial x_n}{\partial y_n}\end{array}\right|=\mathrm{d}\mathrm{e}\mathrm{t}{\left(A\right)}^{-1}.$$
注意到
$$\begin{array}{rl}& {\left(\mathrm{d}\mathrm{e}\mathrm{t}(\Sigma )\right)}^{1/2}|J{|}^{-1}={\left[(\mathrm{d}\mathrm{e}\mathrm{t}(\Sigma )(\mathrm{d}\mathrm{e}\mathrm{t}(A){)}^2)\right]}^{1/2}={\left[\mathrm{d}\mathrm{e}\mathrm{t}(A\Sigma A^{\prime })\right]}^{1/2},\end{array}$$
又注意到
( A − 1 ( y − b ) − μ ) ′ Σ − 1 ( A − 1 ( y − b ) − μ ) =    ( A − 1 ( y − ( A μ + b ) ) ) ′ Σ − 1 ( A − 1 ( y − ( A μ + b ) ) ) =    ( y − ( A μ + b ) ) ′ ( A − 1 ) ′ Σ − 1 A − 1 ( y − ( A μ + b ) ) =    ( y − ( A μ + b ) ) ′ ( A Σ A ′ ) − 1 ( y − ( A μ + b ) )   , begin{aligned} &left(A^{-1}(y-b)-muright)'Sigma^{-1}left(A^{-1}(y-b)-muright) \ \ =; &left(A^{-1}left(y-(Amu+b)right)right)'Sigma^{-1}left(A^{-1}left(y-(Amu+b)right)right) \ \ =; &(y-(Amu+b))'left(A^{-1}right)'Sigma^{-1}A^{-1}(y-(Amu+b)) \ \ =; &(y-(Amu+b))'left(ASigma A'right)^{-1}(y-(Amu+b)) , end{aligned} ===​(A−1(y−b)−μ)′Σ−1(A−1(y−b)−μ)(A−1(y−(Aμ+b)))′Σ−1(A−1(y−(Aμ+b)))(y−(Aμ+b))′(A−1)′Σ−1A−1(y−(Aμ+b))(y−(Aμ+b))′(AΣA′)−1(y−(Aμ+b)) ,​
所以 $Y$ 的密度函数为
$$\begin{array}{rl}g(y)& =\frac{1}{(2\pi {)}^{n/2}{\left(\mathrm{d}\mathrm{e}\mathrm{t}(\Sigma )\right)}^{1/2}}\exp \left\{-\frac{1}{2}{\left(A^{-1}(y-b)-\mu \right)}^{\prime }{\Sigma }^{-1}\left(A^{-1}(y-b)-\mu \right)\right\}|J|\\ & \\ & =\frac{1}{(2\pi {)}^{n/2}{\left(\mathrm{d}\mathrm{e}\mathrm{t}\left(A\Sigma A^{\prime }\right)\right)}^{1/2}}\exp \left\{-\frac{1}{2}(y-(A\mu +b){)}^{\prime }{\left(A\Sigma A^{\prime }\right)}^{-1}(y-(A\mu +b))\right\}\end{array}$$
这正是 $N\left(A\mu +b,A\Sigma A^{\prime }\right)$ 的密度函数。

推论 2.3.1：设 $X\sim N(\mu ,\Sigma )$ ，则
$$Y\stackrel{def}{=}{\Sigma }^{-1/2}X\sim N\left({\Sigma }^{-1/2}\mu ,I_n\right),Z\stackrel{def}{=}{\Sigma }^{-1/2}(X-\mu )\sim N\left(0,I_n\right).$$
这个推论表明，我们可以用一个线性变换把各个分量相关且方差不等的多元正态随机向量 $X$ 变换为多元标准正态随机向量 $Z$ 。

推论 2.3.2：设 $X\sim N\left(\mu ,{\sigma }^2{I}_n\right)$ ，$Q$ 为 $n\times n$ 的正交阵，则
$$QX\sim N\left(Q\mu ,{\sigma }^2{I}_n\right).$$
这个推论表明，各个分量相互独立且具有等方差的正态随机向量，经过正交变换后，变为各个分量仍然相互独立且具有等方差的正态随机向量。

定理 2.3.3：设 $X\sim N(\mu ,\Sigma )$ ，将 $X,\mu ,\Sigma$ 分块为
$$X=\left(\begin{array}{c}{X}_1\\ X_2\end{array}\right),\mu =\left(\begin{array}{c}{\mu }_1\\ {\mu }_2\end{array}\right),\Sigma =\left(\begin{array}{cc}{\Sigma }_{11}& {\Sigma }_{12}\\ {\Sigma }_{22}& {\Sigma }_{22}\end{array}\right),$$
其中 $X_1$ 和 ${\mu }_1$ 为 $m\times 1$ 维向量，${\Sigma }_{11}$ 为 $m\times m$ 矩阵，则 $X_1\sim N\left({\mu }_1,{\Sigma }_{11}\right)$ 。

在定理 2.3.2 中取
$$A=\left(\begin{array}{cc}{I}_m& 0\\ -{\Sigma }_{21}{\Sigma }_{11}^{-1}& I_{n-m}\end{array}\right),b=0,$$
则有 $Y=AX\sim N\left(A\mu ,A\Sigma A^{\prime }\right)$ ，由于
$$A\Sigma A^{\prime }=\left(\begin{array}{cc}{\Sigma }_{11}& 0\\ 0& {\Sigma }_{22\cdot 1}\end{array}\right),{\Sigma }_{22\cdot 1}={\Sigma }_{22}-{\Sigma }_{21}{\Sigma }_{11}^{-1}{\Sigma }_{12},$$
所以有
$$Y=\left(\begin{array}{c}{X}_1\\ X_2-{\Sigma }_{21}{\Sigma }_{11}^{-1}{X}_1\end{array}\right)\sim N\left(\left(\begin{array}{c}{\mu }_1\\ {\mu }_2-{\Sigma }_{21}{\Sigma }_{11}^{-1}{\mu }_1\end{array}\right),\left(\begin{array}{cc}{\Sigma }_{11}& 0\\ 0& {\Sigma }_{22\cdot 1}\end{array}\right)\right),$$
由定理 2.3.1.(1) 可知 $X_1\sim N\left({\mu }_1,{\Sigma }_{11}\right)$ 得证。

此外可知 $X_1$ 与 $X_2-{\Sigma }_{21}{\Sigma }_{11}^{-1}{X}_1$ 相互独立。类似地，可以证明 $X_2\sim N\left({\mu }_2,{\Sigma }_{22}\right)$ 。

更一般地，对任意的 $1\le i_1<i_2<\cdots <i_k\le n$ ，有
$${\left(X_{i_1},X_{i_2},\cdots ,X_{i_k}\right)}^{\prime }\sim N\left({\mu }_0,{\Sigma }_0\right),$$
其中
$${\mu }_0=\left(\begin{array}{c}{\mu }_{i_1}\\ ⋮\\ {\mu }_{i_k}\end{array}\right),{\Sigma }_0=\left(\begin{array}{ccc}{\sigma }_{i_1{i}_1}& \cdots & {\sigma }_{i_1{i}_k}\\ ⋮& \ddots & ⋮\\ {\sigma }_{i_k{i}_1}& \cdots & {\sigma }_{i_k{i}_k}\end{array}\right).$$
即正态随机向量的任意维数的子向量仍是正态随机向量。

定理 2.3.4：设 $X\sim N_n(\mu ,\Sigma )$ 是 $n$ 维正态随机向量，$A$ 是 $m\times n$ 矩阵且 $\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(A)=m<n$ ，则
$$Y=AX\sim N_m\left(A\mu ,A\Sigma A^{\prime }\right).$$

将 $A$ 扩充为 $n\times n$ 可逆矩阵
$$C=\left(\begin{array}{c}A\\ B\end{array}\right),$$
由定理 2.3.2 得
$$Z=CX=\left(\begin{array}{c}AX\\ BX\end{array}\right)\sim N\left(\left(\begin{array}{c}A\mu \\ B\mu \end{array}\right),\left(\begin{array}{cc}A\Sigma A^{\prime }& A\Sigma B^{\prime }\\ B\Sigma A^{\prime }& B\Sigma B^{\prime }\end{array}\right)\right).$$
再由定理 2.3.3 得
$$Y=AX\sim N_m\left(A\mu ,A\Sigma A^{\prime }\right).$$

推论 2.3.3：设 $X\sim N_n(\mu ,\Sigma )$ ，$c$ 是 $n$ 维非零向量，则
$$c^{\prime }X\sim N(c^{\prime }\mu ,c^{\prime }\Sigma c).$$
这个推论表明，多元正态随机向量的任意非退化线性组合是一元正态随机变量。

推论 2.3.4：设 $X\sim N_n(\mu ,\Sigma )$ ，均值向量为 $\mu =({\mu }_1,{\mu }_2,\cdots ,{\mu }_n{)}^{\prime }$ ，协方差阵为 $\Sigma =\left({\sigma }_{ij}\right)$ ，则
$$X_i\sim N\left({\mu }_i,{\sigma }_{ii}\right),i=1,2,\cdots ,n.$$
这个推论表明，多元正态随机向量的任一分量为正态随机变量，反之不成立。

最后

以上就是清爽故事为你收集整理的【回归分析】01. 随机向量(1)【回归分析】1. 随机向量(1)的全部内容，希望文章能够帮你解决【回归分析】01. 随机向量(1)【回归分析】1. 随机向量(1)所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。