漫步数理统计二十一——变换：随机向量

前面的文章中提到，两个连续型随机变量的两个函数联合pdf 的行列式基本上是数学分析中处理二重积分变换变换时一个定理的推论，这个定理自然可以扩展到$n$重积分，考虑$n$维空间$textbf{S}$的子集$A$上的积分形式

$$int_{A}cdotsint h(x_1,x_2,ldots,x_n)dx_1dx_2cdots dx_n$$

令

$$y_1=u_1(x_1,x_2,ldots,x_n),y_2=u_2(x_1,x_2,ldots,x_n),ldots,y_n=u_n(x_1,x_2,ldots,x_n)$$

是将$textbf{S}$映射到$y_1,y_2,ldots,y_n$所在$textbf{T}$空间的一对一变换，因此就将$textbf{S}$的子集$A$映射到$textbf{T}$的子集$B$，另外其逆函数为

$$x_1=w_1(y_1,y_2,ldots,y_n),x_2=w_2(y_1,y_2,ldots,y_n),ldots,x_n=w_n(y_1,y_2,ldots,y_n)$$

。令逆函数的一阶偏导为连续的且$ntimes n$的行列式(称为雅克比)

$$J= begin{vmatrix} frac{partial x_1}{partial y_1}&frac{partial x_1}{partial y_2}&cdots&frac{partial x_1}{partial y_n}\ frac{partial x_2}{partial y_1}&frac{partial x_2}{partial y_2}&cdots&frac{partial x_2}{partial y_n}\ vdots&vdots&&vdots\ frac{partial x_n}{partial y_1}&frac{partial x_n}{partial y_2}&cdots&frac{partial x_n}{partial y_n} end{vmatrix}$$

不等于$textbf{T}$中的零，那么

$$begin{align*} &int_Acdotsint h(x_1,x_2,ldots,x_n)dx_1dx_2cdots dx_n\ &=int_Bcdotsint h[w_1(y_1,ldots,y_n),w_2(y_1,ldots,y_n),ldots,w_n(y_1,ldots,y_n)]|J|dy_1dy_2cdots dy_n end{align*}$$

只要这个定理的条件满足，我们就能确定$n$个随机变量的$n$个函数的联合pdf。

$textbf{例1：}$令$X_1,X_2，X_3$的联合pdf为

$$h(x_1,x_2,x_3)= begin{cases} 48x_1x_2x_3&0<x_1<x_2<x_3<1\ 0&elsewhere end{cases}$$

如果$Y_1=X_1/X_2,Y_2=X_2/X_3,Y_3=X_3$，那么逆变换为

$$x_1=y_1y_2y_3,x_2=y_2y_3,x_3=y_3$$

雅克比为

$$J= begin{vmatrix} y_2y_3&y_1y_3&y_1y_2\ 0&y_3&y_2\ 0&0&1 end{vmatrix} =y_2y_3^2$$

定义在支撑上的不等式等价于

$$0<y_1y_2y_3,y_1y_2y_3<y_2y_3,y_2y_3<y_3,y_3<1$$

变为$Y_1,Y_2,Y_3$的支撑$textbf{T}={(y_1,y_2,y_3):0<y_i<1,i=1,2,3}$。因此$Y_1,Y_2,Y_3$的联合pdf为

$$begin{align*} g(y_1,y_2,y_3) &=48(y_1y_2y_3)(y_2y_3)y_3|y_2y_3^2|\ &=begin{cases} 48y_1y_2^3y_3^5&0<y_i<1,i=1,2,3\ 0&elsewhere end{cases} end{align*}$$

边缘pdf为

$$begin{align*} &g_1(y_1)=2y_1,0<y_1<1,zero elsewhere,\ &g_2(y_2)=4y_2^3,0<y_2<1,zero elsewhere,\ &g_3(y_3)=6y_3^5,0<y_3<1,zero elsewhere end{align*}$$

因为$g(y_1,y_2,y_3)=g_1(y_1)g_2(y_2)g_3(y_3)$，所以随机变量$Y_1,Y_2,Y_3$互相独立。

$textbf{例2：}$令$X_1,X_2,X_3$是独立同分布的随机变量，其共同的pdf为

$$f(x)= begin{cases} e^{-x}&0<x<infty\ 0&elsewhere end{cases}$$

所以$X_1,X_2,X_3$的联合pdf为

$$f_{X_1,X_2,X_3}(x_1,x_2,x_3)= begin{cases} e^{-Sigma_{i=1}^3x_i}&0<x_i<infty,i=1,2,3\ 0&elsewhere end{cases}$$

考虑随机变量$Y_1,Y_2,Y_3$，定义为

$$Y_1=frac{X_1}{X_1+X_2+X_3},Y_2=frac{X_2}{X_1+X_2+X_3},Y_3=X_1+X_2+X_3$$

因此逆变换为

$$x_1=y_1y_3,x_2=y_2y_3,x_3=y_3-y_1y_3-y_2y_3$$

其雅克比为

$$J= begin{vmatrix} y_3&0&y_1\ 0&y_3&y_2\ -y_3&-y_3&1-y_1-y_2 end{vmatrix} =y_3^2$$

$X_1,X_2,X_3$的支撑映射到

$$0<y_1y_3<infty,0<y_2y_3<infty,0<y_3(1-y_1-y_2)<infty$$

这等价于

$$textbf{T}={(y_1,y_2,y_3):0<y_1,0<y_2,0<1-y_1-y_2,0<y_3<infty}$$

因此$Y_1,Y_2,Y_3$的联合pdf为

$$g(y_1,y_2,y_3)=y_3^2e^{-y_3},(y_1,y_2,y_3)intextbf{T}$$

$Y_1$的边缘pdf为

$$g_1(y_1)=int_0^{1-y_1}int_0^{infty}y_3^2e^{-y_3}dy_3dy_2=2(1-y_1),0<y_1<1$$

其他地方为零。同样的$Y_2$的边缘pdf为

$$g_2(y_2)=2(1-y_2), 0<y_2<1$$

其他地方为零，而$Y_3$的pdf为

$$g_3(y_3)=int_0^1int_0^{1-y_1}y_3^2e^{-y_3}dy_2dy_1=frac{1}{2}y_3^2e^{-y_3}, 0<y_3<infty$$

其他地方为零。因为$g(y_1,y_2,y_3)neq g_1(y_1)g_2(y_2)g_3(y_3)$，所以$Y_1,Y_2,Y_3$是相关的随机变量。

然而，注意$Y_1,Y_3$的联合pdf为

$$g_{13}(y_1,y_3)=int_0^{1-y_1}y_1^2e^{-y_3}dy_2=(1-y_1)y_3^2e^{-y_3}, 0<y_1<1,0<y_3<infty$$

其他地方为零。因此$Y_1,Y_3$是独立的。同样可得$Y_2,Y_3$是独立的。因为$Y_1,Y_2$的联合pdf为

$$g_{12}(y_1,y_2)=int_0^{infty}y_3^2e^{-y_3}dy_3=2, 0<y_1,0<y_2,y_1+y_2<1$$

其他地方为零，$Y_1,Y_2$是独立的。

接下来我们考虑变换变量时遇到的其他问题。令$X$满足柯西pdf

$$f(x)=frac{1}{pi(1+x^2)}, -infty<x<infty$$

并令$Y=X^2$，我们现在要找$Y$的pdf$g(y)$，考虑变换$y=x^2$，这个变换将$X$的空间$textbf{S}={x:-infty<x<infty}$映射到$textbf{T}={y:0leq y<infty}$。然而变换不是一对一的，对于每个$yintextbf{T}$(除了$y=0$)，他们对应两个点$xintextbf{S}$。例如，如果$y=4$，那么要么$x=2$要么$x=-2$。对于这样的例子，我们将$textbf{S}$表示成两个不相交集合$A_1,A_2$的并，使得$y=x^2$为将$A_1,A_2$映射到$textbf{T}$上的一对一变换。如果取$A_1$为${x:-infty<x<0},A_2$为${x:0leq x<infty}$，可以看出$A_1$被映射到${y:0<y<infty}$，$A_2$被映射到${x:0leq y<infty}$，这些集合是不同的。困难在于$x=0$是$textbf{S}$中的元素，那么我们为何不回到柯西pdf取$f(0)=0$呢？这样的话我们的$textbf{S}={-infty<x<infty,xneq 0}$，就可以取$A_1={x:-infty<x<0},A_2={x:0<x<infty}$，那么逆变换为$x=-sqrt{y}$的$y=x^2$将$A_1$映射到$textbf{T}={x:0<x<infty}$，变换是一对一的。进一步，逆变换为$x=sqrt{y}$的$y=x^2$将$A_2$映射到$textbf{T}={y:0<y<infty}$，变换是一对一的。考虑概率$P(Yin B)$，其中$Bsubsettextbf{T}$，令$A_3={x:x=-sqrt{y},yin B}subset A_1,A_4={x:x=sqrt{y},yin B}subset A_2$，那么当且仅当$Xin A_3$或者$Xin A_4$时$Yin B$，所以我们有

$$begin{align*} P(Yin B) &=P(Xin A_3)+P(Xin A_4)\ &=int_{A_3}f(x)dx+int_{A_4}f(x)dx end{align*}$$

对第一个积分，令$x=-sqrt{y}$，那么雅克比$J_1$为$-1/2sqrt{y}$；进一步，集合$A_3$被映射到$B$上。对第二个积分，令$x=sqrt{y}$，那么雅克比$J_2$为$1/2sqrt{y}$；进一步，集合$A_4$也别映射到$B$上。最终

$$begin{align*} P(Yin B) &=int_{B}f(-sqrt{y})left|-frac{1}{2sqrt{y}}right|dy+int_{B}f(sqrt{y})frac{1}{sqrt{y}}dy\ &=int_{B}[f(-sqrt{y})+f(sqrt{y})]frac{1}{2sqrt{y}}dy end{align*}$$
$Y$的pdf为
$$g(y)=frac{1}{2sqrt{y}}[f(-sqrt{y})+f(sqrt{y})], yintextbf{T}$$

因为$f(x)$是柯西pdf，所以我们有

$$g(y)= begin{cases} frac{1}{pi(1+y)sqrt{y}}&0<y<infty\ 0&elsewhere end{cases}$$

前面这些连续型随机变量的讨论中，我们有两个逆函数$x=-sqrt{y},x=sqrt{y}$，这也是为什么我们要将$textbf{S}$分成两个不相交的子集，从而使得变换$y=x^2$ 将每个集合映射到$textbf{T}$上。如果有三个逆函数，我们可以将$textbf{S}$分成三个不相交的集合，等等。

令$h(x_1,x_2,ldots,x_n)$是连续型随机变量$X_1,X_2,ldots,X_n$的联合pdf，令$textbf{S}$表示$h(x_1,x_2,ldots,x_n)>0$的$n$维空间并考虑变换$y_1=u_1(x_1,x_2,ldots,x_n),ldots,y_n=u_n(x_1,x_2,ldots,x_n)$，将$textbf{S}$映射到$textbf{T}$。对于$textbf{S}$ 中的每个点只对应$textbf{T}$中的一个点；但是$textbf{T}$中的一个点可能对应$textbf{S}$中的多个点，即变换不是一对一的。然而假设我们能用有限个互不相交的集合$A_1,A_2,ldots,A_k$并表示$textbf{S}$，使得

$$y_1=u_1(x_1,x_2,ldots,x_n),ldots,y_n=u_n(x_1,x_2,ldots,x_n)$$

是$A_i$到$textbf{T}$的一对一变换，那么$textbf{T}$ 中的每个点只对应$A_1,A_2,ldots,A_k$中的一个点。对$i=1,ldots,k$，令

$$x_1=w_{1i}(y_1,y_2,ldots,y_n),x_2=w_{2i}(y_1,y_2,ldots,y_n),ldots,x_n=w_{ni}(y_1,y_2,ldots,y_n)$$

表示$k$组$n$个逆函数。令一阶偏导连续且每个

$$J_i= begin{vmatrix} frac{partial w_{1i}}{partial y_1}&frac{partial w_{1i}}{partial y_2}&cdots&frac{partial w_{1i}}{partial y_n}\ frac{partial w_{2i}}{partial y_1}&frac{partial w_{2i}}{partial y_2}&cdots&frac{partial w_{2i}}{partial y_n}\ vdots&vdots&&vdots\ frac{partial w_{ni}}{partial y_1}&frac{partial w_{ni}}{partial y_2}&cdots&frac{partial w_{ni}}{partial y_n} end{vmatrix} , i=1,2,ldots,k$$

不等于$textbf{T}$中的零。考虑$k$个互斥事件并的概率以及变量变换方法，可以看出$Y_1=u_1(X_1,X_2,ldots,X_n),Y_2=u_2(X_1,X_2,ldots,X_n),ldots,Y_n=u_n(X_1,X_2,ldots,X_n)$ 的联合pdf为

$$g(y_1,y_2,ldots,y_n)=sum_{i=1}^k|J_i|h[w_{1i}(y_1,ldots,y_n),ldots,w_{ni}(y_1,ldots,y_n)]$$

其他地方为零，这里假设$(y_1,y_2,ldots,y_n)intextbf{T}$。任何$Y_i$的pdf，假设为$Y_1$是

$$g_1(y_1)=int_{-infty}^{infty}cdotsint_{-infty}^{infty}g(y_1,y_2,ldots,y_n)dy_2cdots dy_n$$

$textbf{例3：}$令$X_1,X_2$的联合pdf定义在单位圆上

$$f(x_1,x_2)= begin{cases} frac{1}{pi}&0<x_1^2+x_2^2<1\ 0&elsewhere end{cases}$$

令$Y_1=X_1^2+X_2^2,Y_2=X_1^2/(X_1^2+X_2^2)$，那么$y_1y_2=x_1^2,x_2^2=y_1(1-y_2)$，支撑$mathcal{S}$映射到$textbf{T}={(y_1,y_2):0<y_i<1,i=1,2}$。对每个有序数对$(y_1,y_2)intextbf{T}$，在$textbf{S}$中有四个点

$$begin{align*} &(x_1,x_2)text{使得}x_1=sqrt{y_1y_2},x_2=sqrt{y_1(1-y_2)}\ &(x_1,x_2)text{使得}x_1=sqrt{y_1y_2},x_2=-sqrt{y_1(1-y_2)}\ &(x_1,x_2)text{使得}x_1=-sqrt{y_1y_2},x_2=sqrt{y_1(1-y_2)}\ &(x_1,x_2)text{使得}x_1=-sqrt{y_1y_2},x_2=-sqrt{y_1(1-y_2)} end{align*}$$

第一个雅克比为

$$begin{align*} J_1&= begin{vmatrix} frac{1}{2}sqrt{y_2/y_1}&frac{1}{2}sqrt{y_1/y_2}\ frac{1}{2}sqrt{(1-y_2)/y_1}&-frac{1}{2}sqrt{y_1/(1-y_2)} end{vmatrix}\ &=frac{1}{4}left{-sqrt{frac{1-y_2}{y_2}}-sqrt{frac{y_2}{1-y_2}}right}=-frac{1}{4}frac{1}{sqrt{y_2(1-y_2)}} end{align*}$$

很容易看出这四个雅克比的绝对值都等于$1/4sqrt{y_2(1-y_2)}$。因此$Y_1,Y_2$的联合pdf是这四项的和，可写成

$$g(y_1,y_2)=4frac{1}{pi}frac{1}{4sqrt{y_2(1-y_2)}}=frac{1}{pisqrt{y_2(1-y_2)}},(y_1,y_2)intextbf{T}$$

所以$Y_1,Y_2$是独立的随机变量。

当然与二元情况一样，注意到如果$Y=g(X_1,X_2,ldots,X_n)$是随机变量的函数，我们可以使用mgf方法，连续情况$Y$的mgf为

$$E(e^{tY})=int_{-infty}^{infty}int_{-infty}^{infty}cdotsint_{-infty}^{infty}e^{tg(x_1,x_2,ldots,x_n)}h(x_1,x_2,ldots,x_n)dx_1dx_2cdots dx_n$$

其中$h(x_1,x_2,ldots,x_n)$是联合pdf。对于离散情况，只需要用求和符号代替积分即可，这个过程在处理独立随机变量的线性函数是非常有用。

$textbf{例4：}$令$X_1,X_2,X_3$是独立的随机变量，联合pmf为

$$p(x_1,x_2,x_3)= begin{cases} frac{mu_1^{x_1}mu_2^{x_2}mu_3^{x_3}e^{-mu_1-mu_2-mu_3}}{x_1!x_2!x_3!}&x_i=0,1,2,ldots,i=1,2,3\ 0&elsewhere end{cases}$$

如果$Y=X_1+X_2+X_3$，那么$Y$的mgf为

$$begin{align*} E(e^{tY}) &=E(e^{t(X_1+X_2+X_3)})\ &=E(e^{tX_1}e^{tX_2}e^{tX_3})\ &=E(e^{tX_1})E(e^{tX_2})E(e^{tX_3}) end{align*}$$

因为$X_1,X_2,X_3$是独立的，且之前的例子中已求出

$$E(e^{tX_i})=exp{mu_i(e^t-1)},i=1,2,3$$

因此

$$E(e^{tY})=exp{(mu_1+mu_2+mu_3)(e^t-1)}$$

然而这时pmf

$$p_Y(y)= begin{cases} frac{{mu_1+mu_2+mu_3}^ye^{-(mu_1+mu_2mu_3)}}{y!}&y=0,1,2,ldots\ 0&elsewhere end{cases}$$

所以这就是$Y=X_1+X_2+X_3$的分布。

$textbf{例5：}$令$X_1,X_2,X_3,X_4$是独立的随机变量且共同的pdf为

$$f(x)= begin{cases} e^{-x}&x>0\ 0&elsewhere end{cases}$$

如果$Y=X_1+X_2+X_3+X_4$，那么与上例一样，$X_1,X_2,X_3,X_4$独立就意味着

$$E(e^{tY})=E(e^{tX_1})E(e^{tX_2})E(e^{tX_3})E(e^{tX_4})$$

之前我们求出

$$E(e^{tX_i})=(1-t)^{-1},t<1,i=1,2,3,4$$

因此

$$E(e^{tY})=(1-t)^{-4}$$

随后我们会看到这就是pdf为

$$f_Y(y)= begin{cases} frac{1}{3!}y^3e^{-y}&0<y<infty\ 0&elsewhere end{cases}$$

分布的mgf，因此这就是 Y <script type="math/tex" id="MathJax-Element-4242">Y</script>的分布。

最后

以上就是无奈苗条最近收集整理的关于漫步数理统计二十一——变换：随机向量的全部内容，更多相关漫步数理统计二十一——变换内容请搜索靠谱客的其他文章。