漫步数理统计二十七——t与F分布

66 阅读 0 评论 44 点赞

我是靠谱客的博主失眠大侠，最近开发中收集的这篇文章主要介绍漫步数理统计二十七——t与F分布，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

本篇博文定义两个非常重要的分布，它们在一些统计推断问题中非常有用，也就是 $t$ 分布与 $F$ 分布。

令 $W$ 表示满足 $N(0,1)$ 分布的随机变量； $V$ 表示满足 $chi^2(r)$ 分布的随机变量；且 $W,V$ 独立，那么 $W,V$ 的联合pdf，表示为 $h(w,v)$ ，就是 $W$ 的pdf与 $V$ 的pdf乘积，或者

h (w, v) = {1 2 π \sqrt e - w 2 / 2 1 Γ ( r / 2 ) 2 r / 2 v r / 2 - 1 e - v / 2 0 \infty < w < \infty, 0 < v < \infty e l s e w h e r e

$h(w,v)= begin{cases} frac{1}{sqrt{2pi}}e^{-w^2/2}frac{1}{Gamma(r/2)2^{r/2}}v^{r/2-1}e^{-v/2}&infty<w<infty,0<v<infty\ 0&elsewhere end{cases}$

定义新的随机变量 $T$ 为

T = W V / r ‾ ‾ ‾ ‾ \sqrt

$T=frac{W}{sqrt{V/r}}$

利用变量替换方法可以得到 $T$ 的pdf $g_1(t)$ 。方程

t = w v / r ‾ ‾ ‾ \sqrt u = v

$t=frac{w}{sqrt{v/r}}quad u=v$

定义了一个变换，将 $mathcal{S}={(w,v):-infty<w<infty,0<v<infty}$ 一一映射到 $mathcal{T}={(t,u):-infty<t<infty,0<u<infty}$ ，因为 $w=tsqrt{u}/sqrt{r},v=u$ ，所以变换的雅可比绝对值为 $|mathcal{J}|=sqrt{u}/sqrt{r}$ ，所以 $T,U=V$ 的联合pdf为

g (t, u) = h (t u ‾ ‾ \sqrt r \sqrt, u) |  | = {1 2 π \sqrt Γ ( r / 2 ) 2 r / 2 u r / 2 - 1 exp [- u 2 (1 + t 2 r)] u \sqrt r \sqrt 0 | t | < \infty, 0 < u < \infty e l s e w h e r e

$begin{align*} g(t,u) &=hleft(frac{tsqrt{u}}{sqrt{r}},uright)|mathcal{J}|\ &=begin{cases} frac{1}{sqrt{2pi}Gamma(r/2)2^{r/2}}u^{r/2-1}exp[-frac{u}{2}(1+frac{t^2}{r})]frac{sqrt{u}}{sqrt{r}}&|t|<infty,0<u<infty\ 0&elsewhere end{cases} end{align*}$

$T$ 的边缘pdf为

g 1 (t) = \int \infty - \infty g (t, u) d u = \int \infty 0 1 2 π r ‾ ‾ ‾ ‾ \sqrt Γ ( r / 2 ) 2 r / 2 u (r + 1) / 2 - 1 exp [- u 2 (1 + t 2 r)] d u

$begin{align*} g_1(t) &=int_{-infty}^{infty}g(t,u)du\ &=int_0^{infty}frac{1}{sqrt{2pi r}Gamma(r/2)2^{r/2}}u^{(r+1)/2-1}exp[-frac{u}{2}(1+frac{t^2}{r})]du end{align*}$

令 $z=u[1+(t^2/r)]/2$ 得到

g 1 (t) = \int \infty 0 1 2 π r ‾ ‾ ‾ ‾ \sqrt Γ ( r / 2 ) 2 r / 2 (2 z 1 + t 2 / r) (r + 1) / 2 - 1 e - z (2 1 + t 2 / r) d z = Γ [ ( r + 1 ) / 2 ] π r ‾ ‾ ‾ \sqrt Γ ( r / 2 ) 1 ( 1 + t 2 / r ) ( r + 1 ) / 2, - \infty < t < \infty (1)

$begin{align} g_1(t) &=int_0^{infty}frac{1}{sqrt{2pi r}Gamma(r/2)2^{r/2}}left(frac{2z}{1+t^2/r}right)^{(r+1)/2-1}e^{-z}left(frac{2}{1+t^2/r}right)dznonumber\ &=frac{Gamma[(r+1)/2]}{sqrt{pi r}Gamma(r/2)}frac{1}{(1+t^2/r)^{(r+1)/2}},-infty<t<inftytag1 end{align}$

所以如果 $W$ 满足 $N(0,1)$ ， $V$ 满足 $chi^2(r)$ 且 $W,V$ 独立，那么

T = W V / r ‾ ‾ ‾ ‾ \sqrt (2)

$begin{equation} T=frac{W}{sqrt{V/r}}tag2 end{equation}$

就有如上所述的pdf $g_1(t)$ 。随机变量 $T$ 的分布通常称为 $t$ 分布，通过观察可以发现 $t$ 分布完全由参数 $r$ 决定，也就是卡方分布的自由度。

$textbf{例1：}$ $T$ 满足自由度为 $r$ 的 $t$ 分布，那么根据 $(2)$ ，我们可以写成 $T=W(/r)^{-1/2}$ ，其中 $W$ 满足 $N(0,1)$ 分布， $V$ 满足 $chi^2(r)$ 分布， $W,V$ 是独立的随机变量。假设 $(r/2)-(k/2)>0$ ，那么

E (T k) = E [W k (V r) - k / 2] = E (W k) E [(V r) - k / 2] = E (W k) 2 - k / 2 Γ ( r 2 - k 2 ) Γ ( r 2 ) r - k / 2, k < r (3)

$begin{align} E(T^k) &=Eleft[W^kleft(frac{V}{r}right)^{-k/2}right]=E(W^k)Eleft[left(frac{V}{r}right)^{-k/2}right]\ &=E(W^k)frac{2^{-k/2}Gamma(frac{r}{2}-frac{k}{2})}{Gamma(frac{r}{2})r^{-k/2}}, k<rtag3 end{align}$

为了求 $T$ 的均值，令 $k=1$ 。因为 $E(W)=0$ ，所以只要 $T$ 的自由度超过1， $T$ 的均值就为0。为了求方差，令 $k=2$ ，这时候需要 $r>2$ ，因为 $E(W^2)=1$ ，所以 $T$ 的方差为

v a r (T) = E (T 2) = r r - 2 (4)

$begin{equation} var(T)=E(T^2)=frac{r}{r-2}tag4 end{equation}$

因此自由度 $r>2$ 的 $t$ 分布均值为0，方差为 $r/(r-2)$ 。

接下来考虑两个独立且自由度分别为 $r_1,r_2$ 的卡方随机变量 $U,V$ ， $U,V$ 的联合pdf $h(u,v)$ 为

h (u, v) = {1 Γ ( r 1 / 2 ) Γ ( r 2 / 2 ) 2 r 1 + r 2 / 2 u r 1 / 2 - 1 v r 2 / 2 - 1 e - (u + v) / 2 0 0 < u, v < \infty e l s e w h e r e

$h(u,v)= begin{cases} frac{1}{Gamma(r_1/2)Gamma(r_2/2)2^{r_1+r_2}/2}u^{r_1/2-1}v^{r_2/2-1}e^{-(u+v)/2}&0<u,v<infty\ 0&elsewhere end{cases}$

我们定义新的随机变量为

W = U / r 1 V / r 2

$W=frac{U/r_1}{V/r_2}$

接下里求 $W$ 的pdf $g_1(w)$ ，方程

w = u / r 1 v / r 2, z = v,

$w=frac{u/r_1}{v/r_2},z=v,$

定义了一对一变换，将集合 $mathcal{S}={(u,v):0<u<infty,0<v<infty}$ 映射到集合 $mathcal{T}={(w,z):0<w<infty,0<z<infty}$ ，因为 $u=(r_1/r_2)zw,v=z$ ，变换的雅可比绝对值为 $|mathcal{J}|=(r_1/r_2)z$ ，随机变量 $W,Z=V$ 的联合pdf $g(w,z)$ 为

g (w, z) = 1 Γ ( r 1 / 2 ) Γ ( r 2 / 2 ) 2 ( r 1 + r 2 ) / 2 (r 1 z w r 2) r 1 - 2 2 z r 2 - 2 2 exp [- z 2 (r 1 w r 2 + 1)] r 1 z r 2

$g(w,z)=frac{1}{Gamma(r_1/2)Gamma(r_2/2)2^{(r_1+r_2)/2}}left(frac{r_1zw}{r_2}right)^{frac{r_1-2}{2}}z^{frac{r_2-2}{2}}expleft[-frac{z}{2}left(frac{r_1w}{r_2}+1right)right]frac{r_1z}{r_2}$

假设 $(w,z)inmathcal{T}$ ，其他地方为零。 $W$ 的边缘pdf $g_1(w)$ 为

g 1 (w) = \int \infty - \infty g (w, z) d z = \int \infty 0 ( r 1 / r 2 ) r 1 / 2 ( w ) r 1 / 2 - 1 Γ ( r 1 / 2 ) Γ ( r 2 / 2 ) 2 ( r 1 + r 2 ) / 2 z (r 1 + r 2) / 2 - 1 exp [- z 2 (r 1 w r 2 + 1)] d z

$begin{align*} g_1(w) &=int_{-infty}^{infty}g(w,z)dz\ &=int_{0}^{infty}frac{(r_1/r_2)^{r_1/2}(w)^{r_1/2-1}}{Gamma(r_1/2)Gamma(r_2/2)2^{(r_1+r_2)/2}}z^{(r_1+r_2)/2-1}expleft[-frac{z}{2}left(frac{r_1w}{r_2}+1right)right]dz end{align*}$

变量代换

y = z 2 (r 1 w r 2 + 1)

$y=frac{z}{2}left(frac{r_1w}{r_2}+1right)$

可得

g 1 (w) = \int \infty 0 ( r 1 / r 2 ) r 1 / 2 ( w ) r 1 / 2 - 1 Γ ( r 1 / 2 ) Γ ( r 2 / 2 ) 2 ( r 1 + r 2 ) / 2 (2 y r 1 w / r 2 + 1) (r 1 + r 2) / 2 - 1 e - y \times (2 r 1 w / r 2 + 1) d y = {Γ [ ( r 1 + r 2 ) / 2 ] ( r 1 / r 2 ) r 1 / 2 Γ ( r 1 / 2 ) Γ ( r 2 / 2 ) ( w ) r 1 / 2 - 1 ( 1 + r 1 w / r 2 ) ( r 1 + r 2 ) / 2 0 0 < w < \infty e l s e w h e r e

$begin{align*} g_1(w) &=int_{0}^{infty}frac{(r_1/r_2)^{r_1/2}(w)^{r_1/2-1}}{Gamma(r_1/2)Gamma(r_2/2)2^{(r_1+r_2)/2}}left(frac{2y}{r_1w/r_2+1}right)^{(r_1+r_2)/2-1}e^{-y}\ &quadtimesleft(frac{2}{r_1w/r_2+1}right)dy\ &=begin{cases} frac{Gamma[(r_1+r_2)/2](r_1/r_2)^{r_1/2}}{Gamma(r_1/2)Gamma(r_2/2)}frac{(w)^{r_1/2-1}}{(1+r_1w/r_2)^{(r_1+r_2)/2}}&0<w<infty\ 0&elsewhere end{cases} end{align*}$

故，如果 $U,V$ 是自由度分别为 $r_1,r_2$ 的且独立的卡方变量，那么

W = U / r 1 V / r 2

$W=frac{U/r_1}{V/r_2}$

的pdf如上所示，该随机变量的分布通常称为 $F$ 分布，可以看出 $F$ 分布完全由参数 $r_1,r_2$ 决定。

$textbf{例2：}$ $F$ 为自由服 $r_1,r_2$ 的 $F$ 分布，那么 $F=(r_2/r_1)(U/V)$ ，其中 $U,V$ 是独立的 $chi^2$ 随机变量，自由度分别为 $r_1,r_2$ 。因此 $F$ 的 $k$ 阶矩为

E (F k) = (r 2 r 1) k E (U k) E (V - k)

$E(F^k)=left(frac{r_2}{r_1}right)^kE(U^k)E(V^{-k})$

当然假设右边的期望均存在。根据前面的定理可知 $k>-(r_1/2)$ 恒为真，所以第一个期望恒存在，如果 $r_2>2k$ 那么第二个期望存在。假设为真，那么 $F$ 的均值为

E (F) = r 2 r 1 r 1 2 - 1 Γ ( r 2 2 - 1 ) Γ ( r 2 2 ) = r 2 r 2 - 2

$E(F)=frac{r_2}{r_1}r_1frac{2^{-1}Gamma(frac{r_2}{2}-1)}{Gamma(frac{r_2}{2})}=frac{r_2}{r_2-2}$

如果 $r_2$ 非常大，那么 $E(F)$ 约为1。

最后介绍一个定理，它是由上面的 $t$ 分布推导出来的。

$textbf{定理1：}$ 令 $X_1,ldots,X_n$ 是独立同分布的随机变量，且每个都是均值为 $mu$ ，方差为 $sigma^2$ 的正态分布，定义新的随机变量为

X ¯ = 1 n \sum i = 1 n X i, S 2 = 1 n - 1 \sum i = 1 n (X i - X ¯) 2

$bar{X}=frac{1}{n}sum_{i=1}^nX_i,quad S^2=frac{1}{n-1}sum_{i=1}^n(X_i-bar{X})^2$

那么

$bar{X}$ 是 $N(mu,frac{sigma^2}{n})$ 分布；
$bar{X},S^2$ 是独立的；
$(n-1)S^2/sigma^2$ 满足 $chi^2(n-1)$ 分布；
随机变量
$T = X ¯ - μ S / n ‾ ‾ \sqrt$ $T=frac{bar{X}-mu}{S/sqrt{n}}$
满足自由度为 $n-1$ 的 $t$ 分布。

$textbf{证明：}$ 令 $mathbf{X}=(X_1,ldots,X_n)^prime$ ，因为 $X_1,ldots,X_n$ 是独立同分布的 $N(mu,sigma^2)$ 随机变量，所以 $X$ 是多元正态分布 $N(mumathbf{1},sigma^2mathbf{I})$ ，其中 $mathbf{1}$ 表示元素均为1的向量。令 $mathbf{v}^prime=(1/n,ldots,1/n)^prime=(1/n)mathbf{1}^prime$ 。注意 $bar{X}=mathbf{v}^primemathbf{X}$ ，定义随机向量 $mathbf{Y}$ 为 $mathbf{Y}=(X_1-bar{X},ldots,X_n-bar{X})^prime$ ，考虑下面的变换：

W = [X ¯ Y] = [v' I - 1 v'] X

$mathbf{W}= begin{bmatrix} bar{X}\ mathbf{Y} end{bmatrix}= begin{bmatrix} mathbf{v}^prime\ mathbf{I-1v^prime} end{bmatrix} mathbf{X}$

因为 $mathbf{W}$ 是多元正态随机向量的线性变换，它的均值与方差为

E [W] = [v' I - 1 v'] μ 1 = [μ 0 n]

$E[mathbf{W}]= begin{bmatrix} mathbf{v^prime}\ mathbf{I-1v^prime} end{bmatrix} mumathbf{1}= begin{bmatrix} mu\ mathbf{0}_n end{bmatrix}$

其中 $mathbf{0}_n$ 表示元素全为0的向量，协方差矩阵为

Σ = [v' I - 1 v'] σ 2 I [v' I - 1 v']' = σ 2 ⎡ ⎣ ⎢ ⎢ 1 n 0 n 0' n I - 1 v' ⎤ ⎦ ⎥ ⎥

$begin{align*} boldsymbol{Sigma} &=begin{bmatrix} mathbf{v^prime}\ mathbf{I-1v^prime} end{bmatrix} sigma_2mathbf{I} begin{bmatrix} mathbf{v^prime}\ mathbf{I-1v^prime} end{bmatrix}^prime\ &=sigma^2 begin{bmatrix} frac{1}{n}&mathbf{0}_n^prime\ mathbf{0}_n&mathbf{I-1v^prime} end{bmatrix} end{align*}$

因为 $bar{X}$ 是 $mathbf{W}$ 的第一个元素，根据前面的定理可得结论1。接下来因为协方差为0，所以 $bar{X}$ 与 $mathbf{Y}$ 独立，但是 $mathbf{S}^2=(n-1)^{-1}mathbf{Y^prime Y}$ ，因此 $bar{Y}$ 也与 $mathbf{S}^2$ 独立，结论2的证。

考虑随机变量

V = \sum i = 1 n (X i - μ σ) 2

$V=sum_{i=1}^nleft(frac{X_i-mu}{sigma}right)^2$

这个和的每项都是 $N(0,1)$ 随机变换的平方，因此是 $chi^2(1)$ 分布。因为它们互相独立，所以 $V$ 是 $chi^2(n)$ 随机变量。注意，

V = \sum i = 1 n (( X i - X ¯ ) + ( X ¯ - μ ) σ) 2 = \sum i = 1 n (X i - X ¯ σ) 2 + (X ¯ - m u σ / n ‾ ‾ \sqrt) 2 = ( n - 1 ) S 2 σ 2 + (X ¯ - μ σ / n ‾ ‾ \sqrt) 2

$begin{align*} V &=sum_{i=1}^nleft(frac{(X_i-bar{X})+(bar{X}-mu)}{sigma}right)^2\ &=sum_{i=1}^nleft(frac{X_i-bar{X}}{sigma}right)^2+left(frac{bar{X}-mu}{sigma/sqrt{n}}right)^2\ &=frac{(n-1)S^2}{sigma^2}+left(frac{bar{X}-mu}{sigma/sqrt{n}}right)^2 end{align*}$

右边两项是独立的，且第二项为标准正态分布的平方即 $chi^2(1)$ 分布。取两边的mgf可得