漫步数理统计三十一——依分布收敛

422 阅读 0 评论 279 点赞

我是靠谱客的博主缓慢玉米，这篇文章主要介绍漫步数理统计三十一——依分布收敛，现在分享给大家，希望可以做个参考。

上篇博文我们介绍了依概率收敛的概念，利用着概念我们可以说统计量收敛到一个参数，而且在许多情况下即便不知道统计量的分布函数也能说明收敛。但是统计量有多接近估计量呢？本篇博文讲的收敛就回答了这个问题。

$textbf{定义1：}$ (依分布收敛) ${X_n}$ 是一系列随机变量， $X$ 是随机变量。 $F_{X_n},F_X$ 分别是 $X_n,X$ 的cdf，令 $C(F_x)$ 表示 $F_X$ 连续的点集合。我们说 $X_n$ 依分布收敛到 $X$ ，如果

lim n \to \infty F X n (x) = F X (x), f o r a l l x \in C (F X)

$lim_{ntoinfty}F_{X_n}(x)=F_X(x),for all xin C(F_X)$

表示为

X n \to D X

$X_noverset{D}to X$

$textbf{注1：}$ 在统计与概率论中，依概率收敛与依分布收敛称为渐进理论，我们经常说 $X$ 是序列 ${X_n}$ 的渐进分布或极限分布，或者我们不说 $X_noverset{D}to X$ ，其中 $X$ 满足标准正态分布，我们写为

X n \to D N (0, 1)

$X_noverset{D}to N(0,1)$

显然右边是一个分布而不是随机变量，但是这么写非常方便。另外我们说 $X_n$ 满足极限标准正态分布意味着 $X_noverset{D}to X$ ，其中 $X$ 满足标准正态分布，或等价的 $X_noverset{D}to N(0,1)$ 。

之所以之考虑连续点也是有原因的，考虑下面的例子。 $X_n$ 是随机变量，所有的质量在点 $frac{1}{n}$ 处，其他地方均为0。如图所示 $X_n$ 的质量收敛到0。在不连续点处， $lim F_{X_n}(0)=0neq 1=F_X(0)$ ；而在连续点处(即 $xneq0$ )， $lim F_{X_n}(x)=F_X(x)$ ，因此根据定义 $X_noverset{D}to X$ 。

依概率收敛说明的是一系列随机变量 $X_n$ 接近另一个随机变量 $X$ ，另一方面，依概率收敛只关心cdf $F_{X_n},F_X$ 。举个简单的例子， $X$ 是pdf为 $f_X(x)$ 的随机变量，它关于0对称；即 $f_X(-x)=f_X(x)$ 。那么很容易说明 $-X$ 的密度也是 $f_X(x)$ ，所以 $X,-X$ you相同的分布，定义随机变量 $X_n$ 的序列为

X n = {X - X n 为 奇 数 n 为 偶 数

$begin{equation} X_n= begin{cases} X&ntextrm{为奇数}\ -X&ntextrm{为偶数} end{cases} end{equation}$

显然对所有的 $x,F_{X_n}(x)=F_X(x)$ ，所以 $X_noverset{D}to X$ ，另一方面序列 $X_n$ 不接近 $X$ ，尤其是在概率上 $X_nnotto X$

$textbf{例1：}$ $bar{X}_n$ 的cdf为

F n (x ¯) = \int x ¯ - \infty 1 1 / n ‾ ‾ ‾ \sqrt 2 π ‾ ‾ ‾ \sqrt e - n w 2 / 2 d w

$F_n(bar{x})=int_{-infty}^{bar{x}}frac{1}{sqrt{1/n}sqrt{2pi}}e^{-nw^2}/2dw$

利用变量代换可得

F n (x ¯) = \int n \sqrt x ¯ - \infty 1 2 π ‾ ‾ ‾ \sqrt e - v 2 / 2 d v

$F_n(bar{x})=int_{-infty}^{sqrt{n}bar{x}}frac{1}{sqrt{2pi}}e^{-v^2/2}dv$

显然

lim n \to \infty F n (x ¯) = ⎧ ⎩ ⎨ ⎪ ⎪ 0 1 2 1 x ¯ < 0 x ¯ = 0 x ¯ > 0

$lim_{ntoinfty}F_n(bar{x})= begin{cases} 0&bar{x}<0\ frac{1}{2}&bar{x}=0\ 1&bar{x}>0 end{cases}$

函数

F (x ¯) = {01 x ¯ < 0 x ¯ \geq 0

$F(bar{x})= begin{cases} 0&bar{x}<0\ 1&bar{x}geq 0 end{cases}$

是cdf且在所有 $F(bar{x})$ 的连续点 $lim_{ntoinfty}F_n(bar{x})=F(bar{x})$ ，而在不连续点 $bar{x}=0,lim_{ntoinfty}F_n(0)neq F(0)$ 。

$textbf{例2：}$ 即便序列 $X_1,X_2,X_3,ldots$ 依分布收敛到随机变量 $X$ ，我们一般不能通过取 $X_n$ pmf的极限确定 $X$ 的分布，考虑下面的pmf

p n (x) = {10 x = 2 + n - 1 e l s e w h e r e

$p_n(x)= begin{cases} 1&x=2+n^{-1}\ 0&elsewhere end{cases}$

显然对所有的 $x,lim_{ntoinfty}p_n(x)=0$ ，这说明对 $n=1,2,3,ldots,X_n$ 不会依概率收敛，然而 $X_n$ 的cdf为

F n (x) = {01 x < 2 + n - 1 x \geq 2 + n - 1

$F_n(x)= begin{cases} 0&x<2+n^{-1}\ 1&xgeq 2+n^{-1} end{cases}$

且

lim n \to \infty F n (x) = {01 x \leq 2 x > 2

$lim_{ntoinfty}F_n(x)= begin{cases} 0&xleq 2\ 1&x>2 end{cases}$

因为

F (x) = {01 x < 2 x \geq 2

$F(x)= begin{cases} 0&x<2\ 1&xgeq 2 end{cases}$

是cdf且在 $F(x)$ 的所有连续点处 $lim_{ntoinfty}F_n(x)=F(x)$ ，所以 $X_1,X_2,X_3,ldots$ 依分布收敛到cdf为 $F(x)$ 的随机变量。

上面的例子说明一般而言我们不能考虑pmf或pdf来确定极限分布，但是在某些条件下确实可以的，如下例所示。

$textbf{例3：}$ $T_n$ 满足自由度为 $n$ 的 $t$ 分布， $n=1,2,3,ldots$ ，所以它的cdf为

F n (t) = \int t - \infty Γ [ ( n + 1 ) / 2 ] n π ‾ ‾ ‾ \sqrt Γ ( n / 2 ) 1 ( 1 + y 2 / n ) ( n + 1 ) / 2 d y

$F_n(t)=int_{-infty}^tfrac{Gamma[(n+1)/2]}{sqrt{npi}Gamma(n/2)}frac{1}{(1+y^2/n)^{(n+1)/2}}dy$

其中积分函数为 $T_n$ 的pdf $f_n(y)$ ，因此

lim n \to \infty F n (t) = lim n \to \infty \int t - \infty f n (y) d y = \int t - \infty lim n \to \infty f n (y) d y

$lim_{ntoinfty}F_n(t)=lim_{ntoinfty}int_{-infty}^tf_n(y)dy=int_{-infty}^tlim_{ntoinfty}f_n(y)dy$

由勒贝格控制收敛定理可知当 $|f_n(y)|$ 被一个可积函数控制时，积分与极限元算可以互换。因为

| f n (y) | \leq 10 f 1 (y)

$|f_n(y)|leq 10f_1(y)$

且对所有实数 $t$

\int t - \infty 10 f 1 (y) d y = 10 π arctan t < \infty

$int_{-infty}^t10f_1(y)dy=frac{10}{pi}arctan t<infty$

因此我们通过求出 $T_n$ pdf的极限求出极限分布。即

lim n \to \infty f n (y) = lim n \to \infty {Γ [ ( n + 1 ) / 2 ] n / 2 ‾ ‾ ‾ \sqrt Γ ( n / 2 )} lim n \to \infty {1 ( 1 + y 2 / n ) 1 / 2} \times lim n \to \infty ⎧ ⎩ ⎨ ⎪ ⎪ 1 2 π ‾ ‾ ‾ \sqrt [(1 + y 2 n)] - n / 2 ⎫ ⎭ ⎬ ⎪ ⎪

$begin{align*} lim_{ntoinfty}f_n(y) &=lim_{ntoinfty}left{frac{Gamma[(n+1)/2]}{sqrt{n/2}Gamma(n/2)}right}lim_{ntoinfty}left{frac{1}{(1+y^2/n)^{1/2}}right}\ &quadtimeslim_{ntoinfty}left{frac{1}{sqrt{2pi}}left[left(1+frac{y^2}{n}right)right]^{-n/2}right} end{align*}$

利用初等微积分的事实

lim n \to \infty (1 + y 2 n) n = e y 2

$lim_{ntoinfty}left(1+frac{y^2}{n}right)^n=e^{y^2}$

第三部分显然时标准正态分布的pdf，第二项极限明显为1，根据斯特林公式可知第一项极限也为1，所以我们有

lim n \to \infty F n (t) = \int t - \infty 1 2 π ‾ ‾ ‾ \sqrt e - y 2 / 2 d y

$lim_{ntoinfty}F_n(t)=int_{-infty}^tfrac{1}{sqrt{2pi}}e^{-y^2/2}dy$

因此 $T_n$ 满足极限标准正态分布。

$textbf{注2：}$ 为了简化下面定理的证明，我们利用序列的 $varliminf,varlimsup$ 。具体细节这里不再讨论了，只给出理解下面证明所需要的一些性质，令 ${a_n}$ 是实数序列且定义两个子序列为

b n c n = sup {a n, a n + 1, \dots}, n = 1, 2, 3, \dots = inf {a n, a n + 1, \dots}, n = 1, 2, 3, \dots

$begin{align*} b_n&=sup{a_n,a_{n+1},ldots},n=1,2,3,ldots\ c_n&=inf{a_n,a_{n+1},ldots},n=1,2,3,ldots end{align*}$

${c_n}$ 是非减序列， ${b_n}$ 是非增序列，因此他们的极限存在(可能是 $pminfty$ )，我们分别用 $varliminf_{ntoinfty}a_n,varlimsup_{ntoinfty}a_n$ 表示，进一步对所有 $n,c_nleq a_nleq b_n$ ，如果 $varliminf_{ntoinfty}a_n=varlimsup_{ntoinfty}a_n$ ，那么 $lim_{ntoinfty}a_n$ 存在且为 $lim_{ntoinfty}a_n=varlimsup_{ntoinfty}a_n$ 。

假设 ${p_n}$ 是概率序列且 $varlimsup_{ntoinfty}p_n=0$ ，因为 $0leq p_nleqsup{p_n,p_{n+1},ldots}$ ，所以我们有 $lim_{ntoinfty}p_n=0$ 。另外对于任意序列 ${a_n},{b_n}$ ，满足 $varlimsup_{ntoinfty}(a_n+b_n)leqvarlimsup_{ntoinfty}a_n+varlimsup_{ntoinfty}b_n$ 。

如下面定理说述，依分布收敛比依概率收敛要弱，所以依分布收敛常被称为弱收敛。

$textbf{定理1：}$ 如果 $X_n$ 依概率收敛到 $X$ ，那么 $X_n$ 依分布收敛到 $X$ 。

$textbf{证明：}$ 令 $x$ 是 $F_X(x)$ 的连续点，令 $epsilon>0$ 我们有

F X n (x) = P [X n \leq x] = P [{X n \leq x} \cap {| X n - X | < ϵ}] + P [{X n \leq x} \cap {| X n - X | \geq ϵ}] \leq P [X \leq x + ϵ] + P [| X n - X | \geq ϵ]

$begin{align*} F_{X_n}(x) &=P[X_nleq x]\ &=P[{X_nleq x}cap{|X_n-X|<epsilon}]+P[{X_nleq x}cap{|X_n-X|geqepsilon}]\ &leq P[Xleq x+epsilon]+P[|X_n-X|geqepsilon] end{align*}$

基于上面的不等式以及事实 $X_noverset{P}to X$ ，我们可以看出

lim ⎯ ⎯ ⎯ ⎯ ⎯ ⎯ n \to \infty F X n (x) \leq F X (x + ϵ)

$varlimsup_{ntoinfty}F_{X_n}(x)leq F_X(x+epsilon)$

为了得到下界，我们用同样的处理方式得到

P [X n > x] \leq P [X \geq x - ϵ] + P [| X n - X | \geq ϵ]

$P[X_n>x]leq P[Xgeq x-epsilon]+P[|X_n-X|geqepsilon]$

因此

lim ⎯ ⎯ ⎯ ⎯ ⎯ ⎯ n \to \infty F X n (x) \geq F X (x - ϵ)

$varliminf_{ntoinfty}F_{X_n}(x)geq F_X(x-epsilon)$

根据 $varliminf,varlimsup$ 的关系可得

F X (x - ϵ) \leq lim ⎯ ⎯ ⎯ ⎯ ⎯ ⎯ n \to \infty F X n (x) \leq lim ⎯ ⎯ ⎯ ⎯ ⎯ ⎯ n \to \infty F X n (x) \leq F X (x + ϵ)

$F_X(x-epsilon)leqvarliminf_{ntoinfty}F_{X_n}(x)leqvarlimsup_{ntoinfty}F_{X_n}(x)leq F_X(x+epsilon)$

令 $epsilondownarrow0$ 即得到答案。 $||$

考虑 $(1)$ 中的随机变变量序列 ${X_n}$ ， $X_noverset{D}to X,X_noverset{P}neq X$ ，所以一般情况下上面定理的逆不成立。然而如果 $X$ 退化成下面定理的时候就成立。

$textbf{定理2：}$ 如果 $X_n$ 依分布收敛到常数 $b$ ，那么 $X_n$ 依概率收敛到 $b$ 。

$textbf{证明：}$ 令 $epsilon>0$ 给定，那么

lim n \to \infty P [| X n - b | \leq ϵ] = lim n \to \infty F X n (b + ϵ) - lim n \to \infty F X n (b - ϵ - 0) = 1 - 0 = 1

$lim_{ntoinfty}P[|X_n-b|leqepsilon]=lim_{ntoinfty}F_{X_n}(b+epsilon)-lim_{ntoinfty}F_{X_n}(b-epsilon-0)=1-0=1$

得证。 $||$

下面定理非常有用：

$textbf{定理3：}$ 假设 $X_n$ 依分布收敛到 $X$ ， $Y_n$ 依概率收敛到0，那么 $X_n+Y_n$ 依分布收敛到 $X$ 。

接下来给出两个一般的结论。

$textbf{定理4：}$ 假设 $X_n$ 依分布收敛到 $X$ 且 $g$ 在支撑 $X$ 上是连续函数，那么 $g(X_n)$ 依分布收敛到 $g(X)$ 。

$textbf{定理5：}$ $X_n,X,A_n,B_n$ 是随机变量且 $a,b$ 是常数，如果 $X_noverset{D}to X,A_noverset{P}to a,B_noverset{P}to b$ ，那么

A n + B n X n \to D a + b X

$A_n+B_nX_noverset{D}to a+bX$

与依分布收敛相关的另一个有用概念为随机变量序列依概率有界。

首先考虑cdf为 $F_X(x)$ 的随机变量 $X$ ，那么给定 $epsilon>0$ ，我们可以用下面的方式界定 $X$ 。因为 $F_X$ 的下极限是0而上极限是1，所以我们可以找到 $eta_1,eta_2$ ，使得

F X (x) < ϵ / 2 f o r x \leq η 1, F X (x) > 1 - (η / 2) f o r x \geq η 2

$F_X(x)<epsilon/2 for xleqeta_1, F_X(x)>1-(eta/2) for xgeqeta_2$

令 $eta=max{|eta_1|,|eta_2|}$ ，那么

P [| X | \leq η] = F X (η) - F X (- η - 0) \geq 1 - (ϵ / 2) - (ϵ / 2) = 1 - ϵ

$begin{equation} P[|X|leqeta]=F_X(eta)-F_X(-eta-0)geq1-(epsilon/2)-(epsilon/2)=1-epsilon end{equation}$

因此无界的随机变量(例如 $X$ 是 $N(0,1)$ )用上面的方式也是有界的，这是非常有用的概念，定义如下。

$textbf{定义2：}$ (依概率有界)我们说随机变量序列 ${X_n}$ 依概率有界，如果对所有 $epsilon>0$ ，存在常数 $B_{epsilon}>0$ 以及整数 $N_{epsilon}$ 使得

n \geq N ϵ \Rightarrow P [| X n | \leq B ϵ] \geq 1 - ϵ

$ngeq N_{epsilon}Rightarrow P[|X_n|leq B_{epsilon}]geq 1-epsilon$

现在考虑一个随机变量序列 ${X_n}$ ，它收敛到cdf为 $F$ 的随机变量 $X$ 。令 $epsilon>0$ 且选择 $eta$ 使得 $(2)$ 对 $X$ 成立，我们可以始终选出 $eta$ 使得 $eta,-eta$ 是 $F$ 的连续点，那么我们有

lim n \to \infty P [| X n | \leq η] \geq lim n \to \infty F X n (η) - lim n \to \infty F X n (- η - 0) = F X (η) - F X (- η) \geq 1 - ϵ

$lim_{ntoinfty}P[|X_n|leqeta]geqlim_{ntoinfty}F_{X_n}(eta)-lim_{ntoinfty}F_{X_n}(-eta-0)=F_X(eta)-F_X(-eta)geq 1-epsilon$

为了更精确，我们选择大的 $N$ 使得 $ngeq N$ 时 $P[|X_n|leq eta]geq 1-epsilon$ 。

$textbf{定理6：}$ ${X_n}$ 是随机变量序列且 $X$ 是随机变量，如果依分布 $X_nto X$ ，那么 ${X_n}$ 依概率有界。

但是上面的逆一般不成立。可以将依概率有界的序列看成 $|X_n|$ 的概率质量不会大到 $infty$ 。

$textbf{定理7：}$ ${X_n}$ 是依概率有界的随机变量序列， ${Y_n}$ 是依概率收敛到0的随机变量序列，那么

X n Y n \to P 0

$X_nY_noverset{P}to0$

$textbf{证明：}$ 令 $epsilon>0$ ，选择 $B_{epsilon}>0$ 和整数 $N_{epsilon}$ 使得

n \geq N ϵ \Rightarrow P [| X n | \leq B ϵ] \geq 1 - ϵ

$ngeq N_{epsilon}Rightarrow P[|X_n|leq B_{epsilon}]geq 1-epsilon$

那么

lim ⎯ ⎯ ⎯ ⎯ ⎯ ⎯ n \to \infty P [| X n Y n | \geq ϵ] \leq lim ⎯ ⎯ ⎯ ⎯ ⎯ ⎯ P [| X n Y n | \geq ϵ, | X n | \leq B ϵ] + lim ⎯ ⎯ ⎯ ⎯ ⎯ ⎯ n \to \infty P [| X n Y n | \geq ϵ, | X n | > B ϵ] \leq lim ⎯ ⎯ ⎯ ⎯ ⎯ ⎯ n \to \infty P [| Y n | \geq ϵ / B ϵ] + ϵ = ϵ

$begin{align*} varlimsup_{ntoinfty}P[|X_nY_n|geqepsilon] &leqvarlimsup P[|X_nY_n|geqepsilon,|X_n|leq B_{epsilon}]\ &quad +varlimsup_{ntoinfty}P[|X_nY_n|geqepsilon,|X_n|>B_{epsilon}]\ &leqvarlimsup_{ntoinfty}P[|Y_n|geqepsilon/B_{epsilon}]+epsilon=epsilon end{align*}$

得证。 $||$