条件期望1

条件期望

###1. 若$X$和$Y$均为离散型随机变量
则定义$Y=y$时$X$的条件概率质量函数如下

p X ∣ Y ( x ∣ y ) = P { X = x ∣ Y = y } = p ( x , y ) p Y ( y ) (1) p_{X|Y}(x|y) = P { X = x| Y = y } \ = frac{p(x,y)}{p_Y(y)} tag{1} pX∣Y​(x∣y)=P{X=x∣Y=y}=pY​(y)p(x,y)​(1)

定义$Y=y$时$X$的条件概率分布函数如下, 对于所有满足 P { Y = y } > 0 P{Y = y}>0 P{Y=y}>0的$y$, 有

F X ∣ Y ( x ∣ y ) = P { X ≤ x ∣ Y = y }             = ∑ a ≤ x   p X ∣ Y ( a ∣ y ) (2) F_{X|Y}(x|y) = P { X leq x| Y = y } \ = sum_{aleq x} p_{X|Y}(a|y) tag{2} FX∣Y​(x∣y)=P{X≤x∣Y=y}           =a≤x∑​ pX∣Y​(a∣y)(2)
最后, 定义$Y=y$时$X$的条件期望如下,

E [ X ∣ Y = y ] = ∑ x   x P { X = x ∣ Y = y }          = ∑ x   x   p X ∣ Y ( x ∣ y ) (3) E[X|Y = y] = sum_x xP { X = x| Y = y } \ = sum_{x} x p_{X|Y}(x|y) tag{3} E[X∣Y=y]=x∑​ xP{X=x∣Y=y}        =x∑​ x pX∣Y​(x∣y)(3)

2. 若$X$和$Y$均为连续型随机变量, 且其联合概率密度函数为$f(x,y)$

则定义给定$Y=y$时$X$的条件概率密度函数如下, 对于所有满足$f_Y(y)>0$的y, 有

$$f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)}\text{\hspace{1em}(4)}$$

下面引入为什么要这样定义给定$Y=y$时$X$的条件概率密度函数的原因:

p X ∣ Y ( x ∣ y ) = p ( x , y ) p Y ( y ) ≈ f ( x , y ) d x d y f Y ( y ) d y ≈ P { x ≤ X ≤ x + d x , y ≤ Y ≤ y + d y } P { y ≤ Y ≤ y + d y } ↓ 消去 d y = f ( x , y ) d x f Y ( y ) ↓ 定义 f X ∣ Y ( x ∣ y ) ≜ f ( x , y ) f Y ( y ) = f X ∣ Y ( x ∣ y ) d x begin{split} p_{X|Y}(x|y) &= frac{p(x,y)}{p_Y(y)} \ & approx frac{f(x,y)dxdy}{f_Y(y)dy} \ & approx frac{P { x leq X leq x + dx, y leq Y leq y + dy }}{P { y leq Y leq y + dy }} \ & downarrow 消去dy \ & = frac{f(x,y)dx}{f_Y(y)} \ & downarrow 定义f_{X|Y}(x|y) triangleq frac{f(x, y)}{f_Y(y)} \ &= f_{X|Y}(x|y)dx end{split} pX∣Y​(x∣y)​=pY​(y)p(x,y)​≈fY​(y)dyf(x,y)dxdy​≈P{y≤Y≤y+dy}P{x≤X≤x+dx,y≤Y≤y+dy}​↓消去dy=fY​(y)f(x,y)dx​↓定义fX∣Y​(x∣y)≜fY​(y)f(x,y)​=fX∣Y​(x∣y)dx​
最后, 定义给定$Y=y$时$X$的条件期望如下, 对于所有满足$f_Y(y)>0$的y, 有

$$E[X|Y=y]={\int }_{-\infty }^{\infty }x{f}_{X|Y}(x|y)dx\text{\hspace{1em}(5)}$$
这和离散情况$E[X|Y=y]=\sum _{x}x{p}_{X|Y}(x|y)$的符号一致的.

3. 条件作用下的期望(Expectation by conditioning)

根据上文的分析, 易知$E[X|Y=y]$是一个随机变量$Y$的值的一个函数, 也就是说, $E[X|Y=y]$的值会随着$y$的变化而变化, 而且这种变化和随机变量$X$是无关的.

因此我们可以定义这样一个随机变量$g(Y)$, 这个随机变量是关于随机变量$Y$的一个函数, 当$Y=y$时, $g(Y)=E[X|Y=y]$.

为了和其他$Y$的函数相区分, 我们把这一特殊的随机变量记为$E[X|Y]$, 它是$Y$的一个函数.
它是如此的特殊, 而且还具有一个非常重要的性质, 即对于任意的随机变量$X$ 和 $Y$, 都满足以下等式:
$$\begin{gathered} E[X]=E[E[X|Y]] \\ =E[g(Y)]\text{\hspace{1em}(6)} \end{gathered}$$
如果$Y$是一个离散型随机变量, 则有
E [ X ] = ∑ y p Y ( y ) ⋅ E [ X ∣ Y = y ]                    = ∑ y P { Y = y } ⋅ E [ X ∣ Y = y ] (7) E[X] = sum_y p_Y(y)cdot E[X|Y=y] \ = sum_y P{Y = y}cdot E[X|Y=y] tag{7} E[X]=y∑​pY​(y)⋅E[X∣Y=y]                  =y∑​P{Y=y}⋅E[X∣Y=y](7)

如果$Y$是一个离散型随机变量, 则有

$$E[X]={\int }_{-\infty }^{\infty }E[X|Y=y]f_Y(y)dy\text{\hspace{1em}(8)}$$

以$X$和$Y$均为离散型随机变量为例子,给出证明如下:
对于$(7)$
方程右边 = ∑ y P { Y = y } ⋅ E [ X ∣ Y = y ] = ∑ y P { Y = y }   ∑ x x   p X ∣ Y ( x ∣ y ) = ∑ y ∑ x x   p ( x , y ) p Y ( y ) P { Y = y } = ∑ y ∑ x x p ( x , y ) = ∑ x x ∑ y p ( x , y ) = ∑ x x p X ( x ) = E [ X ] Q . E . D begin{split} 方程右边 &= sum_y P{Y = y}cdot E[X|Y=y] \ &=sum_y P{Y = y} sum_x x p_{X|Y}(x|y) \ &= sum_ysum_x x frac{p(x,y)}{p_Y(y)}P{Y = y} \ &= sum_ysum_x xp(x,y) \ &=sum_x x sum_y p(x,y) \ &=sum_x x p_X(x) \ &= E[X] \ Q.E.D end{split} 方程右边Q.E.D​=y∑​P{Y=y}⋅E[X∣Y=y]=y∑​P{Y=y} x∑​x pX∣Y​(x∣y)=y∑​x∑​x pY​(y)p(x,y)​P{Y=y}=y∑​x∑​xp(x,y)=x∑​xy∑​p(x,y)=x∑​xpX​(x)=E[X]​
实际上式$(7)$有着很好的物理图景, 它代表$E[X]$本质上是另外一种统计性质, 它可以表现为一系列条件期望的加权平均, 每一个条件对应的条件期望的权中就是该条件出现的机率.

因此为了计算某个随机变量$X$的期望, 除了直接研究该随机变量的性质, 我们也可以通过间接的手段, 研究在各种条件下该随机变量的条件期望, 再将这些条件期望进行加权平均.

最后

以上就是满意小天鹅为你收集整理的条件期望1的全部内容，希望文章能够帮你解决条件期望1所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。