随机过程知识总结

随机变量

随机变量$\mathbf{x}$是对每个结果$\xi$制定⼀个数$\mathbf{x}(\xi )$的过程。随机变量量本质上是个函数。从数映射到事件的函数。

我们可以从量纲来思考一个量的物理意义，但是$\mathbf{x}$没有量纲，$\mathbf{x}$的取值与事件之间的映射关系也可能是不确定的。

$\mathbf{x}$属于一个事件空间，该空间包含了所有可能事件，该空间可以是连续的也可以是离散的。

分布函数（cumulative distribution function）

F x ( x ) = P { x ≤ x } F_{x}(x)=P{mathbf{x} leq x} Fx​(x)=P{x≤x}

• 函数 $F(x)$ 是右连续的，即 $F\left(x^{+}\right)=F(x)$

  • P { x 1 < x ≤ x 2 } = F ( x 2 ) − F ( x 1 ) Pleft{x_{1}<mathrm{x} leq x_{2}right}=Fleft(x_{2}right)-Fleft(x_{1}right) P{x1​<x≤x2​}=F(x2​)−F(x1​)

  • P { x 1 ≤ x ≤ x 2 } = F ( x 2 ) − F ( x 1 − ) Pleft{x_{1} leq mathrm{x} leq x_{2}right}=Fleft(x_{2}right)-Fleft(x_{1}^{-}right) P{x1​≤x≤x2​}=F(x2​)−F(x1−​)

  • P { x = x } = F ( x ) − F ( x − ) P{mathrm{x}=x}=F(x)-Fleft(x^{-}right) P{x=x}=F(x)−F(x−)

分位点（percentile）

一个随机变量$\mathbf{x}$的分位点是满足 u = P { x ≤ x u } = F ( x u ) u=Pleft{mathbf{x} leq x_{u}right}=Fleft(x_{u}right) u=P{x≤xu​}=F(xu​)的最小实数$x_u$

概率密度函数（probability density function，p.d.f）

$$f_x(x)=\frac{\mathrm{d}{F}_x(x)}{\mathrm{d}x}$$

概率质量函数（probability mass function，p.m.f）

是离散随机变量在各特定取值上的概率。

• 概率质量函数和概率密度函数不同之处：

  • 概率质量函数是对离散随机变量定义的，本身代表该值的概率；

  • 概率密度函数是对连续随机变量定义的，本身不是概率，只有对连续随机变量的概率密度函数在某区间内进行积分后才是概率。

常用的随机变量量

连续型随机变量量

• 均匀分布
  $$f(x)=\{\begin{array}{cc}\frac{1}{b-a}& \text{ for }a\le x\le b\\ 0& \text{ elsewhere }\end{array}$$
  在误差分析时经常遇到均匀分布，如数字信号中的量化噪声。由于 A/D 转换器的字长有限，模拟信号通过A/D转换时，势必要舍弃部分信息。丢失信息后相当于使信号附加了一部分噪声，称为量化噪声。量化噪声分为截尾噪声和舍入噪声，它们都是均匀分布的，且方差相同，不同的是分布的区间。

• 正态分布

  高斯白噪声，有多重要就不多说了。
  $$f(x)=\frac{1}{\sigma \sqrt{2\pi }}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$
  在实际应用中，许多独立噪声之和若满足中心极限定理中某一定理的条件，就认为是高斯分布的。一般情况下，不同分布律的随机变量之和趋向高斯分布的速度是不同的 。在工程上，如果不是某个或某些随机变量对和的贡献很大，7~10 个随机变量之和的分布就认为是高斯分布的。

• 卡方分布

  

$$f_k(x)=\frac{1}{2^{\frac{k}{2}}\Gamma \left(\frac{k}{2}\right)}{x}^{\frac{k}{2}-1}{e}^{\frac{-x}{2}}$$

如果为正整数，则：
$$\Gamma (n)=(n-1)!$$
对于实数部分为正的复数，伽玛函数定义为：
$$\Gamma (z)={\int }_0^{\infty }{t}^{z-1}{\mathrm{e}}^{-t}\mathrm{d}\mathrm{t}$$

在信号的传输过程中，信号一般是窄带形式，这样不可避免要用到包络检波 。在小信号检波时，通常采用平方律检波，因此检波器输出是信号与噪声包络的平方 。 有时为了使信号检测的错误概率更小，还要对检波器的输出信号进行积累。

如果随机变量 $X$ 是高斯分布，那么平方律检波器的输出 $X^2$ 是${\mathcal{X}}^2$分布。若 $X_i$ 的数学期望为零，则 $Y$ 为中心${\mathcal{X}}^2$分布；若 $X_i$ 的数学期望不为零，则 $Y$ 为非中心${\mathcal{X}}^2$分布。

对检波器的输出信号进行采样后积累的信号$Y={\sum }_{i=1}^n{X}_i^2$是$n$自由度的${\mathcal{X}}^2$分布。

• 瑞利分布

  

$$f(x;\sigma )=\frac{x}{{\sigma }^2}{e}^{-x^2/2{\sigma }^2},x\ge 0$$

当一个随机二维向量的两个分量呈独立的、均值为0，有着相同的方差的正态分布时，这个向量的模呈瑞利分布。

瑞利分布是最常见的用于描述平坦衰落信号接收包络或独立多径分量接受包络统计时变特性的一种分布类型。两个正交高斯噪声信号之和的包络服从瑞利分布。

高斯、莱斯、瑞利，信号很强，瑞利；噪声很强，高斯。

• Nakagami-m分布

  用来对多径·无线·衰弱信道进行建模

离散型随机变量量

• 二项式分布
  $$f(k,n,p)=\mathrm{Pr}(X=k)=C_k^n{p}^k(1-p{)}^{n-k}$$
  在信号检测理论中，非参量检测时单次探测的秩值为某一值的概率服从二项式分布。

• 伯努利分布
  $$f_X(x)=p^x(1-p{)}^{1-x}=\{\begin{array}{ll}p& \text{ if }x=1\\ q& \text{ if }x=0\end{array}$$
  伯努利分布是二项分布在n = 1时的特殊情况。

• 泊松分布

  $$ P(X=k)=frac{e^{-lambda} lambda^{k}}{k !} $$ 注：参数$λ$是单位时间（或单位面积）内随机事件的平均发生率。

  泊松分布适合于描述单位时间内随机事件发生的次数的概率分布。如某一服务设施在一定时间内受到的服务请求的次数，电话交换机接到呼叫的次数、汽车站台的候客人数、机器出现的故障数等。

随机过程和序列的统计特征

均值（mean，expected value，expectation）

E { x } = ∫ − ∞ ∞ x f ( x ) d x E{mathbf{x}}=int_{-infty}^{infty} x f(x) mathrm{d} x E{x}=∫−∞∞​xf(x)dx

E { x } = ∑ i p i x i , p i = P { x = x i } E{boldsymbol{x}}=sum_{i} p_{i} x_{i}, quad p_{i}=Pleft{boldsymbol{x}=x_{i}right} E{x}=i∑​pi​xi​,pi​=P{x=xi​}

方差（variance）

$${\sigma }^2=D[X]=E\left\{(\mathbf{x}-\eta {)}^2\right\}={\int }_{-\infty }^{\infty }{\left[x-m_X\right]}^2{f}_X(x)\mathrm{d}x$$

σ 2 = ∑ i p i ( x i − η ) 2 p i = P { x = x i } sigma^{2}=sum_{i} p_{i}left(x_{i}-etaright)^{2} quad p_{i}=Pleft{x=x_{i}right} σ2=i∑​pi​(xi​−η)2pi​=P{x=xi​}

矩/动差（moment）

m n = E { x n } = ∫ − ∞ ∞ x n f ( x ) d x m_{n}=Eleft{mathbf{x}^{n}right}=int_{-infty}^{infty} x^{n} f(x) mathrm{d} x mn​=E{xn}=∫−∞∞​xnf(x)dx

$${\mu }_n=\sum _{i=1}^{\infty }{\left(x_i\right)}^n{P}_i,n=1,2,\cdots$$

中心矩（Central moments）

μ n = E { ( x − η ) n } = ∫ − ∞ ∞ ( x − η ) n f ( x ) d x mu_{n}=Eleft{(mathbf{x}-eta)^{n}right}=int_{-infty}^{infty}(x-eta)^{n} f(x) mathrm{d} x μn​=E{(x−η)n}=∫−∞∞​(x−η)nf(x)dx

$${\mu }_n=\sum _{i=1}^{\infty }{\left(x_i-E[X]\right)}^n{P}_i,n=1,2,\cdots$$

• 第0阶中心矩 ${\mu }_0$ 恒为1。
• 第1阶中心矩 ${\mu }_1$ 恒为0。
• 第2阶中心矩 ${\mu }_2$ 为 $X$ 的方差 $\mathrm{Var}(X)$
• 第3阶中心矩 ${\mu }_3$ 用于定义 $X$ 的偏度。

偏度/歪度（Skewness），在概率论和统计学中衡量实数随机变量概率分布的不对称性。
$${\gamma }_1=\mathrm{E}\left[{\left(\frac{X-\mu }{\sigma }\right)}^3\right]=\frac{{\mu }_3}{{\sigma }^3}$$

偏态系数/偏差系数（deviation coefficient），说明随机系列分配不对称程度的统计参数。

变异系数/离散系数/变差系数（coefficient of variation），是概率分布离散程度的一个归一化量度，其定义为标准差$\sigma$与平均值$\mu$之比

• 第4阶中心矩 ${\mu }_4$ 用于定义 $X$ 的峰度。

峰度/尖度（Kurtosis），在统计学中衡量实数随机变量概率分布的峰态。峰度系数越大，分布就有更多的极端值，那么其余值必然要更加集中在众数周围，其分布必然就更加陡峭。

• 中心矩具有平移不变性。对于任意的随机变量 $X$ 和任意常数 $c,$ 恒有:${\mu }_n(X+c)={\mu }_n(X)$
• n阶中心矩是n次齐次函数。${\mu }_n(cX)=c^n{\mu }_n(X)$
• 只有当 n ∈ { 1 , 2 , 3 } , n in{1,2,3}, n∈{1,2,3}, 且 $X$ 和 $Y$ 为两个互相独立的随机变量时，中心矩才具有加法性。 ${\mu }_n(X+Y)={\mu }_n(X)+{\mu }_n(Y)$

特征函数（eigenfunction）

$${\Phi }_x(\omega )=E\left\{e^{j\omega \mathbf{x}}\right\}={\int }_{-\infty }^{\infty }f(x)e^{j\omega x}\mathrm{d}x$$

• $\left|{\Phi }_x(\omega )\right|\le \Phi (0)=1$

• 若 $\mathbf{y}=a\mathbf{x}+b,$ 则 ${\Phi }_y(\omega )=e^{jb\omega }{\Phi }_x(a\omega )$

• $f(x)=\frac{1}{2\pi }{\int }_{-\infty }^{\infty }{\Phi }_x(\omega )e^{-j\omega x}\mathrm{d}x$

矩生成函数（moment generating function）

$$\mathbf{\Phi }(s)={\int }_{-\infty }^{\infty }f(x)e^{sx}\mathrm{d}x$$

矩定理

$$\begin{array}{c}{\mathbf{\Phi }}^{(n)}(s)=E\left({\mathbf{x}}^n{e}^{s\mathbf{x}}\right)\\ {\mathbf{\Phi }}^{(n)}(0)=E\left({\mathbf{x}}^n\right)=m_n\end{array}$$

$\mathbf{\Phi }(s)$ 在原点的各阶导数等于 $\mathbf{x}$ 的各阶矩。这说明了为什么把 $\mathbf{\Phi }(s)$ 称为“矩生成函数”。

当各阶矩都有限并且级数在$s=0$附近绝对收敛时，如果随机变量的各阶矩已知，其分布密度就被惟一确定。

第二特征函数（eigenfunction）

$$\Psi (\omega )=\ln {\Phi }_x(\omega )=\mathbf{\Psi }(j\omega )$$

累积量（cumulants）

一个随机变量的累积量是指一系列能够提供和“矩”一样的信息的量。
$${\lambda }_n=\frac{{\mathrm{d}}^n\mathbf{\Psi }(s)}{\mathrm{d}{s}^n}$$

对于随机变量 $X$ 而言，一阶累积量等于期望值 $E(x)$， 二阶累积量等于方差 $V(x)$ ，三阶累积量等于三阶中心矩 $S(x)$ ，但是四阶以及更高阶的累积量与同阶的中心矩并不相等。

在某些理论推导中，使用累积量更加方便。特别是当两个或者更多的随机变量相互独立时, 它们的 $n$ 阶累积量的和等于它们和的 $n$ 阶累积量。

服从正态分布的随机变量的三阶及以上的累积量为 $0$

另：条件分布

条件概率

F ( x ∣ M ) = P { x ≤ x ∣ M } = P { x ≤ x , M } P ( M ) F(x mid M)=P{mathbf{x} leq x mid M}=frac{P{mathbf{x} leq x, M}}{P(M)} F(x∣M)=P{x≤x∣M}=P(M)P{x≤x,M}​

条件密度

$$f(x\mid M)=\frac{\mathrm{d}F(x\mid M)}{\mathrm{d}x}$$

全概率定理理

$${\int }_{-\infty }^{\infty }P(A\mid \mathbf{x}=x)f(x)\mathrm{d}x=P(A)$$

贝叶斯定理理

$$f(x\mid A)=\frac{P(A\mid \mathbf{x}=x)}{P(A)}$$

$$f(x)=\frac{P(A\mid \mathbf{x}=x)f(x)}{{\int }_{-\infty }^{\infty }P(A\mid \mathbf{x}=x)f(x)\mathrm{d}x}$$

条件均值

$$E(\mathbf{x}\mid M)={\int }_{-\infty }^{\infty }xf(x\mid M)\mathrm{d}x$$

另：复合函数$y=g(x)$

基本定理

对于给定的 $y$, 要找出 $f_y(y),$ 首先需要解方程$y=g(x)$ 。用 $x_n$ 来表示它的实根$y=g\left(x_1\right)=\cdots =g\left(x_n\right)$
则
$$f_y(y)=\frac{f_x\left(x_1\right)}{\left|g^{\prime }\left(x_1\right)\right|}+\cdots +\frac{f_x\left(x_n\right)}{\left|g^{\prime }\left(x_n\right)\right|}+\cdots$$

均值

$$E(g(\mathbf{x}))={\int }_{-\infty }^{\infty }g(x)f_x(x)\mathrm{d}x$$

二元随机变量

联合分布（Joint Distribution）

F ( x , y ) = P { x ≤ x , y ≤ y } F(x, y)=P{mathbf{x} leq x, mathbf{y} leq y} F(x,y)=P{x≤x,y≤y}

• $F(-infty, y)=0 quad F(x,-infty)=0 quad F(infty, infty)=1 $
• $Pleft{x_{1}<mathbf{x} leq x_{2}, mathbf{y} leq yright}=Fleft(x_{2}, yright)-Fleft(x_{1}, yright) $
• $Pleft{mathbf{x} leq x, y_{1}<mathbf{y} leq y_{2}right}=Fleft(x, y_{2}right)-Fleft(x, y_{1}right) $
• $Pleft{x_{1}<mathbf{x} leq x_{2}, y_{1}<mathbf{y} leq y_{2}right}=Fleft(x_{2}, y_{2}right)-Fleft(x_{2}, y_{1}right)-Fleft(x_{1}, y_{2}right)+Fleft(x_{1}, y_{1}right) $

联合分布密度 （Joint Density）

$$f(x,y)=\frac{\partial F(x,y)}{\partial x\partial y}$$

协方差（Covariance）

C x y = E { ( x − η x ) ( y − η y ) } C_{x y}=Eleft{left(mathbf{x}-eta_{x}right)left(mathbf{y}-eta_{y}right)right} Cxy​=E{(x−ηx​)(y−ηy​)}

二元随机变量的单个函数$z=g(x,y)$

Y=X1 +X2，如果X1和X2互相独立，则$f_Y(y)={\int }_{-\infty }^{\infty }{f}_{X_1}\left(x_1\right)f_{X_2}\left(y-x_1\right)\mathrm{d}{x}_1=f_{X_1}(y)\ast f_{X_2}(y)$

另：独立、不相关、正交

独立性（Independence）

• $F(x, y)=F_{x}(x) F_{y}(y) $
• $f(x,y)=f_x(x)f_y(y)$

不相关性 （Uncorrelatedness）

• 协方差：$C_{x y}=0 $
• 相关系数：${\rho }_{xy}=\frac{C_{xy}}{{\sigma }_x{\sigma }_y}=0$
• E { x y } = E { x } E { y } E{mathbf{x y}}=E{mathbf{x}} E{mathbf{y}} E{xy}=E{x}E{y}

正交性（Orthogonality）

• 相关矩： E { x y } = 0 E{mathbf{x y}}=0 E{xy}=0

随机过程和序列

随机过程是随时间变化的随机变量。随机过程在一个时刻上则是一个随机变量。

• 需要清楚以下概念：

  随机过程、连续随机过程、离散随机过程

  随机序列、连续随机序列、离散随机序列

一阶分布函数

F ( x , t ) = P { x ( t ) ≤ x } F(x, t)=P{mathbf{x}(t) leq x} F(x,t)=P{x(t)≤x}

二阶分布函数

F ( x 1 , x 2 ; t 1 , t 2 ) = P { x ( t 1 ) ≤ x 1 , x ( t 2 ) ≤ x 2 } Fleft(x_{1}, x_{2} ; t_{1}, t_{2}right)=Pleft{mathbf{x}left(t_{1}right) leq x_{1}, mathbf{x}left(t_{2}right) leq x_{2}right} F(x1​,x2​;t1​,t2​)=P{x(t1​)≤x1​,x(t2​)≤x2​}

随机过程和序列的统计特征

期望

$$m_X(t)=E[X(t)]={\int }_{-\infty }^{\infty }x{f}_X(x,t)\mathrm{d}x$$

方差

$${\sigma }_X^2(t)=D[X(t)]={\int }_{-\infty }^{\infty }{\left[x-m_X(t)\right]}^2{f}_X(x,t)\mathrm{d}x$$

数学期望和方差描述了随机过程在任意一个时刻t 的集中和离散程度。

从图上可粗略看出，在任意时刻它们的数学期望和方差都大体相同，但两个随机过程样本函数的内部结构却截然不同。X(t)起伏慢，Y(t) 则起伏较快，这种差异是因为它们的相关性不同造成的。

相关（Correlation）显示了两个或几个随机变量之间线性关系的强度和方向。在统计学中，相关的意义是：用来衡量两个变量相对于其相互独立的距离。在这个广义的定义下，有许多根据数据特点用来衡量数据相关性而定义的系数，称作 相关系数。通常使用相关系数来计量这些随机变量协同变化的程度，当随机变量间呈现同一方向的变化趋势时称为正相关，反之则称为负相关。

相关的概念表征了随机过程在两时刻之间的关联程度，进而说明了随机过程起伏变化的快慢。还隐含着幅度的变化。

自相关函数

$$R_X\left(t_1,t_2\right)=E\left[X\left(t_1\right)X\left(t_2\right)\right]={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }{x}_1{x}_2{f}_X\left(x_1,x_2;t_1,t_2\right)\mathrm{d}{x}_1\mathrm{d}{x}_2$$

$t_1=t_2$时$R_X(0)$表示平均功率

自协方差函数

C X ( t 1 , t 2 ) = E [ { X ( t 1 ) − m X ( t 1 ) } { X ( t 2 ) − m X ( t 2 ) } ] = ∫ − ∞ ∞ ∫ − ∞ ∞ [ x 1 − m X ( t 1 ) ] [ x 2 − m X ( t 2 ) ] f X ( x 1 , x 2 ; t 1 , t 2 ) d x 1   d x 2 begin{aligned} C_{X}left(t_{1}, t_{2}right) &=Eleft[left{Xleft(t_{1}right)-m_{X}left(t_{1}right)right}left{Xleft(t_{2}right)-m_{X}left(t_{2}right)right}right] \ &=int_{-infty}^{infty} int_{-infty}^{infty}left[x_{1}-m_{X}left(t_{1}right)right]left[x_{2}-m_{X}left(t_{2}right)right] f_{X}left(x_{1}, x_{2} ; t_{1}, t_{2}right) mathrm{d} x_{1} mathrm{~d} x_{2} end{aligned} CX​(t1​,t2​)​=E[{X(t1​)−mX​(t1​)}{X(t2​)−mX​(t2​)}]=∫−∞∞​∫−∞∞​[x1​−mX​(t1​)][x2​−mX​(t2​)]fX​(x1​,x2​;t1​,t2​)dx1​ dx2​​

$t_1=t_2$时就是方差

自相关函数和协方差函数只相差一个统计平均值：$C_X\left(t_1,t_2\right)=R_X\left(t_1,t_2\right)-m_X\left(t_1\right)m_X\left(t_2\right)$

互相关函数

$$R_{XY}\left(t_1,t_2\right)=E\left[X\left(t_1\right)Y\left(t_2\right)\right]={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }xy{f}_{XY}\left(x,y;t_1,t_2\right)\mathrm{d}x\mathrm{d}y$$

互协方差函数

C X Y ( t 1 , t 2 ) = E [ { X ( t 1 ) − m X ( t 1 ) } { Y ( t 2 ) − m Y ( t 2 ) } ] = ∫ − ∞ ∞ ∫ − ∞ ∞ [ x − m X ( t 1 ) ] [ y − m Y ( t 2 ) ] f X Y ( x , y ; t 1 , t 2 ) d x   d y begin{aligned} C_{X Y}left(t_{1}, t_{2}right) &=Eleft[left{Xleft(t_{1}right)-m_{X}left(t_{1}right)right}left{Yleft(t_{2}right)-m_{Y}left(t_{2}right)right}right] \ &=int_{-infty}^{infty} int_{-infty}^{infty}left[x-m_{X}left(t_{1}right)right]left[y-m_{Y}left(t_{2}right)right] f_{X Y}left(x, y ; t_{1}, t_{2}right) mathrm{d} x mathrm{~d} y end{aligned} CXY​(t1​,t2​)​=E[{X(t1​)−mX​(t1​)}{Y(t2​)−mY​(t2​)}]=∫−∞∞​∫−∞∞​[x−mX​(t1​)][y−mY​(t2​)]fXY​(x,y;t1​,t2​)dx dy​

两个概念交叉使用，二者只是相差一个统计平均值：$C_{XY}\left(t_1,t_2\right)=R_{XY}\left(t_1,t_2\right)-m_X\left(t_1\right)m_Y\left(t_2\right)$

特征函数

$$\Phi (\omega ,t)=E\left\{e^{j\omega \mathbf{x}(t)}\right\}={\int }_{-\infty }^{\infty }{e}^{j\omega x}f(x,t)\mathrm{d}x$$

平稳随机过程和序列

简单的说：统计特性不随时间变化

严格平稳（Strict Sense Stationary, SSS）

如果$\mathbf{x}(t)$时间原点的移动不改变随机过程统计性质，则我们称$\mathbf{x}(t)$是严格平稳的随机过程。在任何时刻上或任何时间区间计算严平稳过程的统计结果都是相同的。

• 严平稳过程$\mathbf{x}(t)$的一维概率密度与时间无关。
• 严平稳过程$\mathbf{x}(t)$的二维概率密度只与两个时刻$t_1$和$t_2$的间隔有关，与时间起点无关。

广义平稳(宽平稳)（Wide Sense Stationary, WSS）

如果

1. E { x ( t ) } = η E{mathbf{x}(t)}=eta E{x(t)}=η（随机过程$\mathbf{x}(t)$的均值为常数）
2. $R\left(t_1,t_2\right)=R(\tau )$（相关函数的仅取决于$\tau =t_1-t_2$）
3. $R(0)<\infty$（一般忽略这一条）

则称$\mathbf{x}(t)$为广义平稳过程。

平稳随机过程的相关性分析

自相关函数

实平稳过程X(t)的自相关函数是偶函数$R_X(\tau )=R_X(-\tau )$$C_X(\tau )=C_X(-\tau )$

平稳过程X(t) 自相关函数的最大点在,=0 处，即$\left|R_X(\tau )\right|⩽R_X(0)$$\left|C_X(\tau )\right|⩽C_X(0)$

周期平稳过程X(t) 的自相关函数是周期函数，且与周期平稳过程的周期相同。$R_X(\tau +T)=R_X(\tau )$

非周期平稳过程X(t) 的自相关函数满足

${\lim }_{|\tau |\to \infty }{R}_X(\tau )=R_X(\infty )=m_X^2$
${\sigma }_X^2=R_X(0)-R_X(\infty )$

相关系数

相关系数是自相关函数对数学期望和方差归一化的结果，不受数学期望和方差的影响。因此相关系数可直观地说明两个随机过程的相关程度的强弱，或随机过程起伏的快慢。

$r_X(\tau )=\frac{C_X(\tau )}{{\sigma }_X^2}=\frac{R_X(\tau )-m_X^2}{{\sigma }_X^2}$

相关时间

数学上：若${\tau }_0$是$X(t)$的相关时间，则认为随机过程时间间隔大于${\tau }_0$的两个时刻的取值是不相关的。

工程上：1、满足 $\left|r\left({\tau }_0\right)\right|=0.05$ 的 ${\tau }_0$ 2、满足 ${\tau }_0={\int }_0^{\infty }r(\tau )\mathrm{d}\tau$ 的 ${\tau }_0$

互相关函数

一般情况下，互相关函数是非奇非偶函数，即

$R_{XY}(\tau )=R_{YX}(-\tau )$

$C_{XY}(\tau )=C_{YX}(-\tau )$

互相关函数的幅度平方满足

${\left|R_{xy}(\tau )\right|}^2\le R_x(0)R_y(0)$

互相关函数和互协方差函数的幅度满足

$\left|R_{xy}(\tau )\right|\le \frac{1}{2}\left[R_x(0)+R_y(0)\right]$

联合平稳（Joint Stationary）

Two stochastic processes { X t } left{X_{t}right} {Xt​} and { Y t } left{Y_{t}right} {Yt​} are called jointly strict-sense stationary if their joint cumulative distribution $F_{XY}\left(x_{t_1},\dots ,x_{t_m},y_{t_1^{\prime }},\dots ,y_{t_n^{\prime }}\right)$ remains unchanged under time shifts.

$F_{XY}\left(x_{t_1},\dots ,x_{t_m},y_{t_1^{\prime }},\dots ,y_{t_n^{\prime }}\right)=F_{XY}\left(x_{t_1+\tau },\dots ,x_{t_m+\tau },y_{t_1^{\prime }+\tau },\dots ,y_{t_n+\tau }^{\prime }\right)$ for all $\tau ,t_1,\dots ,t_m,t_1^{\prime },\dots ,t_n^{\prime }\in \mathbb{R}$ and for all $m,n\in \mathbb{N}$

如果对于任何$c$，两个过程$x(t)$和$y(t)$的联合统计性质与$x(t+c)$和$y(t+c)$的联合统计性质相同，则称$x(t)$和$y(t)$是联合平稳的。
如果过程$x(t)$和$y(t)$是联合平稳的，则复过程$z(t)=x(t)+jy(t)$也是平稳的。

联合广义平稳(联合宽平稳)

Two stochastic processes { X t } left{X_{t}right} {Xt​} and { Y t } left{Y_{t}right} {Yt​} are called jointly wide-sense stationary if they are both wide-sense stationary and their cross-covariance function $K_{XY}\left(t_1,t_2\right)=\mathrm{E}\left[\left(X_{t_1}-m_X\left(t_1\right)\right)\left(Y_{t_2}-m_Y\left(t_2\right)\right)\right]$ depends only on the time difference $\tau =t_1-t_2$. This may be summarized as follows:
$$\begin{array}{ll}{m}_X(t)=m_X(t+\tau )& \text{ for all }\tau \in \mathbb{R}\\ m_Y(t)=m_Y(t+\tau )& \text{ for all }\tau \in \mathbb{R}\\ K_{XX}\left(t_1,t_2\right)=K_{XX}\left(t_1-t_2,0\right)& \text{ for all }{t}_1,t_2\in \mathbb{R}\\ K_{YY}\left(t_1,t_2\right)=K_{YY}\left(t_1-t_2,0\right)& \text{ for all }{t}_1,t_2\in \mathbb{R}\\ K_{XY}\left(t_1,t_2\right)=K_{XY}\left(t_1-t_2,0\right)& \text{ for all }{t}_1,t_2\in \mathbb{R}\end{array}$$

严格循环平稳

一个随机过程为$x(t)$ ，如果当原点移动$T$的整数倍时，它的的统计特性保持不变，则称过程$x(t)$是严格循环平稳的(SSCS) ，循环周期为$T$ 。

广义循环平稳

若对于任意整数m ，有
$$\eta (t+mT)=\eta (t)R\left(t_1+mT,t_2+mT\right)=R\left(t_1,t_2\right)$$
我们就称x(t) 是广义循环平稳的(WSCS) 。

各态历经过程和序列

辛钦证明：在具备一定的补充条件下，对平稳过程的一个样本函数取时间均值，若观察的时间充分长，则将从概率意义上趋近它的统计均值。

例如要得出一个城市A、B两座公园哪一个更受欢迎，有两种办法。第一种办法是在一定的时间段考察两个公园（在空间上考察）的人数，人数多的为更受欢迎公园；第二种办法，随机选择一名市民，跟踪足够长的时间（在时间上考察）来统计他去两个公园的次数，去得多的为更受欢迎公园。如果这个两个结果始终一致，则表现为遍历性。

各态历经过程matlab仿真

各态历经过程的每个样本都经历了随机过程的各种可能状态，任何一个样本都能充分地代表随机过程的统计特性。

证明各态历经性：

1、时间均值等于统计均值

2、统计自相关函数等于时间自相关函数

$\overline{X(t)}=m_X$

$\overline{X(t)X(t+\tau )}=R_X(\tau )$

另：各种平稳过程的统计特性

	一般随机过程	平稳过程	各态历经过程
统计均值	$m_X(t)$为时间函数	$m_X$为常数	$m_X$为常数
自相关函数	$R_X(t,t+\tau )$为二维函数	$R_X(\tau )$为一维函数	$R_X(\tau )$为一维函数
时间均值	$\overline{X(t)}$为随机变量	$\overline{X(t)}$为随机变量	$\overline{X(t)}$为常数
时间自相关函数	$\overline{X(t)X(t+\tau )}$为随机过程	$\overline{X(t)X(t+\tau )}$为随机过程为随机过程	$\overline{X(t)X(t+\tau )}$为随机过程为确定时间函数

收敛

逐点收敛有很大的局限性，实际上很难满足，应用受到了限制。因此人们寻求较弱意义下的收敛。一般应用的收敛有以概率1收敛、均方收敛、依概率收敛和分布收敛等。

各个收敛的定义有强弱之分。强收敛可以推出弱收敛。

以概率1收敛

属千很强的收敛条件，又称为几乎处处收敛，其定义接近于函数逐点收敛的定义。
$$P\left(\underset{n\to \infty }{\lim }{X}_n=x\right)=1\text{ 则 }{X}_n\stackrel{\text{ a.s. }}{\to }x$$

依概率收敛

和依概率1收敛的定义有相似之处，但本质上，依概率1收敛是比依概率收敛更“强”的收敛性质。
$$\underset{n\to \infty }{\lim }P\left(\left|X_n-X\right|⩾\epsilon \right)=0\text{ 则 }{X}_n\stackrel{P}{\to }X$$

依分布收敛

依分布收敛是最宽松的收敛方式之一。这种收敛不要求查看每个$omega $，只要求序列的分布趋向于某个极限。
$$\underset{n\to \infty }{\lim }p\left(X_n⩽x\right)=P(X⩽x)\text{ 则 }{X}_n\stackrel{d}{\to }X$$

均方收敛（Mean-Square或 m.s. 收敛）

$$\underset{n\to \infty }{\lim }E\left\{{\left|{\mathbf{x}}_n-\mathbf{x}\right|}^2\right\}=0\text{ 则 }{X}_n\stackrel{{\mathbf{L}}^2}{\to }X$$

• 随机过程的连续性通常指在均方收敛意义下的连续。

• 均方连续必均值连续，对随机变量求期望就是一个很常用的处理。

  证明： E [ { X ( t + Δ t ) − X ( t ) } 2 ] ⩾ E 2 [ X ( t + Δ t ) − X ( t ) ] Eleft[{X(t+Delta t)-X(t)}^{2}right] geqslant E^{2}[X(t+Delta t)-X(t)] E[{X(t+Δt)−X(t)}2]⩾E2[X(t+Δt)−X(t)]

随机过程求极限和求期望顺序可互换

随机微分（对时间）

均方可微（MS differentiable）

定义

如果过程$\mathbf{x}(t)$满足，${\lim }_{\Delta t\to 0}E\left[{\left\{\frac{X(t+\Delta t)-X(t)}{\Delta t}-X^{\prime }(t)\right\}}^2\right]=0$则称过程$\mathbf{x}(t)$是均方可微的。

定理

如果过程$\mathbf{x}(t)$的相关函数在$t_1=t_2$时连续，且二阶混合偏导数${\frac{{\partial }^{2}R\left(t_1,t_2\right)}{\partial t_1\partial t_2}|}_{t_1=t_2}$存在，则过程$\mathbf{x}(t)$是均方可微的。

运算法则

均方导数运算和数学期望运算的次序可以交换。

结论

随机过程均方导数的自相关函数等于随机过程自相关函数的二阶偏导数。

$$R_{X^{\prime }}\left(t_1,t_2\right)=\frac{{\partial }^2{R}_X\left(t_1,t_2\right)}{\partial t_1\partial t_2}$$

平稳过程导数的自相关函数等于原过程自相关函数的二阶导数的负值

$$\begin{array}{r}{R}_{X^{\prime }}(\tau )=R_{X^{\prime }}(t,t+\tau )=-\frac{{\mathrm{d}}^2{R}_X(\tau )}{\mathrm{d}{\tau }^2}\end{array}$$

平稳随机过程的导数是均值为零的平稳随机过程。

平稳随机过程与其导数过程在同一时刻的状态是两个相互正交的随机变量。
$$R_{XY}(0)={\frac{\mathrm{d}{R}_X(\tau )}{\mathrm{d}\tau }|}_{\tau =0}=0$$

随机积分（对时间）

定义

把积分区间$[a,b]$分成 $n$ 个小区间 $\Delta t_i,$ 令 $\Delta t=\max \Delta t_i,$ 当 $n\to \infty$ 时
$$\underset{\Delta t\to 0}{\lim }E\left[{\left\{Y-\sum _{i=1}^{n}X\left(t_i\right)\Delta t_i\right\}}^2\right]=0$$

$Y$就定义为$X(t)$在均方意义下的积分。

定理

如果下式成立，则 $\mathrm{x}(t)$ 是均方可积的。
$${\int }_a^b{\int }_a^b\left|R\left(t_1,t_2\right)\right|\mathrm{d}{t}_1\mathrm{d}{t}_2<\infty$$

运算法则

均方积分运算和数学期望运算的次序可以交换。

结论

对随机过程积分，若积分上限和下限中不含t则积分结果为随机变量，若积分上限和下限中含t则积分结果为随机过程。

随机过程积分为随机变量时的方差等于原过程的协方差函数的二重积分。

$$Y^2={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }X\left(t_1\right)X\left(t_2\right)\mathrm{d}{t}_1\mathrm{d}{t}_2$$

$$E\left[Y^2\right]={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }E\left[X\left(t_1\right)X\left(t_2\right)\right]d{t}_{1}d{t}_2={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }{R}_X\left(t_1{t}_2\right)\mathrm{d}{t}_1\mathrm{d}{t}_2$$

$$\begin{gathered} D[Y]=E\left[Y^2\right]-E^2[Y]={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }{R}_X\left(t_1{t}_2\right)\mathrm{d}{t}_1\mathrm{d}{t}_2-E^2\left[{\int }_{-\infty }^{\infty }X(t)\mathrm{d}t\right] \\ ={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }{R}_X\left(t_1,t_2\right)\mathrm{d}{t}_1\mathrm{d}{t}_2-{\int }_{-\infty }^{\infty }{\int }_{\infty }^{\infty }{m}_X\left(t_1,t_2\right)\mathrm{d}{t}_1\mathrm{d}{t}_2={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }{C}_X\left(t_1,t_2\right)\mathrm{d}{t}_1\mathrm{d}{t}_2 \end{gathered}$$

随机过程积分为随机过程时的自相关函数等于原过程自相关函数的二重积分。

如果 $Y(t)={\int }_0^{t}X(\tau )\mathrm{d}\tau ,$ 它的自相关函数为
$$R_Y\left(t_1,t_2\right)=E\left[Y\left(t_1\right)Y\left(t_2\right)\right]=E\left[{\int }_0^t{\int }_0^{t_2}X(\tau )X\left({\tau }^{\prime }\right)\mathrm{d}\tau \mathrm{d}{\tau }^{\prime }\right]={\int }_0^t{\int }_0^{t_i}{R}_X\left(\tau ,{\tau }^{\prime }\right)\mathrm{d}\tau \mathrm{d}{\tau }^{\prime }$$
当 $t_1=t_2$ 时，上式退化为随机过程 $Y(t)$ 的二阶原点矩
$$E\left[Y^2(t)\right]={\int }_0^t{\int }_0^t{R}_X\left(\tau ,{\tau }^{\prime }\right)\mathrm{d}\tau \mathrm{d}{\tau }^{\prime }$$

另：联合正态

如果随机变量 $x$ 和 $y$ 的联合概率密度函数为
$$f(x,y)=A\exp \left\{-\frac{1}{2\left(1-r^2\right)}\left(\frac{{\left(x-{\eta }_1\right)}^2}{{\sigma }_1^2}-2r\frac{\left(x-{\eta }_1\right)\left(y-{\eta }_2\right)}{{\sigma }_1{\sigma }_2}+\frac{{\left(y-{\eta }_2\right)}^2}{{\sigma }_2^2}\right)\right\}$$
我们称它们是联合正态的。这个函数 $f(x,y)$ 是恒正的,并且如果
$$A=\frac{1}{2\pi {\sigma }_1{\sigma }_2\sqrt{1-r^2}}|r|<1$$
负二次式。我们把这个函数记作
$$N\left({\eta }_1,{\eta }_2,{\sigma }_1^2,{\sigma }_2^2,r\right)$$
下面我们就会看到,${\eta }_1$ 和 ${\eta }_2$ 是 $x$ 和 $y$ 的均值,而 ${\sigma }_1^2$ 和 ${\sigma }_2^2$ 是它们的方差。 $r$ 的意义将 在后面的习题 6 - 30 中给出(相关系数)。
可以证明, $\mathbf{x}$ 和 $\mathbf{y}$ 的边缘概率密度函数为
$$f_x(x)=\frac{1}{{\sigma }_1\sqrt{2\pi }}{\mathrm{e}}^{-{\left(x-{\eta }_1\right)}^2/2{\sigma }_1^2},f_y(y)=\frac{1}{{\sigma }_2\sqrt{2\pi }}{\mathrm{e}}^{-{\left(y-{\eta }_2\right)}^2/2{\sigma }_2^2}(6-26)$$
联合正态：若随机变量 $\mathbf{x}$ 和 $y$ 是联合正态的,即服从 $N\left({\mu }_x,{\mu }_y,{\sigma }_x^2,{\sigma }_y^2,\rho \right)$
且
$$z=ax+by,w=cx+dy$$
类似于 $f_{xy}(x,y),z$ 和 $w$ 的概率密度函数也是指数函敕，指数部分是和的二次多项式,因此也 是联合正态的。用( $6-25$ ) 式的概念,z和 $w$ 服从正态分布 $N\left({\mu }_z,{\mu }_w,{\sigma }_x^2,{\sigma }_w^2,{\rho }_{zw}\right)$, 通过计算知道
$$\begin{array}{l}{\mu }_x=a{\mu }_x+b{\mu }_y\\ {\mu }_w=c{\mu }_x+d{\mu }_y\\ {\sigma }_z^2=a^2{\sigma }_x^2+2ab\rho {\sigma }_x{\sigma }_y+b^2{\sigma }_y^2\\ {\sigma }_w^2=c^2{\sigma }_x^2+2cd\rho {\sigma }_x{\sigma }_y+d^2{\sigma }_y^2\\ {\rho }_{xw}=\frac{ac{\sigma }_x^2+(ad+bc)\rho {\sigma }_x{\sigma }_y+bd{\sigma }_y^2}{{\sigma }_x{\sigma }_w}\end{array}$$
特别是,任意两个联合正态的随机变量的线性组合仍然是正态的。

如果两个随机变量是联合正态的,则它们也是边缘正态的。但反之并不成立。

联合正态可定义如下: 如果对任意 $a$ 与 $b$, 其和 $ax+by$ 是正态的,则 $x$ 与 $y$ 就是联合正态的。

高斯随机过程

宽平稳⾼斯过程⼀定是严平稳过程。（高斯过程三阶以上的中心矩为零）这条性质表明了高斯过程独有的特性，严平稳可是很难达到的！

若平稳⾼斯过程在任意两个不同时刻 t1和 t2 是不相关的，那么也一定是互相独立的。（ E { x y } = E { x } E { y } E{mathbf{x y}}=E{mathbf{x}} E{mathbf{y}} E{xy}=E{x}E{y}等价于）

平稳高斯过程与确定时间信号之和也是高斯过程。这点可以理解为高斯过程搭载在另一个信号上，高斯过程提供了随机性。若该确定时间信号是时变的，则会破坏和信号的平稳性。

如果高斯过程的积分存在，它也将是高斯分布的随机变量或随机过程。

平稳高斯过程导数的一维概率密度也是高斯分布的，其数学期望为零，方差为 ${\sigma }^2\left|r^{\prime \prime }(0)\right|$, 即
$$f_{X^{\prime }}\left(x^{\prime }\right)=\frac{1}{\sqrt{2\pi {\sigma }^2\left|r^{\prime \prime }(0)\right|}}\exp \left[-\frac{x^{\prime 2}}{2{\sigma }^2\left|r^{\prime \prime }(0)\right|}\right]$$
平稳高斯过程导数的 二维概率密度是高斯分布的，平稳高斯过程与其导数的联合概率密度也是高斯分布的 。

白噪声

将具有均匀分布的噪声称为均匀噪声，量化噪声就是均匀噪声。从功率谱的角度看，如果一个随机过程的功率谱密度是常数，则无论它是什么分布，都称它为白噪声。

在误差分析时经常遇到均匀分布，如数字信号中的量化噪声。由于 $\mathrm{A}/\mathrm{D}$ 转换器的字长有限，模拟信号通过 A/D 转换时，势必要舍弃部分信息。丢失信息后相当于使信号附加了一部 分噪声，称为量化噪声。量化噪声分为截尾噪声和舍入噪声，它们都是均匀分布的，且方差 相同，不同的是分布的区间。若量化的最小单位是 $\epsilon$ ，舍入噪声在 $[-\epsilon /2,\epsilon /2]$ 内均匀分布， 数学期望为零; 而截尾噪声在 $[-\epsilon ,0]$ 内均匀分布，因此数学期望为 $-\epsilon /2$ 。

最后

以上就是热心便当为你收集整理的随机过程知识总结的全部内容，希望文章能够帮你解决随机过程知识总结所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。