机器学习之概率论与数理统计

随机事件和概率

1.事件的关系与运算

(1) 子事件：$A\subset B$，若$A$发生，则$B$发生。

(2) 相等事件：$A=B$，即$A\subset B$，且$B\subset A$ 。

(3) 和事件：$A\bigcup B$（或$A+B$），$A$与$B$中至少有一个发生。

(4) 差事件：$A-B$，$A$发生但$B$不发生。

(5) 积事件：$A\bigcap B$（或$AB$），$A$与$B$同时发生。

(6) 互斥事件（互不相容）：$A\bigcap B$=$\varnothing$。

(7) 互逆事件（对立事件）：
$A\bigcap B=\varnothing ,A\bigcup B=\Omega ,A=\bar{B},B=\bar{A}$

2.运算律

(1) 交换律：$A\bigcup B=B\bigcup A,A\bigcap B=B\bigcap A$

(2) 结合律：$(A\bigcup B)\bigcup C=A\bigcup (B\bigcup C)$

(3) 分配律：$(A\bigcap B)\bigcap C=A\bigcap (B\bigcap C)$

3.德$centerdot $摩根律

$\overline{A\bigcup B}=\bar{A}\bigcap \bar{B}$ $\overline{A\bigcap B}=\bar{A}\bigcup \bar{B}$

4.完全事件组

$A_1{A}_2\cdots A_n$两两互斥，且和事件为必然事件，即${{A}{i}}bigcap {{A}{j}}=varnothing, ine j ,underset{i=1}{overset{n}{mathop bigcup }},=Omega $

5.概率的基本公式
(1)条件概率:

$P(B|A)=\frac{P(AB)}{P(A)}$,表示$A$发生的条件下，$B$发生的概率。

(2)全概率公式：

$P(A)=\sum _{i=1}^{n}P(A|B_i)P(B_i)$
(3) Bayes公式：

$P(B_j|A)=\frac{P(A|B_j)P(B_j)}{\sum _{i=1}^{n}P(A|B_i)P(B_i)},j=1,2,\cdots ,n$
注：上述公式中事件$B_i$的个数可为可列个。

(4)乘法公式：

$P(A_1{A}_2)=P(A_1)P(A_2|A_1)=P(A_2)P(A_1|A_2)$
$P(A_1{A}_2\cdots A_n)=P(A_1)P(A_2|A_1)P(A_3|A_1{A}_2)\cdots P(A_n|A_1{A}_2\cdots A_{n-1})$

6.事件的独立性

(1)$A$与$B$相互独立$\iff P(AB)=P(A)P(B)$

(2)$A$，$B$，$C$两两独立
$\iff P(AB)=P(A)P(B)$;$P(BC)=P(B)P(C)$ ;$P(AC)=P(A)P(C)$;

(3)$A$，$B$，$C$相互独立
$\iff P(AB)=P(A)P(B)$; $P(BC)=P(B)P(C)$ ;
$P(AC)=P(A)P(C)$ ; $P(ABC)=P(A)P(B)P(C)$

7.独立重复试验

将某试验独立重复$n$次，若每次实验中事件A发生的概率为$p$，则$n$次试验中$A$发生$k$次的概率为：
$P(X=k)=C_n^k{p}^k{(1-p)}^{n-k}$

8.重要公式与结论

$(1)P(\bar{A})=1-P(A)$

$(2)P(A\bigcup B)=P(A)+P(B)-P(AB)$
$P(A\bigcup B\bigcup C)=P(A)+P(B)+P(C)-P(AB)-P(BC)-P(AC)+P(ABC)$

$(3)P(A-B)=P(A)-P(AB)$

$(4)P(A\bar{B})=P(A)-P(AB),P(A)=P(AB)+P(A\bar{B}),$

$P(A\bigcup B)=P(A)+P(\bar{A}B)=P(AB)+P(A\bar{B})+P(\bar{A}B)$

(5)条件概率$P(\cdot |B)$满足概率的所有性质，
例如：. $P({\bar{A}}_1|B)=1-P(A_1|B)$
$P(A_1\bigcup A_2|B)=P(A_1|B)+P(A_2|B)-P(A_1{A}_2|B)$
$P(A_1{A}_2|B)=P(A_1|B)P(A_2|A_{1}B)$

(6)若$A_1,A_2,\cdots ,A_n$相互独立，则$P(\bigcap _{i=1}^n{A}_i)=\prod _{i=1}^{n}P(A_i),$
$P(\bigcup _{i=1}^n{A}_i)=\prod _{i=1}^n(1-P(A_i))$

(7)互斥、互逆与独立性之间的关系：
$A$与$B$互逆$\Rightarrow$ $A$与$B$互斥，但反之不成立，$A$与$B$互斥（或互逆）且均非零概率事件$Rightarrow $$A$与$B$不独立.

(8)若$A_1,A_2,\cdots ,A_m,B_1,B_2,\cdots ,B_n$相互独立，则$f(A_1,A_2,\cdots ,A_m)$与$g(B_1,B_2,\cdots ,B_n)$也相互独立，其中$f(\cdot ),g(\cdot )$分别表示对相应事件做任意事件运算后所得的事件，另外，概率为1（或0）的事件与任何事件相互独立.

随机变量及其概率分布

1.随机变量及概率分布

取值带有随机性的变量，严格地说是定义在样本空间上，取值于实数的函数称为随机变量，概率分布通常指分布函数或分布律

2.分布函数的概念与性质

定义： $F(x)=P(X\le x),-\infty <x<+\infty$

性质：(1)$0\le F(x)\le 1$

(2) $F(x)$单调不减

(3) 右连续$F(x+0)=F(x)$

(4) $F(-\infty )=0,F(+\infty )=1$

3.离散型随机变量的概率分布

$P(X=x_i)=p_i,i=1,2,\cdots ,n,\cdots p_i\ge 0,{\sum }_{i=1}^{\infty }{p}_i=1$

4.连续型随机变量的概率密度

概率密度$f(x)$;非负可积，且:

(1)$f(x)\ge 0,$

(2)${\int }_{-\infty }^{+\infty }f(x)dx=1$

(3)$x$为$f(x)$的连续点，则:

$f(x)=F^{\prime }(x)$分布函数$F(x)={\int }_{-\infty }^{x}f(t)dt$

5.常见分布

(1) 0-1分布:$P(X=k)=p^k{(1-p)}^{1-k},k=0,1$

(2) 二项分布:$B(n,p)$： $P(X=k)=C_n^k{p}^k{(1-p)}^{n-k},k=0,1,\cdots ,n$

(3) Poisson分布:$p(\lambda )$： $P(X=k)=\frac{{\lambda }^k}{k!}{e}^{-\lambda },\lambda >0,k=0,1,2\cdots$

(4) 均匀分布$U(a,b)$：$f(x) = { begin{matrix} & frac{1}{b - a},a < x< b & 0, end{matrix} $

(5) 正态分布:$N(\mu ,{\sigma }^2):$ $\phi (x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{{(x-\mu )}^2}{2{\sigma }^2}},\sigma >0,\infty <x<+\infty$

(6)指数分布:$E(lambda):f(x) ={ begin{matrix} & lambda e^{-{λx}},x > 0,lambda > 0 & 0, end{matrix} $

(7)几何分布:$G(p):P(X=k)={(1-p)}^{k-1}p,0<p<1,k=1,2,\cdots .$

(8)超几何分布: $H(N,M,n):P(X=k)=\frac{C_M^k{C}_{N-M}^{n-k}}{C_N^n},k=0,1,\cdots ,min(n,M)$

6.随机变量函数的概率分布

(1)离散型：$P(X=x_1)=p_i,Y=g(X)$

则: $P(Y=y_j)={\sum }_{g(x_i)=y_i}^{}P(X=x_i)$

(2)连续型：$X\stackrel{~}{}{f}_X(x),Y=g(x)$

则:$F_y(y)=P(Y\le y)=P(g(X)\le y)={\int }_{g(x)\le y}^{}{f}_x(x)dx$， $f_Y(y)=F_Y^{\prime }(y)$

7.重要公式与结论

(1) $X\sim N(0,1)\Rightarrow \phi (0)=\frac{1}{\sqrt{2\pi }},\Phi (0)=\frac{1}{2},$ $\Phi (-a)=P(X\le -a)=1-\Phi (a)$

(2) $X\sim N\left(\mu ,{\sigma }^2\right)\Rightarrow \frac{X-\mu }{\sigma }\sim N\left(0,1\right),P(X\le a)=\Phi (\frac{a-\mu }{\sigma })$

(3) $X\sim E(\lambda )\Rightarrow P(X>s+t|X>s)=P(X>t)$

(4) $X\sim G(p)\Rightarrow P(X=m+k|X>m)=P(X=k)$

(5) 离散型随机变量的分布函数为阶梯间断函数；连续型随机变量的分布函数为连续函数，但不一定为处处可导函数。

(6) 存在既非离散也非连续型随机变量。

多维随机变量及其分布

1.二维随机变量及其联合分布

由两个随机变量构成的随机向量$(X,Y)$， 联合分布为$F(x,y)=P(X\le x,Y\le y)$

2.二维离散型随机变量的分布

(1) 联合概率分布律 P { X = x i , Y = y j } = p i j ; i , j = 1 , 2 , ⋯ P{ X = x_{i},Y = y_{j}} = p_{{ij}};i,j =1,2,cdots P{X=xi​,Y=yj​}=pij​;i,j=1,2,⋯

(2) 边缘分布律 $p_{i\cdot }={\sum }_{j=1}^{\infty }{p}_{ij},i=1,2,\cdots$ $p_{\cdot j}={\sum }_i^{\infty }{p}_{ij},j=1,2,\cdots$

(3) 条件分布律 P { X = x i ∣ Y = y j } = p i j p ⋅ j P{ X = x_{i}|Y = y_{j}} = frac{p_{{ij}}}{p_{cdot j}} P{X=xi​∣Y=yj​}=p⋅j​pij​​
P { Y = y j ∣ X = x i } = p i j p i ⋅ P{ Y = y_{j}|X = x_{i}} = frac{p_{{ij}}}{p_{i cdot}} P{Y=yj​∣X=xi​}=pi⋅​pij​​

3. 二维连续性随机变量的密度

(1) 联合概率密度$f(x,y):$

1. $f(x,y)\ge 0$

2. ${\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }f(x,y)dxdy=1$

(2) 分布函数：$F(x,y)={\int }_{-\infty }^x{\int }_{-\infty }^{y}f(u,v)dudv$

(3) 边缘概率密度： $f_X\left(x\right)={\int }_{-\infty }^{+\infty }f\left(x,y\right)dy$ $f_Y(y)={\int }_{-\infty }^{+\infty }f(x,y)dx$

(4) 条件概率密度：$f_{X|Y}\left(x|y\right)=\frac{f\left(x,y\right)}{f_Y\left(y\right)}$ $f_{Y|X}(y|x)=\frac{f(x,y)}{f_X(x)}$

4.常见二维随机变量的联合分布

(1) 二维均匀分布：$(x,y)\sim U(D)$ ,$f(x,y)=\{\begin{array}{l}\frac{1}{S(D)},(x,y)\in D\\ 0,其他\end{array}$

(2) 二维正态分布：$(X,Y)\sim N({\mu }_1,{\mu }_2,{\sigma }_1^2,{\sigma }_2^2,\rho )$,$(X,Y)\sim N({\mu }_1,{\mu }_2,{\sigma }_1^2,{\sigma }_2^2,\rho )$

$f(x,y)=\frac{1}{2\pi {\sigma }_1{\sigma }_2\sqrt{1-{\rho }^2}}.\exp \left\{\frac{-1}{2(1-{\rho }^2)}[\frac{{(x-{\mu }_1)}^2}{{\sigma }_1^2}-2\rho \frac{(x-{\mu }_1)(y-{\mu }_2)}{{\sigma }_1{\sigma }_2}+\frac{{(y-{\mu }_2)}^2}{{\sigma }_2^2}]\right\}$

5.随机变量的独立性和相关性

$X$和$Y$的相互独立:$\iff F\left(x,y\right)=F_X\left(x\right)F_Y\left(y\right)$:

$\iff p_{ij}=p_{i\cdot }\cdot p_{\cdot j}$（离散型）
$\iff f\left(x,y\right)=f_X\left(x\right)f_Y\left(y\right)$（连续型）

$X$和$Y$的相关性：

相关系数${\rho }_{XY}=0$时，称$X$和$Y$不相关，
否则称$X$和$Y$相关

6.两个随机变量简单函数的概率分布

离散型： $P\left(X=x_i,Y=y_i\right)=p_{ij},Z=g\left(X,Y\right)$ 则：

P ( Z = z k ) = P { g ( X , Y ) = z k } = ∑ g ( x i , y i ) = z k P ( X = x i , Y = y j ) P(Z = z_{k}) = Pleft{ gleft( X,Y right) = z_{k} right} = sum_{gleft( x_{i},y_{i} right) = z_{k}}^{}{Pleft( X = x_{i},Y = y_{j} right)} P(Z=zk​)=P{g(X,Y)=zk​}=∑g(xi​,yi​)=zk​​P(X=xi​,Y=yj​)

连续型： $\left(X,Y\right)\sim f\left(x,y\right),Z=g\left(X,Y\right)$
则：

F z ( z ) = P { g ( X , Y ) ≤ z } = ∬ g ( x , y ) ≤ z f ( x , y ) d x d y F_{z}left( z right) = Pleft{ gleft( X,Y right) leq z right} = iint_{g(x,y) leq z}^{}{f(x,y)dxdy} Fz​(z)=P{g(X,Y)≤z}=∬g(x,y)≤z​f(x,y)dxdy，$f_z(z)=F_z^{\prime }(z)$

7.重要公式与结论

(1) 边缘密度公式： $f_X(x)={\int }_{-\infty }^{+\infty }f(x,y)dy,$
$f_Y(y)={\int }_{-\infty }^{+\infty }f(x,y)dx$

(2) P { ( X , Y ) ∈ D } = ∬ D f ( x , y ) d x d y Pleft{ left( X,Y right) in D right} = iint_{D}^{}{fleft( x,y right){dxdy}} P{(X,Y)∈D}=∬D​f(x,y)dxdy

(3) 若$(X,Y)$服从二维正态分布$N({\mu }_1,{\mu }_2,{\sigma }_1^2,{\sigma }_2^2,\rho )$
则有：

1. $X\sim N\left({\mu }_1,{\sigma }_1^2\right),Y\sim N({\mu }_2,{\sigma }_2^2).$

2. $X$与$Y$相互独立$\iff \rho =0$，即$X$与$Y$不相关。

3. $C_{1}X+C_{2}Y\sim N(C_1{\mu }_1+C_2{\mu }_2,C_1^2{\sigma }_1^2+C_2^2{\sigma }_2^2+2C_1{C}_2{\sigma }_1{\sigma }_2\rho )$

4. $X$关于$Y=y$的条件分布为： $N({\mu }_1+\rho \frac{{\sigma }_1}{{\sigma }_2}(y-{\mu }_2),{\sigma }_1^2(1-{\rho }^2))$

5. $Y$关于$X=x$的条件分布为： $N({\mu }_2+\rho \frac{{\sigma }_2}{{\sigma }_1}(x-{\mu }_1),{\sigma }_2^2(1-{\rho }^2))$

(4) 若$X$与$Y$独立，且分别服从$N({\mu }_1,{\sigma }_1^2),N({\mu }_1,{\sigma }_2^2),$
则：$\left(X,Y\right)\sim N({\mu }_1,{\mu }_2,{\sigma }_1^2,{\sigma }_2^2,0),$

$C_{1}X+C_{2}Y\stackrel{~}{}N(C_1{\mu }_1+C_2{\mu }_2,C_1^2{\sigma }_1^2{C}_2^2{\sigma }_2^2).$

(5) 若$X$与$Y$相互独立，$f\left(x\right)$和$g\left(x\right)$为连续函数， 则$f\left(X\right)$和$g(Y)$也相互独立。

随机变量的数字特征

1.数学期望

离散型： P { X = x i } = p i , E ( X ) = ∑ i x i p i Pleft{ X = x_{i} right} = p_{i},E(X) = sum_{i}^{}{x_{i}p_{i}} P{X=xi​}=pi​,E(X)=∑i​xi​pi​；

连续型： $X\sim f(x),E(X)={\int }_{-\infty }^{+\infty }xf(x)dx$

性质：

(1) $E(C)=C,E[E(X)]=E(X)$

(2) $E(C_{1}X+C_{2}Y)=C_{1}E(X)+C_{2}E(Y)$

(3) 若$X$和$Y$独立，则$E(XY)=E(X)E(Y)$

(4)${\left[E(XY)\right]}^2\le E(X^2)E(Y^2)$

2.方差：$D(X)=E{\left[X-E(X)\right]}^2=E(X^2)-{\left[E(X)\right]}^2$

3.标准差：$\sqrt{D(X)}$，

4.离散型：$D(X)={\sum }_i^{}{\left[x_i-E(X)\right]}^2{p}_i$

5.连续型：$D(X)={{\int }_{-\infty }^{+\infty }\left[x-E(X)\right]}^{2}f(x)dx$

性质：

(1)$D(C)=0,D[E(X)]=0,D[D(X)]=0$

(2) $X$与$Y$相互独立，则$D(X\pm Y)=D(X)+D(Y)$

(3)$D\left(C_{1}X+C_2\right)=C_1^{2}D\left(X\right)$

(4) 一般有 $D(X\pm Y)=D(X)+D(Y)\pm 2Cov(X,Y)=D(X)+D(Y)\pm 2\rho \sqrt{D(X)}\sqrt{D(Y)}$

(5)$D\left(X\right)<E{\left(X-C\right)}^2,C\ne E\left(X\right)$

(6)   D ( X ) = 0 ⇔ P { X = C } = 1 D(X) = 0 Leftrightarrow Pleft{ X = C right} = 1  D(X)=0⇔P{X=C}=1

6.随机变量函数的数学期望

(1) 对于函数$Y=g(x)$

$X$为离散型： P { X = x i } = p i , E ( Y ) = ∑ i g ( x i ) p i P{ X = x_{i}} = p_{i},E(Y) = sum_{i}^{}{g(x_{i})p_{i}} P{X=xi​}=pi​,E(Y)=∑i​g(xi​)pi​；

$X$为连续型：$X\sim f(x),E(Y)={\int }_{-\infty }^{+\infty }g(x)f(x)dx$

(2) $Z=g(X,Y)$; ( X , Y ) ∼ P { X = x i , Y = y j } = p i j left( X,Y right)sim P{ X = x_{i},Y = y_{j}} = p_{{ij}} (X,Y)∼P{X=xi​,Y=yj​}=pij​; $E(Z)={\sum }_i^{}{\sum }_j^{}g(x_i,y_j)p_{ij}$ $\left(X,Y\right)\sim f(x,y)$;$E(Z)={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }g(x,y)f(x,y)dxdy$

7.协方差

$Cov(X,Y)=E\left[(X-E(X)(Y-E(Y))\right]$

8.相关系数

${\rho }_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$,$k$阶原点矩 $E(X^k)$;
$k$阶中心矩 $E\left\{{[X-E(X)]}^k\right\}$

性质：

(1)$Cov(X,Y)=Cov(Y,X)$

(2)$Cov(aX,bY)=abCov(Y,X)$

(3)$Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$

(4)$\left|\rho \left(X,Y\right)\right|\le 1$

(5) $\rho \left(X,Y\right)=1\iff P\left(Y=aX+b\right)=1$ ，其中$a>0$

$\rho \left(X,Y\right)=-1\iff P\left(Y=aX+b\right)=1$
，其中$a<0$

9.重要公式与结论

(1)$D(X)=E(X^2)-E^2(X)$

(2)$Cov(X,Y)=E(XY)-E(X)E(Y)$

(3) $\left|\rho \left(X,Y\right)\right|\le 1,$且 $\rho \left(X,Y\right)=1\iff P\left(Y=aX+b\right)=1$，其中$a>0$

$\rho \left(X,Y\right)=-1\iff P\left(Y=aX+b\right)=1$，其中$a<0$

(4) 下面5个条件互为充要条件：

$\rho (X,Y)=0$ $\iff Cov(X,Y)=0$ $\iff E(X,Y)=E(X)E(Y)$ $\iff D(X+Y)=D(X)+D(Y)$ $\iff D(X-Y)=D(X)+D(Y)$

注：$X$与$Y$独立为上述5个条件中任何一个成立的充分条件，但非必要条件。

数理统计的基本概念

1.基本概念

总体：研究对象的全体，它是一个随机变量，用$X$表示。

个体：组成总体的每个基本元素。

简单随机样本：来自总体$X$的$n$个相互独立且与总体同分布的随机变量$X_1,X_2\cdots ,X_n$，称为容量为$n$的简单随机样本，简称样本。

统计量：设$X_1,X_2\cdots ,X_n,$是来自总体$X$的一个样本，$g(X_1,X_2\cdots ,X_n)$）是样本的连续函数，且$g()$中不含任何未知参数，则称$g(X_1,X_2\cdots ,X_n)$为统计量。

样本均值：$\overline{X}=\frac{1}{n}{\sum }_{i=1}^n{X}_i$

样本方差：$S^2=\frac{1}{n-1}{\sum }_{i=1}^n{(X_i-\overline{X})}^2$

样本矩：样本$k$阶原点矩：$A_k=\frac{1}{n}{\sum }_{i=1}^n{X}_i^k,k=1,2,\cdots$

样本$k$阶中心矩：$B_k=\frac{1}{n}{\sum }_{i=1}^n{(X_i-\overline{X})}^k,k=1,2,\cdots$

2.分布

${\chi }^2$分布：${\chi }^2=X_1^2+X_2^2+\cdots +X_n^2\sim {\chi }^2(n)$，其中$X_1,X_2\cdots ,X_n,$相互独立，且同服从$N(0,1)$

$t$分布：$T=\frac{X}{\sqrt{Y/n}}\sim t(n)$ ，其中$X\sim N\left(0,1\right),Y\sim {\chi }^2(n),$且$X$，$Y$ 相互独立。

$F$分布：$F=\frac{X/n_1}{Y/n_2}\sim F(n_1,n_2)$，其中$X\sim {\chi }^2\left(n_1\right),Y\sim {\chi }^2(n_2),$且$X$，$Y$相互独立。

分位数：若$P(X\le x_{\alpha })=\alpha ,$则称$x_{\alpha }$为$X$的$\alpha$分位数

3.正态总体的常用样本分布

(1) 设$X_1,X_2\cdots ,X_n$为来自正态总体$N(\mu ,{\sigma }^2)$的样本，

$\overline{X}=\frac{1}{n}{\sum }_{i=1}^n{X}_i,S^2=\frac{1}{n-1}{\sum }_{i=1}^n{(X_i-\overline{X})}^2,$则：

1. $\overline{X}\sim N\left(\mu ,\frac{{\sigma }^2}{n}\right)$或者$\frac{\overline{X}-\mu }{\frac{\sigma }{\sqrt{n}}}\sim N(0,1)$

2. $\frac{(n-1)S^2}{{\sigma }^2}=\frac{1}{{\sigma }^2}{\sum }_{i=1}^n{(X_i-\overline{X})}^2\sim {\chi }^2(n-1)$

3. $\frac{1}{{\sigma }^2}{\sum }_{i=1}^n{(X_i-\mu )}^2\sim {\chi }^2(n)$

4)$\frac{\overline{X}-\mu }{S/\sqrt{n}}\sim t(n-1)$

4.重要公式与结论

(1) 对于${\chi }^2\sim {\chi }^2(n)$，有$E({\chi }^2(n))=n,D({\chi }^2(n))=2n;$

(2) 对于$T\sim t(n)$，有$E(T)=0,D(T)=\frac{n}{n-2}(n>2)$；

(3) 对于$F\stackrel{~}{}F(m,n)$，有 $\frac{1}{F}\sim F(n,m),F_{a/2}(m,n)=\frac{1}{F_{1-a/2}(n,m)};$

(4) 对于任意总体$X$，有 $E(\overline{X})=E(X),E(S^2)=D(X),D(\overline{X})=\frac{D(X)}{n}$

最后

以上就是热情月光为你收集整理的机器学习之概率论与数理统计的全部内容，希望文章能够帮你解决机器学习之概率论与数理统计所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。