机器学习与概率论的爱恨情仇

概率论

• 事件互斥

1. 定义

事件A与事件B不可能同时发生，则A、B为互斥事件

2. 互斥事件的并集

$P(A\cup B)=P\left(A\right)+P\left(B\right)$

• 事件独立

1. 定义

A事件的发生对B事件的发生没有影响

2. 独立事件的交集运算

$P(A\cap B)=p\left(A\right)\ast \left(B\right)$

• 条件概率

1. 定义

X事件发生的情况下Y事件发生的概率

2. 条件概率计算

$P(Y|X)=P(XY)/P(X)$

• 联合概率

1. 定义

X和Y同时发生的概率 = X先发生的概率乘以X发生的情况下Y发生的概率

2. 表达式

$P\left(XY\right)=P\left(X\right)\ast P(Y|X)$

• 贝叶斯公式

1. 定义

$P\left(XY\right)=P(X|Y)\ast P(Y)=P(Y|X)\ast P\left(X\right)$

2. 变形

$P(Y|X)=P(X|Y)\ast P\left(Y\right)/P\left(X\right)$

3. 细节解释

$P(Y|X)$后验概率
$P\left(Y\right)$ 先验概率

• 生成模型与判别模型

1. 目标

$P(Y|X)$

2. 生成模型

$P(Y|X)=P(X|Y)\ast P\left(Y\right)/P\left(X\right)$

3. 判别模型

$P(Y|X)$

• 离散随机变量

1. 伯努利分布：$P(Y=1)=p=1-P(Y=0)=1-q$
2. 多项分布：多次伯努利

• 期望

1. 定义

$E[X]=x_1{p}_1+x_2{p}_2+...x_n{p}_n$

2. 性质

$E[X+Y]=E[X]+E[Y],E[aX]=aE[X]$
如果X,Y相互独立，那么$E[XY]=E[X]\ast E[Y]$

• 方差
  假设 $\mu$为期望，$x_1,x_2,...,x_n$对应的概率为$p_1,p_2,...p_n$,那么$X$的方差(Variance)为：

1. $Var[X]=(x_1-\mu {)}^2{p}_1+...+(x_n-\mu {)}^2{p}_n$
2. $Var[X]=E[(X-\mu {)}^2]$
3. $Var[X]=E[X^2]-E[X{]}^2$
4. 如果X和Y独立，则$Var[X+Y]=Var[X]+Var[Y]$

• ROC曲线（一般应用于二分类）

1. 准确率的缺陷

如果数据Label不平衡，则最好不使用准确率
precision=TP/(TP+FP)

2. 召回率

recall=TPR=TP/(TP+FN)
recall=FPR=FP/(FP+TN)

3. AOC特指描述的曲线，AUC特指曲线与坐标轴构成的面积

AOC一般以FPR为横坐标，TPR为纵坐标

• 连续随机变量

1. 条件：$f\left(X\right)\ge 0,X\subseteq \Omega ,\int f\left(x\right)d_x=1$
2. 概率：$P(X\subset S)={\int }_{s}f\left(x\right)d_x$
3. 期望：$E[X]=\int Xf\left(X\right)d_x$
4. 方差：$Var[X]=\int (X-\mu {)}^{2}f(x)d_x$

• 正态分布

1. 定义
   $XN(\mu ,{\delta }^2),f\left(X\right)=\frac{1}{\sqrt{2\pi {\delta }^2}}exp(-\frac{1}{2{\delta }^2}(x-\mu {)}^2)$
2. 参数
   $E\left(X\right)=\mu$
   $Var[X]={\delta }^2$

• 协方差和相关系数

1. $cov(X,Y)=E[(X-E\left(X\right)\left)\right(Y-E[Y])]=E[XY]-E[X]E[Y]$
2. $cov(X,Y)=\frac{cov(X,Y)}{\sqrt{Var\left(X\right)Var\left(Y\right)}}$

• 朴素贝叶斯(假设各因子间相互独立)

$P(Y|X_1,X_2,...,X_n)=\frac{P(X_1,X_2,...,X_P|Y\left)P\right(Y)}{P(X_1,X_2,...,X_P)}=\frac{P(X_1|Y\left)P\right(X_2|Y)...P(X_P|Y\left)P\right(Y)}{P(X_1,X_2,....,X_P)}$

• 熵

1. 定义
   $H\left(X\right)=-{\sum }_{i}P\left(X_i\right)logP\left(X_i\right)$
2. 含义
   代表不确定性

• KL 散度 (KL DIVERGENCE)

1. 定义

给定两个概率分布p,q，定义KL Divergence为:

$KL(p||q)=\sum _i{p}_{i}log\frac{p_i}{q_i}$

• 互信息

1. 定义

$I(X,Y)=KL\left(P\right(X,Y)||P(X\left)P\right(Y\left)\right)$

2. 性质

$I(X,Y)\ge 0$当且仅当$P(X,Y)=P\left(X\right)P\left(Y\right)$时，$I(X,Y)=0$

$I(X,Y)=H\left(X\right)-H(X|Y)$

最后

以上就是跳跃芝麻为你收集整理的机器学习与概率论的爱恨情仇的全部内容，希望文章能够帮你解决机器学习与概率论的爱恨情仇所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。