机器学习（一）：激活函数（Activation Function）

57 阅读 0 评论 38 点赞

我是靠谱客的博主机灵铃铛，最近开发中收集的这篇文章主要介绍机器学习（一）：激活函数（Activation Function），觉得挺不错的，现在分享给大家，希望可以做个参考。

这里写图片描述

$编号$ $;编号;$	$函数$ $函数$	$公式$ $公式$
$1)$ $1)$	$s i g m o i d (x)$ $sigmoid;(x)$	$φ (x) = 1 1 - e - x$ $φ(x) = dfrac{1}{{1-e^{ -x}}}$
$2)$ $2)$	$s o f t m a x (x)$ $softmax;(x)$	$φ (x) = e z j \sum K k = 1 e z k$ $φ(x) = dfrac{e^{z_j}}{sum_{k=1}^Ke^{z_k}}$
$3)$ $3)$	$t a n h (x)$ $tanh;(x)$	$φ (x) = t a n h (x)$ $φ(x) = tanh(x)$
$4)$ $4)$	$S c a l e d t a n h ([s c a l e I N, s c a l e O U T])$ $Scaled;tanh;([scaleIN,scaleOUT])$	$φ (x) = t a n h (α * x) * β$ $φ(x) = tanh(αx)β$
$5)$ $5)$	$R e L U$ $ReLU$	$φ (x) = m a x (0, x)$ $φ(x) =max(0,x)$
$6)$ $6)$	$L e a k y R e L U$ $Leaky;ReLU$	$f (x) = {x i f x > 0 0.1 x o t h e r w i s e$ $f(x)=begin{cases}x;;;;;;;;;if;x>0\0.1x;;;;otherwiseend{cases}$
$7)$ $7)$	$V a r y L e a k y R e L U$ $Vary;Leaky;ReLU$	$a = 1 3$ $a = dfrac{1}{3}$
$8)$ $8)$	$P a r a m e t r i c R e L U$ $Parametric;ReLU$	$f (x) = {x i f x > 0 a x o t h e r w i s e$ $f(x)=begin{cases}x;;;;;;;if;x>0\ax;;;;;otherwiseend{cases}$
$9)$ $9)$	$R a n d o m i z e d R e L U$ $Randomized;ReLU$	$f (x) = m a x (0, x + Y), w i t h Y \sim N (0, σ (x))$ $f(x) = max(0,x+Y),with;Ysim N(0,sigma(x))$
$10)$ $10)$	$M a x o u t$ $Maxout$	$i f a < 0, f (x) = m a x (x, a x)$ $if;a<0;,;f(x) = max(x,ax)$
$11)$ $11)$	$e l u (x)$ $elu;(x)$	$φ (x) = (x > 0) ? x : e x - 1$ $φ(x) = (x>0)?x:{e^{x}-1}$
$12)$ $12)$	$s o f t p l u s (x)$ $softplus;(x)$	$φ (x) = l o g (1 + e x)$ $φ(x) = log(1+{e^x})$
$13)$ $13)$	$l i n e a r (x)$ $linear;(x)$	$φ (x) = x$ $φ(x) = x$