极限 limitation

极限存在的充要条件:
$$\underset{x->x_0}{\lim }f(x)=A的充要条件是\underset{x->x_0^{-}}{\lim }f(x)=\underset{x->x_0^{+}}{\lim }f(x)=A$$,即左极限=右极限.

• 连续
  $f(x)在x=x_0$处连续的定义为:$$\underset{x->x_0}{\lim }f(x)=f(x_0)$$

导数 derivative

对于函数$y=f(x)$,导数的定义是 $$f^{\prime }(x_0)=\underset{\Delta x->0}{\lim }\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x}\text{\hspace{1em}(1)}$$
可以看到它本质是一个极限, 是标量, 其几何意义为 点$x_0$处的斜率.

偏导数

自变量扩展为多元 $x$ 时, 可对某一维 $x_i$ 单独计算其导数$\frac{\partial f}{\partial x_i}$, 称为 偏导数.

方向导数

directional derivative. 很多时候, 仅有坐标轴方向上的偏导数是不够的, 我们还想知道任意方向上的导数, 称为 方向导数. 方向导数是矢量.
空间中的任意方向, 是可以用各坐标轴对应的基向量, 通过线性组合表示的. 同理, 方向导数可由各个维度的偏导数组合而来.

梯度

梯度是矢量, 指向函数增长最快的方向. 其模表示斜率的大小.
深度学习中要求的是损失函数的最小值, 就是要沿着梯度的反方向迭代.

求导法则

• 函数的 加,减,积,商 求导
  $u,v$ 分别是两个可导函数.
  $(u\pm v{)}^{\prime }=u^{\prime }\pm v^{\prime }$
  $(uv{)}^{\prime }=u^{\prime }v+v^{\prime }u$
  $(\frac{u}{v}{)}^{\prime }=\frac{u^{\prime }v-v^{\prime }u}{v^2}$

• 反函数的导数
  略

• 复合函数的导数
  如果$u=\phi (x)$ 在点$x_0$ 处可导, $y=f(u)$ 在点$u_0=\phi (x_0)$ 处可导, 那么复合函数$y=f[\phi (x)]$ 在点$x_0$ 处可导, 导数为:
  $$\frac{dy}{dx}=\frac{dy}{du}\cdot \frac{du}{dx}$$
  复合函数的求导法则亦称为链式法则.
  例题:
  $$\frac{d[(1-2x{)}^{100}]}{dx}=\frac{d[(1-2x{)}^{100}]}{d(1-2x)}\cdot \frac{d(1-2x)}{dx}=-200(1-2x{)}^{99}$$

常用公式

$(x^a{)}^{\prime }=a{x}^{a-1}$
$(a^x{)}^{\prime }=a^{x}lna$
$(\sin x{)}^{\prime }=\cos x$

二阶偏导

如果函数f连续，则二阶偏导数的求导顺序没有区别，即$\frac{\partial }{\partial x}(\frac{\partial f}{\partial y})=\frac{\partial }{\partial y}(\frac{\partial f}{\partial x})$

• 梯度
  $$\nabla f(x)=(\frac{\partial f(x)}{\partial x_1},...,\frac{\partial f(x)}{\partial x_n}{)}^T$$
• 黑塞矩阵
  黑塞矩阵为n阶方阵${\nabla }^{2}f(\mathbf{x})$,第ij元$[{\nabla }^{2}f(\mathbf{x}){]}_{ij}=\frac{{\partial }^{2}f(\mathbf{x})}{\partial x_i\partial x_j}$, 展开后见下:
  

机器学习中的梯度计算

见参考[1].

参考

1. 机器学中的梯度下降与最优化求解
   

最后

以上就是自由冷风为你收集整理的极限, 微分,导数与梯度极限 limitation导数 derivative求导法则常用公式二阶偏导机器学习中的梯度计算参考的全部内容，希望文章能够帮你解决极限, 微分,导数与梯度极限 limitation导数 derivative求导法则常用公式二阶偏导机器学习中的梯度计算参考所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。