• 记法
• 向量求导
  • 向量对标量求导
  • 标量对向量求导
  • 向量对向量求导
• 矩阵求导
  • 矩阵对标量求导
  • 标量对矩阵求导

矩阵微积分@Matrix calculus

• 深度学习中的矩阵微积分学 - Dezeming Family https://dezeming.top › uploads › 2022/02 › 深度…

  • The Matrix Calculus You Need For Deep Learning (explained.ai)

• 矩阵论 第2版_图书搜索 (superlib.net)

  • **作者:**方保镕，周继东，李医民编著 **页数:**401 **出版社:**北京：清华大学出版社 **出版日期:**2013.12
  • 简介:本书比较全面、系统地介绍了矩阵的基本理论、方法及其应用。
  • 全书分上、下两篇，上篇为基础篇，下篇为应用篇。

• Matrix calculus - Wikipedia

• 矩阵微积分 (wikipedia.org)

记法

• 在表示向量和矩阵时，通过用单个变量(字母)来表示许多变量的方式，把矩阵记法的效用发挥到最大。
• 可以用不同字体来区分标量、向量和矩阵。
• 我们使用$M(n,m)$来表示包含n行m列的$n\times m$实矩阵的空间。
  • 该空间中的一般矩阵用大写字母表示，例如A，X，Y等。
• 而若该矩阵属于$M(n,1)$，即列向量，则用粗体小写字母表示，如a，x，y等。(但有时为例放便,不以粗体书写)
• 特别地，M(1,1)中的元素为标量，用小写斜体字母表示，如a，t，x等。
• $X^T$ 表示矩阵转置，$tr(X)$表示矩阵的迹，而 $\det (X)$或$|X|$表示行列式。
• 除非专门注明，所有函数都默认属于光滑函数。
• 通常字母表前半部分的字母$(a,b,c,\dots )$用于表示常量
• 而后半部分的字母$(t,x,y,\dots )$用于表示变量。
  • 变量可以是标量,也可以是向量
  • 标量可能是常数,也可能是变量

简单Jacobi Matrix

分子记法

• 这个矩阵我们称为雅克比矩阵 (Jacobian matrix),一下是分子记法(分子布局 (numerator layout))

  • $$\mathcal{J}=\left[\begin{array}{l}\nabla f(x,y)\\ \nabla g(x,y)\end{array}\right]=\left[\begin{array}{ll}\frac{\partial f(x,y)}{\partial x}& \frac{\partial f(x,y)}{\partial y}\\ \frac{\partial g(x,y)}{\partial x}& \frac{\partial g(x,y)}{\partial y}\end{array}\right]$$

    分母记法

• 有许多著作和软件会使用分母布局 (denominator layout)，其实这就是分子布局的矩阵转置：

  • $${\left[\begin{array}{ll}\frac{\partial f(x,y)}{\partial x}& \frac{\partial f(x,y)}{\partial y}\\ \frac{\partial g(x,y)}{\partial x}& \frac{\partial g(x,y)}{\partial y}\end{array}\right]}^T=\left[\begin{array}{ll}\frac{\partial f(x,y)}{\partial x}& \frac{\partial g(x,y)}{\partial x}\\ \frac{\partial f(x,y)}{\partial y}& \frac{\partial g(x,y)}{\partial y}\end{array}\right]$$

一般形式的Jacobi Matrix

• 对于多个标量函数,讲它们组合到一个向量中:

  • 令$\mathbf{y}=\mathbf{f}(\mathbf{x})$是一个由若干(设为m个)多元(设为n元)标量函数构成的向量

  • 把n维向量$\mathbf{x}$作为输入,$f_i(\mathbf{x})$返回一个标量值($R^n\to R$)

  • y = ( y 1 y 2 ⋮ y m ) = f ( x ) = ( f 1 ( x ) f 2 ( x ) ⋮ f m ( x ) ) mathbf{y}=begin{pmatrix} y_{1}\ y_{2}\ vdots\ y_{m}\ end{pmatrix} =mathbf{f(x)} =begin{pmatrix} f_{1}(mathbf{x})\ f_{2}(mathbf{x})\ vdots\ f_{m}(mathbf{x})\ end{pmatrix} y= ​y1​y2​⋮ym​​ ​=f(x)= ​f1​(x)f2​(x)⋮fm​(x)​ ​

  • $m=n$的情况是很常见的

  • Jacobi矩阵就是与$\mathbf{x}$函数相关的的m个梯度

  • ∂ y ∂ x = ( ∇ f 1 ( x ) ∇ f 2 ( x ) ⋮ ∇ f m ( x ) ) = ( ∂ ∂ x f 1 ( x ) ∂ ∂ x f 2 ( x ) ⋮ ∂ ∂ x f m ( x ) ) = ( ∂ ∂ x 1 f 1 ( x ) ∂ ∂ x 2 f 1 ( x ) ⋯ ∂ ∂ x n f 1 ( x ) ∂ ∂ x 1 f 2 ( x ) ∂ ∂ x 2 f 2 ( x ) ⋯ ∂ ∂ x n f 2 ( x ) ⋮ ∂ ∂ x 1 f m ( x ) ∂ ∂ x 2 f m ( x ) ⋯ ∂ ∂ x n f m ( x ) ) m × n X ∈ R n ∇ f i ( x ) = ∂ ∂ x f i ( x ) = [ ∂ ∂ x 1 f i ( x ) , ∂ ∂ x 2 f i ( x ) , ⋯   , ∂ ∂ x n f i ( x ) ] frac{partialmathbf{y}}{partial{mathbf{x}}} =begin{pmatrix} nabla f_{1}{(mathbf{x})}\ nabla f_{2}{(mathbf{x})}\ vdots\ nabla f_{m}{(mathbf{x})}\ end{pmatrix} =begin{pmatrix} frac{partial}{partial{mathbf{x}}}f_{1}(mathbf{x})\ frac{partial}{partial{mathbf{x}}}f_{2}(mathbf{x})\ vdots\ frac{partial}{partial{mathbf{x}}}f_{m}(mathbf{x})\ end{pmatrix}\ =begin{pmatrix} frac{partial}{partial{{x_1}}}f_{1}(mathbf{x})& frac{partial}{partial{{x_2}}}f_{1}(mathbf{x})& cdots& frac{partial}{partial{{x_n}}}f_{1}(mathbf{x})\ frac{partial}{partial{{x_1}}}f_{2}(mathbf{x})& frac{partial}{partial{{x_2}}}f_{2}(mathbf{x})& cdots& frac{partial}{partial{{x_n}}}f_{2}(mathbf{x})\ vdots\ frac{partial}{partial{{x_1}}}f_{m}(mathbf{x})& frac{partial}{partial{{x_2}}}f_{m}(mathbf{x})& cdots& frac{partial}{partial{{x_n}}}f_{m}(mathbf{x})\ end{pmatrix}_{mtimes{n}} \ mathbf{X}in{R^n} \ nabla f_{i}{(mathbf{x})}=frac{partial}{partial{mathbf{x}}}f_{i}(mathbf{x}) = [frac{partial}{partial{{x_1}}}f_{i}(mathbf{x}), frac{partial}{partial{{x_2}}}f_{i}(mathbf{x}), cdots, frac{partial}{partial{{x_n}}}f_{i}(mathbf{x})] ∂x∂y​= ​∇f1​(x)∇f2​(x)⋮∇fm​(x)​ ​= ​∂x∂​f1​(x)∂x∂​f2​(x)⋮∂x∂​fm​(x)​ ​= ​∂x1​∂​f1​(x)∂x1​∂​f2​(x)⋮∂x1​∂​fm​(x)​∂x2​∂​f1​(x)∂x2​∂​f2​(x)∂x2​∂​fm​(x)​⋯⋯⋯​∂xn​∂​f1​(x)∂xn​∂​f2​(x)∂xn​∂​fm​(x)​ ​m×n​X∈Rn∇fi​(x)=∂x∂​fi​(x)=[∂x1​∂​fi​(x),∂x2​∂​fi​(x),⋯,∂xn​∂​fi​(x)]

• 对于 $f_i(\mathbf{x})=f_i([x_1,x_2,\cdots ,x_n])=x_i$ (构成的)的恒等函数 $\mathbf{f}(\mathbf{x})=\mathbf{x}$，我们可以计算得到它的雅克比矩阵（这里的 m 等于 n）

  • $$\mathbf{y}=\mathbf{f}(\mathbf{x})=(f_1(\mathbf{x}),f_2(\mathbf{x}),\cdots ,f_n(\mathbf{x}))=\mathbf{x}$$

  • 注意这里的函数$\mathbf{f}$是向量输入$\mathbf{x}$,同时向量输出$\mathbf{y}$

    • 假设它么的维数分别是$n,m$,且有$m=n$
    • 对上述恒等函数求jacobi matrix

  • ∂ y ∂ x = ( ∂ ∂ x 1 f 1 ( x ) ∂ ∂ x 2 f 1 ( x ) ⋯ ∂ ∂ x n f 1 ( x ) ∂ ∂ x 1 f 2 ( x ) ∂ ∂ x 2 f 2 ( x ) ⋯ ∂ ∂ x n f 2 ( x ) ⋮ ∂ ∂ x 1 f m ( x ) ∂ ∂ x 2 f m ( x ) ⋯ ∂ ∂ x n f m ( x ) ) m × n = ( ∂ ∂ x 1 x 1 ∂ ∂ x 2 x 1 ⋯ ∂ ∂ x n x 1 ∂ ∂ x 1 x 2 ∂ ∂ x 2 x 2 ⋯ ∂ ∂ x n x 2 ⋮ ∂ ∂ x 1 x m ∂ ∂ x 2 x m ⋯ ∂ ∂ x n x m ) m × n = n 2 = ( 1 0 ⋯ 0 0 1 ⋯ 0 ⋮ ⋮ ⋱ ⋮ 0 0 ⋯ 1 ) n × n frac{partialmathbf{y}}{partial{mathbf{x}}} =begin{pmatrix} frac{partial}{partial{{x_1}}}f_{1}(mathbf{x})& frac{partial}{partial{{x_2}}}f_{1}(mathbf{x})& cdots& frac{partial}{partial{{x_n}}}f_{1}(mathbf{x})\ frac{partial}{partial{{x_1}}}f_{2}(mathbf{x})& frac{partial}{partial{{x_2}}}f_{2}(mathbf{x})& cdots& frac{partial}{partial{{x_n}}}f_{2}(mathbf{x})\ vdots\ frac{partial}{partial{{x_1}}}f_{m}(mathbf{x})& frac{partial}{partial{{x_2}}}f_{m}(mathbf{x})& cdots& frac{partial}{partial{{x_n}}}f_{m}(mathbf{x})\ end{pmatrix}_{mtimes{n}} \ =begin{pmatrix} frac{partial}{partial{{x_1}}}x_1& frac{partial}{partial{{x_2}}}x_1& cdots& frac{partial}{partial{{x_n}}}x_1\ frac{partial}{partial{{x_1}}}x_2& frac{partial}{partial{{x_2}}}x_2& cdots& frac{partial}{partial{{x_n}}}x_2\ vdots\ frac{partial}{partial{{x_1}}}x_m& frac{partial}{partial{{x_2}}}x_m& cdots& frac{partial}{partial{{x_n}}}x_m\ end{pmatrix}_{mtimes{n}=n^2} =begin{pmatrix} 1 &0 &cdots&0 \ 0 &1 &cdots&0 \ vdots&vdots&ddots&vdots\ 0 &0 &cdots&1 \ end{pmatrix}_{ntimes{n}} ∂x∂y​= ​∂x1​∂​f1​(x)∂x1​∂​f2​(x)⋮∂x1​∂​fm​(x)​∂x2​∂​f1​(x)∂x2​∂​f2​(x)∂x2​∂​fm​(x)​⋯⋯⋯​∂xn​∂​f1​(x)∂xn​∂​f2​(x)∂xn​∂​fm​(x)​ ​m×n​= ​∂x1​∂​x1​∂x1​∂​x2​⋮∂x1​∂​xm​​∂x2​∂​x1​∂x2​∂​x2​∂x2​∂​xm​​⋯⋯⋯​∂xn​∂​x1​∂xn​∂​x2​∂xn​∂​xm​​ ​m×n=n2​= ​10⋮0​01⋮0​⋯⋯⋱⋯​00⋮1​ ​n×n​

Types of matrix derivative

数量函数和向量函数

• 下面的内容将反复涉及到数量函数和向量函数(以及矩阵函数)
• 由于本人不是数学专业的,通过搜索相关资料获取可能不太准确的解释
• 来源
  • newbing AI
  • wikipedia
• preface:
  • 数量函数和向量函数之间的区分主要根据输出对象(是标量还是向量)
  • 它们都可能接收向量作为输入

数量函数

• 数量函数是一个实值函数，它把每个空间点映射到一个实数或物理量。
  • 例如，$f(x,y,z)=x^2+4y+2y{z}^5$ 是一个数量函数
  • 数量函数接收一个数或者一个向量等作为参数(而不一定是一个数),但其计算结果是一个数

向量函数

• 向量函数是一个把实数或向量映射到多维向量的函数

  • 例如，$f(t)=(cost,sint,t)$ 是一个在$R^3$中的向量函数
  • 个人理解
    • 向量函数接收一个数或者向量作为参数,其计算结果是一个向量(向量可以只包含一个数)
    • 如此看来,数量函数是向量函数的一个特例

• 向量函数

  • 向量值函数，有时也称为向量函数，是一个单变量或多变量的、值域是多维向量或者无穷维向量的集合的函数。
  • 向量值函数的输入可以是一个标量或者一个向量（定义域的维度可以是1或大于1）；
  • 定义域的维度不取决于值域的维度。
  • A vector-valued function, also referred to as a vector function, is a mathematical function of one or more variables whose range is a set of multidimensional vectors or infinite-dimensional vectors.
  • The input of a vector-valued function could be a scalar or a vector (that is, the dimension of the domain could be 1 or greater than 1);
  • the dimension of the function’s domain has no relation to the dimension of its range.

向量求导

向量对标量求导

• 由于向量可看成仅有一列的矩阵，最简单的矩阵求导为向量求导。

• 通过如下方式表达大部分向量微积分：

  • 把n维向量构成的空间M(n,1)等同为欧氏空间 $R^n$， 标量$M(1,1)$等同于R。

• 向量$\mathbf{y}={\left[\begin{array}{cccc}{y}_1& y_2& \cdots & y_m\end{array}\right]}^{\mathsf{T}}$关于标量 $x$的导数可以（用分子记法）写成

  • $y_i=y_i(\mathbf{x})$多元(输入)标量(输出)函数

    • $i=1,2,\cdots ,m$
    • 对标量$x$进行广播,再分别求导

  • ∂ y ∂ x = [ ∂ y 1 ∂ x ∂ y 2 ∂ x ⋮ ∂ y m ∂ x ] {displaystyle {frac {partial mathbf {y} }{partial x}}={begin{bmatrix}{frac {partial y_{1}}{partial x}}\{frac {partial y_{2}}{partial x}}\vdots \{frac {partial y_{m}}{partial x}}\end{bmatrix}}} ∂x∂y​= ​∂x∂y1​​∂x∂y2​​⋮∂x∂ym​​​ ​

• 在向量微积分中，向量$\mathbf{y}$关于标量变量$x$的导数也被称为向量$\mathbf{y}$的切向量(在$x$方向的)，$\frac{\partial \mathbf{y}}{\partial x}$

• 例子

  • 简单的样例包括欧式空间中的速度向量，它是位移向量（看作关于时间的函数）的切向量。
  • 更进一步而言， 加速度是速度的切向量。

标量对向量求导(数量函数对向量求导)

• 标量y对向量$\mathbf{x}=\left[\begin{array}{cccc}{x}_1& x_2& \cdots & x_n\end{array}\right]$的导数可以（用分子记法）写成

  • $\frac{\partial y}{\partial \mathbf{x}}=\left[\begin{array}{cccc}\frac{\partial y}{\partial x_1}& \frac{\partial y}{\partial x_2}& \cdots & \frac{\partial y}{\partial x_n}\end{array}\right]$

    • $\frac{dy}{d\mathbf{x}}=\left[\begin{array}{cccc}\frac{\partial y}{\partial x_1}& \frac{\partial y}{\partial x_2}& \cdots & \frac{\partial y}{\partial x_n}\end{array}\right]$
    • 对被求导的多元函数$y=y(\mathbf{x})$进行广播(broadcasting),再进行求导

  • ( ∂ y ∂ x ) T = ( ∂ y ∂ x 1 ∂ y ∂ x 2 ∂ y ∂ x 3 ) (frac{partial{y}}{partial{mathbf{x}}})^T =begin{pmatrix} frac {partial y}{partial mathbf {x_1} }\ frac {partial y}{partial mathbf {x_2} }\ frac {partial y}{partial mathbf {x_3}} end{pmatrix} (∂x∂y​)T= ​∂x1​∂y​∂x2​∂y​∂x3​∂y​​ ​

  • 这里将$\mathbf{x}$定义成行向量,有的地方也定义成列向量,但是表达的内涵是一样的

• 在向量微积分中，标量y在的空间$R^n$(其独立坐标是x的分量)中的梯度是标量y对向量x的导数的转置。

• 在物理学中，电场是电势的负梯度向量。

• 标量函数f(x)对空间向量x在单位向量u（在这里表示为列向量）方向上的方向导数可以用梯度定义：

  • ${\nabla }_{\mathbf{u}}f(\mathbf{x})=\nabla f(\mathbf{x})\cdot \mathbf{u}$

    • $u=(\cos \alpha ,\cos \beta ,\cos \gamma )$,即该单位向量是由u方向的方向余弦构成的

    • ∇ f ( x ) u = ( ∂ y ∂ x 1 , ∂ y ∂ x 2 , ∂ y ∂ x 3 ) ⋅ ( cos ⁡ α , cos ⁡ β , cos ⁡ γ ) = ( ∂ y ∂ x 1 ∂ y ∂ x 2 ∂ y ∂ x 3 ) ( cos ⁡ α , cos ⁡ β , cos ⁡ γ ) = ( ∂ y ∂ x ) T u nabla{f(x)}u=(frac {partial y}{partial mathbf {x_1} },frac {partial y}{partial mathbf {x_2} },frac {partial y}{partial mathbf {x_3} }) cdot(cosalpha,cosbeta,cosgamma) \=begin{pmatrix} frac {partial y}{partial mathbf {x_1} }\ frac {partial y}{partial mathbf {x_2} }\ frac {partial y}{partial mathbf {x_3}} end{pmatrix}(cosalpha,cosbeta,cosgamma) =(frac{partial{y}}{partial{mathbf{x}}})^Tmathbf{u} ∇f(x)u=(∂x1​∂y​,∂x2​∂y​,∂x3​∂y​)⋅(cosα,cosβ,cosγ)= ​∂x1​∂y​∂x2​∂y​∂x3​∂y​​ ​(cosα,cosβ,cosγ)=(∂x∂y​)Tu

      • $\mathbf{x}=(x_1,x_2,x_3)$

向量求导@梯度记法????

• 使用刚才定义的标量对向量的导数的记法，可以把方向导数写作:

• $$\begin{gathered} {\nabla }_{\mathbf{u}}f(\mathbf{x})={\left(\frac{\partial }{\partial \mathbf{x}}f(\mathbf{x})\right)}^{\top }\mathbf{u} \\ 简写: \\ {\nabla }_{\mathbf{u}}f={\left(\frac{\partial f}{\partial \mathbf{x}}\right)}^{\top }\mathbf{u} \end{gathered}$$

• 这类记法在证明乘法法则和链式法则的时候非常直观，因为它们与我们熟悉的标量导数的形式较为相似。

补充@数量函数对于向量的导数

• 在场论中,对数量函数$f(x,y,z)$定义梯度向量为:

  • $$gradf=\nabla f=(\frac{\partial f}{\partial x},\frac{\partial f}{\partial y},\frac{\partial f}{\partial z})$$

  • 可以理解为数量函数$f(x,y,z)$对向量$(x,y,z)$的导数(是一种简单的数量(标量)函数对向量求导)

  • 设向量$\mathbf{x}=(x_1,\cdots ,x_n{)}^T$,$f(\mathbf{x})=f(x_1,\cdots ,x_n)$是以向量$\mathbf{x}$为自变量的数量函数,(即n元函数),规定数量函数($f(\mathbf{x})$)对于向量$\mathbf{x}$的导数为:

    • $${\frac{dy}{d\mathbf{x}}=\left(\begin{array}{cccc}\frac{\partial y}{\partial x_1}& \frac{\partial y}{\partial x_2}& \cdots & \frac{\partial y}{\partial x_n}\end{array}\right)}^T$$

导数法则

• $\mathbf{x}=(x_1,\cdots ,x_n)$

  • 注意粗体和细体的含义区别

• $f(\mathbf{x})=f(x_1,\cdots ,x_n)$

• $h(\mathbf{x})=h(x_1,\cdots ,x_n)$

• $$\begin{array}{l}\frac{\mathrm{d}[f(\mathbf{x})\pm h(\mathbf{x})]}{\mathrm{d}\mathbf{x}}=\frac{\mathrm{d}f(\mathbf{x})}{\mathrm{d}\mathbf{x}}\pm \frac{\mathrm{d}h(\mathbf{x})}{\mathrm{d}\mathbf{x}}\\ \\ \frac{\mathrm{d}f(\mathbf{x})h(\mathbf{x})}{\mathrm{d}\mathbf{x}}=\frac{\mathrm{d}f(\mathbf{x})}{\mathrm{d}\mathbf{x}}h(\mathbf{x})+f(\mathbf{x})\frac{\mathrm{d}h(\mathbf{x})}{\mathrm{d}\mathbf{x}}\end{array}$$

• 令$\mathbf{x}=\xi =({\xi }_1(t),\cdots ,{\xi }_n(t){)}^T$,是一个函数向量(列向量)

  • 简记${\xi }_i={\xi }_i(t)$

  • 即$f(\mathbf{x})=f(\xi )=f({\xi }_1,\cdots ,{\xi }_n)$结果是标量

  • $$\frac{df}{dt}=\frac{d}{dt}f(\mathbf{x})=(\frac{df}{d\mathbf{x}}{)}^T\frac{d\mathbf{x}}{dt}$$

• 推导:

  • 首先确定,$\frac{d}{dt}f(\mathbf{x})$是一个接收向量输入的标量函数对自变量t进行求导(中间变量为${\xi }_i$),结果是一个标量(和t相同)

  • $(\frac{df}{d\mathbf{x}})=(\frac{df}{d{\xi }_1},\cdots ,\frac{df}{d{\xi }_n}{)}^T$

  • 由偏导数复合函数求导法则(偏导数的链式法则):

  • $$\begin{gathered} \frac{df}{dt}=\frac{d}{dt}f(\mathbf{x})=\sum _{i=1}^n\frac{df}{d{\xi }_i}\frac{d{\xi }_i}{dt}=(\frac{df}{d{\xi }_1},\cdots ,\frac{df}{d{\xi }_n})(\frac{d{\xi }_1}{dt},\cdots ,\frac{d{\xi }_n}{dt}{)}^T \\ =(\frac{df}{d\mathbf{x}}{)}^T\frac{d\mathbf{x}}{dt} \end{gathered}$$

例

• 设$A=(a_{ij}{)}_{n\times }$是常量矩阵,$\mathbf{x}=(x_1,\cdots ,x_n{)}^T$

  • 证明$f(\mathbf{x})={\mathbf{x}}^{\mathbf{T}}A\mathbf{x}$的导数$\frac{\partial f}{\partial \mathbf{x}}=(A+A^T)\mathbf{x}$

  • 首先考察二次型$f(\mathbf{x})$本质上是一个二次多项式,是一个数值函数(只不过这个多项式可以用矩阵乘法表达)

  • 对$f(\mathbf{x})=$使用标量函数对向量的求导法则

  • f ( x ) = x T A x = ∑ i , j = 1 n a i j x i x j 记矩阵 S = ( a 11 x 1 x 1 a 12 x 1 x 2 ⋯ a 1 n x 1 x n a 21 x 2 x 1 a 22 x 2 x 2 ⋯ a 2 n x 2 x n ⋮ ⋮ ⋮ a n 1 x n x 1 a n 2 x n x 2 ⋯ a n n x n x n ) n × n 记矩阵 J n 为 n 阶全 1 矩阵 则 f ( x ) = ∑ i , j S i j = ∑ i n ∑ j n S i j = T r ( S J n ) f(mathbf{x})=mathbf{x^{T}}Amathbf{x} =sum_{i,j=1}^{n}a_{ij}x_ix_j \ 记矩阵S=begin{pmatrix} a_{11}x_1x_1&a_{12}x_1x_2&cdots&a_{1n}x_1x_n \ a_{21}x_2x_1&a_{22}x_2x_2&cdots&a_{2n}x_2x_n \ vdots&vdots&&vdots\ a_{n1}x_nx_1&a_{n2}x_nx_2&cdots&a_{nn}x_nx_n \ end{pmatrix}_{ntimes{n}} \记矩阵J_{n}为n阶全1矩阵 \ 则f(mathbf{x})=sum_{i,j}S_{ij}=sum_{i}^{n}sum_{j}^{n}S_{ij} =Tr(SJ_n) f(x)=xTAx=i,j=1∑n​aij​xi​xj​记矩阵S= ​a11​x1​x1​a21​x2​x1​⋮an1​xn​x1​​a12​x1​x2​a22​x2​x2​⋮an2​xn​x2​​⋯⋯⋯​a1n​x1​xn​a2n​x2​xn​⋮ann​xn​xn​​ ​n×n​记矩阵Jn​为n阶全1矩阵则f(x)=i,j∑​Sij​=i∑n​j∑n​Sij​=Tr(SJn​)

    • 上面展示了计算矩阵所有元素之和的记号和方法
    • 矩阵S有助于理解对$\frac{\partial }{\partial x_1}{\sum }_{i,j=1}^n{a}_{ij}{x}_i{x}_j$的求导结果

  • d f d x = ( ∂ ∂ x 1 ∑ i , j = 1 n a i j x i x j , ⋯   , ∂ ∂ x n ∑ i , j = 1 n a i j x i x j ) T = ( 2 a 11 x 1 + ( a 12 + a 21 ) x 2 + ⋯ + ( a 1 n + a n 1 ) x n ⋮ ( a 1 n + a n 1 ) x 1 + ( a n 2 + a 2 n ) x 2 + ⋯ + 2 a n n x n ) = ( ∑ j = 1 n ( a 1 j + a j 1 ) x j ⋮ ∑ j = 1 n ( a n j + a j n ) x j ) = ( ∑ j = 1 n ( a 1 j ) x j + ∑ j = 1 n ( a j 1 ) x j ⋮ ∑ j = 1 n ( a n j ) x j + ∑ j = 1 n ( a j n ) x j ) = ( ∑ j = 1 n ( a 1 j ) x j ⋮ ∑ j = 1 n ( a n j ) x j ) + ( ∑ j = 1 n ( a j 1 ) x j ⋮ ∑ j = 1 n ( a j n ) x j ) = ( a 11 x 1 + a 12 x 2 + ⋯ + a 1 n x n ⋮ a n 1 x 1 + a n 2 x 2 + ⋯ + a n n x n ) + ( a 11 x 1 + a 21 x 2 + ⋯ + a n 1 x n ⋮ a 1 n x 1 + a 2 n x 2 + ⋯ + a n n x n ) = A x + A T x = ( A + A T ) x frac{df}{d{mathbf{x}}} =(frac{partial{}}{partial{x_1}}sum_{i,j=1}^{n}a_{ij}x_ix_j, cdots, frac{partial{}}{partial{x_n}}sum_{i,j=1}^{n}a_{ij}x_ix_j)^T \ =begin{pmatrix} 2a_{11}x_1+(a_{12}+a_{21})x_2+cdots+(a_{1n}+a_{n1})x_n\ vdots\ (a_{1n}+a_{n1})x_1+(a_{n2}+a_{2n})x_2+cdots+2a_{nn}x_n end{pmatrix} \ =begin{pmatrix} sum_{j=1}^{n}(a_{1j}+a_{j1})x_j\ vdots\ sum_{j=1}^{n}(a_{nj}+a_{jn})x_j\ end{pmatrix} %\ =begin{pmatrix} sum_{j=1}^{n}(a_{1j})x_j+sum_{j=1}^{n}(a_{j1})x_j\ vdots\ sum_{j=1}^{n}(a_{nj})x_j+sum_{j=1}^{n}(a_{jn})x_j\ end{pmatrix} \ =begin{pmatrix} sum_{j=1}^{n}(a_{1j})x_j\ vdots\ sum_{j=1}^{n}(a_{nj})x_j end{pmatrix} +begin{pmatrix} sum_{j=1}^{n}(a_{j1})x_j\ vdots\ sum_{j=1}^{n}(a_{jn})x_j end{pmatrix} \ =begin{pmatrix} a_{11}x_1+a_{12}x_2+cdots+a_{1n}x_n\ vdots\ a_{n1}x_1+a_{n2}x_2+cdots+a_{nn}x_n end{pmatrix} \ +begin{pmatrix} a_{11}x_1+a_{21}x_2+cdots+a_{n1}x_n\ vdots\ a_{1n}x_1+a_{2n}x_2+cdots+a_{nn}x_n end{pmatrix} \=Amathbf{x}+A^Tmathbf{x}=(A+A^T)mathbf{x} dxdf​=(∂x1​∂​i,j=1∑n​aij​xi​xj​,⋯,∂xn​∂​i,j=1∑n​aij​xi​xj​)T= ​2a11​x1​+(a12​+a21​)x2​+⋯+(a1n​+an1​)xn​⋮(a1n​+an1​)x1​+(an2​+a2n​)x2​+⋯+2ann​xn​​ ​= ​∑j=1n​(a1j​+aj1​)xj​⋮∑j=1n​(anj​+ajn​)xj​​ ​= ​∑j=1n​(a1j​)xj​+∑j=1n​(aj1​)xj​⋮∑j=1n​(anj​)xj​+∑j=1n​(ajn​)xj​​ ​= ​∑j=1n​(a1j​)xj​⋮∑j=1n​(anj​)xj​​ ​+ ​∑j=1n​(aj1​)xj​⋮∑j=1n​(ajn​)xj​​ ​= ​a11​x1​+a12​x2​+⋯+a1n​xn​⋮an1​x1​+an2​x2​+⋯+ann​xn​​ ​+ ​a11​x1​+a21​x2​+⋯+an1​xn​⋮a1n​x1​+a2n​x2​+⋯+ann​xn​​ ​=Ax+ATx=(A+AT)x