Karhunen-Loève expansion and random field

在做数值实验时很可能要求实现符合某种协方差的随机域。选取这样的随机向量的一种方式就是Karhunen-Loève expansion。本文主要参考论文介绍基本的概念和简要介绍数值实现的方法。为以后使用做准备。

1. 随机域

$\Omega \subset {\mathbb{R}}^d$，是一个连续的区域。连续随机域(continuous random field) $H(\mathbf{x},\theta )$ 是定义在$\Omega$上的随机函数，$\theta \in \Theta$，$(\Theta ,F,P)$是一个完备的随机空间。

如果每个$\mathbf{x}\in \Omega$对应的都是随机变量，那么这个随机域就被成为单变量的(univariate) 或者 实值的(real-valued)。如果每个$\mathbf{x}$对应的是随机向量，那么这个随机域就是多变量的(multivariate)。

$d=1$，随机域称为一维的(one-dimensional)，$d>1$，随机域成为多维的(multidimentional)。

如果$\forall ({\mathbf{x}}_1,\dots ,{\mathbf{x}}_n)\in \Omega$，$\forall n$，有$(H({\mathbf{x}}_1,\theta ),\dots ,H({\mathbf{x}}_n,\theta ))$是联合高斯分布的，则称随机域是高斯的(Gaussian)。

均值函数：$\mu :\Omega \to \mathbb{R}$。自相关函数：$\mathsf{C}\mathsf{o}\mathsf{v}:\Omega \times \Omega \to \mathbb{R}$。标准差函数：$\sigma :\Omega \to \mathbb{R}$。自相关系数函数：$\rho :\Omega \times \Omega \to [-1,1]$。

$\mathsf{C}\mathsf{o}\mathsf{v}(\mathbf{x},{\mathbf{x}}^{\prime })=\sigma (\mathbf{x})\sigma ({\mathbf{x}}^{\prime })\rho (\mathbf{x},{\mathbf{x}}^{\prime })$.

2. KL expansion

Karhunen-Loève expansion是一种以序列形式表达随机域的方式。其建立在自相关函数的谱分解上。$$H(\mathbf{x},\theta )=\mu (\mathbf{x})+\sum _{i=1}^{\infty }\sqrt{{\lambda }_i}{\phi }_i(\mathbf{x}){\xi }_i(\theta ),$$其中$${\int }_{\Omega }\mathsf{C}\mathsf{o}\mathsf{v}(\mathbf{x},{\mathbf{x}}^{\prime }){\phi }_i({\mathbf{x}}^{\prime })\mathsf{d}{\mathbf{x}}^{\prime }={\lambda }_i{\phi }_i(\mathbf{x}).\text{\hspace{1em}(1)}$$${\phi }_i$都正规化了，而${\xi }_i(\theta ):\Theta \to \mathbb{R}$是标准不相关随机变量。

有效的自相关函数是有界(bounded)，对称(symmetric)，半正定的(semi-definite)。${\lambda }_i\ge 0$，$\mathsf{C}\mathsf{o}\mathsf{v}(\mathbf{x},{\mathbf{x}}^{\prime })={\sum }_{i=1}^{\infty }{\lambda }_i{\phi }_i(\mathbf{x}){\phi }_i({\mathbf{x}}^{\prime })$，${\int }_{\Omega }{\phi }_i(\mathbf{x})\phi (\mathbf{x})\mathsf{d}\mathbf{x}={\delta }_{ij}$。 { φ i } {varphi_i} {φi​}是${\mathsf{L}}^2(\Omega )$的一个完备正交基。

如果$H(\mathbf{x},\theta )$是高斯的，则${\xi }_i(\theta )$是独立标准高斯随机变量。

截断KL expansion

$$\tilde{H}(\mathbf{x},\theta )=\mu (\mathbf{x})+\sum _{i=1}^M\sqrt{{\lambda }_i}{\phi }_i(\mathbf{x}){\xi }_i(\theta ).$$
截断KL expansion是对原随机域的一种近似。

3. 解KL expansion的数值方法

如果是数值的方式解(1)式，得到的是真实解的近似值${\hat{\lambda }}_i$，${\hat{\phi }}_i$。那么对随机域的近似就成了$$\hat{H}(\mathbf{x},\theta )=\mu (\mathbf{x})+\sum _{i=1}^M\sqrt{{\hat{\lambda }}_i}{\hat{\phi }}_i(\mathbf{x}){\hat{\xi }}_i(\theta ).$$

而${\hat{\phi }}_i$又是用 { h j : Ω → R } {h_j:Omegato mathbb{R}} {hj​:Ω→R}得到的。$${\phi }_i\approx {\hat{\phi }}_i=\sum _{j=1}^N{d}_j^i{h}_j(\mathbf{x}),$$其中$d_i^j$需要被确定。

解的方法分为以下几类

1. Degenerate kernel methods;
2. Nyström methods;(这是个德国名字啊，看的这篇论文也是德国人写的，不知道有没有什么关系)
3. Projection methods:
   (1) Collocation methods;
   (2) Galerkin methods.

Degenerate kernel methods

$$\mathsf{C}\mathsf{o}\mathsf{v}(\mathbf{x},{\mathbf{x}}^{\prime })\approx \hat{K}(\mathbf{x},{\mathbf{x}}^{\prime })=\sum _{j=1}^N\sum _{n=1}^N{k}_{jn}{\alpha }_j(\mathbf{x}){\beta }_n({\mathbf{x}}^{\prime }),$$其中$k_{jn}\in \mathbb{R}$为系数，${\alpha }_1(\mathbf{x}),\dots ,{\alpha }_N(\mathbf{x})$和${\beta }_1({\mathbf{x}}^{\prime }),\dots ,{\beta }_N({\mathbf{x}}^{\prime })$是线性无关的函数。${\alpha }_j$和${\beta }_n$的选择就有很多了。

Nyström methods

Nyström methods是把积分用数值的方式近似$$\sum _{j=1}^N{w}_j\mathsf{C}\mathsf{o}\mathsf{v}(\mathbf{x},{\mathbf{x}}_j){\hat{\phi }}_i({\mathbf{x}}_j)={\hat{\lambda }}_i{\hat{\phi }}_i(\mathbf{x}).$$ 进一步在积分点上解上式，即$$\sum _{j=1}^N{w}_j\mathsf{C}\mathsf{o}\mathsf{v}({\mathbf{x}}_n,{\mathbf{x}}_j){\hat{\phi }}_i({\mathbf{x}}_j)={\hat{\lambda }}_i{\hat{\phi }}_i({\mathbf{x}}_n),n=1,\dots ,N.$$上式可以写成$$\mathbf{C}\mathbf{W}{\mathbf{y}}_i={\hat{\lambda }}_i{\mathbf{y}}_i,$$$${\mathbf{W}}^{\frac{1}{2}}\mathbf{C}{\mathbf{W}}^{\frac{1}{2}}({\mathbf{W}}^{\frac{1}{2}}{\mathbf{y}}_i)={\hat{\lambda }}_i{\mathbf{W}}^{\frac{1}{2}}{\mathbf{y}}_i,$$ $\mathbf{C}$是对称半正定矩阵，$\mathbf{W}$是对角阵，${\mathbf{y}}_i$是向量。令${\mathbf{y}}_i^{\ast }={\mathbf{W}}^{\frac{1}{2}}{\mathbf{y}}_i$，解这个求特征向量和特征值的方程，注意特征向量的正规化。
$${\hat{\phi }}_i(\mathbf{x})=\frac{1}{{\hat{\lambda }}_i}\sum _{j=1}^N\sqrt{w_j}{y}_{i,j}^{\ast }\mathsf{C}\mathsf{o}\mathsf{v}(\mathbf{x},{\mathbf{x}}_j).$$

Projection methods

残差$r_{\text{IEVP}}(\mathbf{x})$：$$r_{\text{IEVP}}(\mathbf{x})=\sum _{j=1}^N{d}_j^i\left({\int }_{\Omega }\mathsf{C}\mathsf{o}\mathsf{v}(\mathbf{x},{\mathbf{x}}^{\prime })h_j({\mathbf{x}}^{\prime })\mathsf{d}{\mathbf{x}}^{\prime }-{\hat{\lambda }}_i{h}_j(\mathbf{x})\right).$$

(1) Collocation methods

希望$$r_{\text{IEVP}}(\mathbf{x})=0$$给定一些点 { x l } l = 1 P {mathbf{x}_{l}}_{l=1}^{P} {xl​}l=1P​。构造$P\times N$矩阵$\mathbf{A}=(a_{ij}:={\int }_{\Omega }\mathsf{C}\mathsf{o}\mathsf{v}({\mathbf{x}}_i,\mathbf{x})h_j(\mathbf{x})\mathsf{d}\mathbf{x})$，$\mathbf{N}=(n_{ij}:=h_j({\mathbf{x}}_i))$。构造向量$({\mathbf{d}}_i{)}_j=d_j^i$$$\mathbf{A}{\mathbf{d}}_i={\hat{\lambda }}_i\mathbf{N}{\mathbf{d}}_i.$$解它。

(2) Galerki methods

希望残差能和$h_j$张成的线性子空间正交，所以希望解$${\int }_{\Omega }{r}_{\text{IEVP}}(\mathbf{x})h_j(\mathbf{x})\mathsf{d}\mathbf{x}=0,\forall j=1,\dots ,N.$$
构造$N\times N$矩阵$\mathbf{B}=(b_{ln}:={\int }_{\Omega }{h}_l(\mathbf{x}){\int }_{\Omega }\mathsf{C}\mathsf{o}\mathsf{v}(\mathbf{x},{\mathbf{x}}^{\prime })h_n({\mathbf{x}}^{\prime })\mathsf{d}{\mathbf{x}}^{\prime }\mathsf{d}\mathbf{x})$，$\mathbf{M}=(m_{ln}:={\int }_{\Omega }{h}_l(\mathbf{x})h_n(\mathbf{x})\mathsf{d}\mathbf{x})$。$$\mathbf{B}{\mathbf{d}}_i={\hat{\lambda }}_i\mathbf{M}{\mathbf{d}}_i.$$

论文中有更细致的关于解法的分析。这里就不继续探究了，主要是简单了解一下方法，以后用的时候知道应该往哪个方向查。

最后

以上就是酷酷跳跳糖最近收集整理的关于Karhunen-Loève expansion and random field的全部内容，更多相关Karhunen-Loève内容请搜索靠谱客的其他文章。