1 导论

计算机视觉系列教程1-1：透视空间与透视变换中提到，透视空间所有变换都是投影变换的特例，本节进一步研究投影变换矩阵(单应性矩阵)的估计。

透视变换的核心是单应性矩阵$H$或单应性向量$h$。
$$H=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]\iff h={\left[\begin{array}{ccccccccc}{h}_{11}& h_{12}& h_{13}& h_{21}& h_{22}& h_{23}& h_{31}& h_{32}& h_{33}\end{array}\right]}^T$$

设$p_{src}={\left[\begin{array}{ccc}x& y& 1\end{array}\right]}^T$与$p_{dst}={\left[\begin{array}{ccc}{x}^{\prime }& y^{\prime }& 1\end{array}\right]}^T$是二维透视空间${\mathbb{P}}^2$中，一次透视变换前后的对应点，因此其满足
$$p_{dst}=H{p}_{src}⟺\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ 1\end{array}\right]=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$$

若将单应性矩阵进行尺度缩放后作用于$p_{src}$，则
$$kH{p}_{src}=k\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=k{p}_{dst}$$

而透视空间中，$k{p}_{dst}$与$p_{dst}$实际上对应同一点，因此$kH$与$H$相当于同一次透视变换，故单应性矩阵$H$仅有8个自由度，通常通过设置$h_{33}=1$或$\Vert h{\Vert }_2^2=1$来约束冗余的参数。

下面详细阐述单应性矩阵估计方法。

2 基本直接线性变换(Basic DLT)

将上式改写为齐次形式

$$\left[\begin{array}{ccccccccc}0& 0& 0& -x& -y& -1& y^{\prime }x& y^{\prime }y& y^{\prime }\\ x& y& 1& 0& 0& 0& -x^{\prime }x& -x^{\prime }y& -x^{\prime }\\ -y^{\prime }x& -y^{\prime }y& -y^{\prime }& x^{\prime }x& x^{\prime }y& x^{\prime }& 0& 0& 0\end{array}\right]\left[\begin{array}{c}{h}_{11}\\ h_{12}\\ h_{13}\\ h_{21}\\ h_{22}\\ h_{23}\\ h_{31}\\ h_{32}\\ h_{33}\end{array}\right]=\left[\begin{array}{c}0\\ 0\\ 0\end{array}\right]$$

其中系数矩阵的秩为2，因此一对变换点仅能确定2个自由度。因此需要无三点共线的四对变换点才能确定单应性矩阵$H$。

$$\left[\begin{array}{ccccccccc}0& 0& 0& -x_1& -y_1& -1& y_1^{{}^{\prime }}{x}_1& y_1^{{}^{\prime }}{y}_1& y_1^{{}^{\prime }}\\ x_1& y_1& 1& 0& 0& 0& -x_1^{{}^{\prime }}{x}_1& -x_1^{{}^{\prime }}{y}_1& -x_1^{{}^{\prime }}\\ 0& 0& 0& -x_2& -y_2& -1& y_2^{{}^{\prime }}{x}_2& y_2^{{}^{\prime }}{y}_2& y_2^{{}^{\prime }}\\ x_2& y_2& 1& 0& 0& 0& -x_2^{{}^{\prime }}{x}_2& -x_2^{{}^{\prime }}{y}_2& -x_2^{{}^{\prime }}\\ & & & & ⋮& & & & \end{array}\right]\left[\begin{array}{c}{h}_{11}\\ h_{12}\\ h_{13}\\ h_{21}\\ h_{22}\\ h_{23}\\ h_{31}\\ h_{32}\\ h_{33}\end{array}\right]=\left[\begin{array}{c}0\\ 0\\ 0\end{array}\right]\iff Ah=0$$

对于形如$Ax=b$的非齐次线性方程可以通过伪逆形式计算$x$；对于形如$Ax=0$的齐次线性方程的解则对应矩阵$A$右奇异向量$v_p$，其中$v_p$对应的奇异值${\sigma }_p\approx 0$或不对应奇异值。

3 归一化直接线性变换(Normalized DLT)

基本DLT估计算法的缺陷是：

(1) 单应性估计不具有相似不变性

假设在第一次估计下有$x_{dst}=H{x}_{src}$。现对两张图像分别进行相似变换并重新进行单应性估计，得到$\left(T_{dst}{x}_{dst}\right)=H^{\prime }\left(T_{src}{x}_{src}\right)$，改写为$x_{dst}=\left(T_{dst}^{-1}{H}^{\prime }{T}_{src}\right)x_{src}$，大部分情况下$H\ne T_{dst}^{-1}{H}^{\prime }{T}_{src}$，这表明基本DLT算法无法抵抗相似变换的干扰。

(2) 估计的单应性矩阵容易产生病态条件，鲁棒性差

由于默认透视空间的尺度变换因子$w=1$，所以齐次坐标下很可能产生分量幅度差异大的情况，例如某特征点 $X={\left[\begin{array}{ccc}100& 101& 1\end{array}\right]}^T$。在这种情况下估计出的单应性矩阵，各个元素数值数量级可能会相差$10^4$以上，导致病态条件——特征点的轻微变化都会造成单应性矩阵的剧变。

基于(1)(2)两种缺陷，需要将基本DLT算法进行优化,优化的核心就是特征点坐标的归一化。设原图像特征点集合为 ，目标图像特征点集合为 ，则具体的算法为：

① 将特征点集合$X_{src}$、$X_{dst}$归一化

使用相似变换矩阵$T_{src}$、$T_{dst}$将特征点集合中心移至原点，且与原点平均距离为$\sqrt{2}$。由于默认尺度因子为$w=1$，所以归一化到$\sqrt{2}$可以保持齐次坐标的三个分量有相同的幅度，例如$X={\left[\begin{array}{ccc}100& 100& 1\end{array}\right]}^T\Rightarrow X^{normal}={\left[\begin{array}{ccc}1& 1& 1\end{array}\right]}^T$。

这里给出一种相似变换矩阵的计算方式，设

$$X^{normal}=TX\iff \left[\begin{array}{c}{\tilde{x}}_i\\ {\tilde{y}}_i\\ 1\end{array}\right]=\left[\begin{array}{ccc}s& & t_x\\ & s& t_y\\ & & 1\end{array}\right]\left[\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right]$$

令

$$\{\begin{array}{l}\frac{1}{N}{\sum }_{i=1}^N{\tilde{x}}_i=\frac{1}{N}{\sum }_{i=1}^N\left(s{x}_i+t_x\right)=0\\ \frac{1}{N}{\sum }_{i=1}^N{\tilde{y}}_i=\frac{1}{N}{\sum }_{i=1}^N\left(s{y}_i+t_y\right)=0\\ \frac{1}{N}{\sum }_{i=1}^N\sqrt{{\tilde{x}}_i^2+{\tilde{y}}_i^2}=\sqrt{2}\end{array}$$

解得

$$\{\begin{array}{l}{t}_x=-s\frac{1}{N}{\sum }_{i=1}^N{x}_i=-s\bar{x}\\ t_y=-s\frac{1}{N}{\sum }_{i=1}^N{y}_i=-s\bar{y}\\ s=\frac{\sqrt{2}}{\frac{1}{N}{\sum }_{i=1}^N\sqrt{{\tilde{x}}_i^2+{\tilde{y}}_i^2}}=\frac{\sqrt{2}}{\frac{1}{N}{\sum }_{i=1}^N\sqrt{{\left(x_i-\bar{x}\right)}^2+{\left(y_i-\bar{y}\right)}^2}}\end{array}$$

② 运用基本DLT算法由 与 估计单应性矩阵

③ 解归一化，映射回实际图像

4 鲁棒单应性估计(Robust Homography Estimation)

结合基本DLT算法、归一化DLT算法及计算机视觉系列教程6-2：图像匹配算法概述.的RANSAC算法进行单应性矩阵估计，具体流程如下：

(1) 设置迭代次数$K=\infty$，内点集$S_{in}=\oslash$，模型参数$H=H_0$；
(2) 随机从样本数据集$S$中选取4对特征点，并通过基本DLT算法确定测试模型$H_{test}$；
(3) 用$H_{test}$遍历样本数据集$S$，估计误差$\epsilon$在距离阈值$t$内的点加入内点集$S_{in}$。其中阈值$t=\sqrt{5.99}\sigma$，$\sigma$为估计不确定度，估计误差$\epsilon$主要有两种度量方式：

① 代数误差${\epsilon }_i=\Vert A_i{h}_{test}\Vert$，其中

$$A_i=\left[\begin{array}{ccccccccc}0& 0& 0& -x& -y& -1& y^{\prime }x& y^{\prime }y& y^{\prime }\\ -y^{\prime }x& -y^{\prime }y& -y^{\prime }& x^{\prime }x& x^{\prime }y& x^{\prime }& 0& 0& 0\end{array}\right]$$

② 几何误差(二次投影误差)${\epsilon }_i={\Vert H{X}_{src,i},X_{dst,i}\Vert }_2^2+{\Vert X_{src,i},H^{-1}{X}_{dst,i}\Vert }_2^2$，可以视作交叉检验。

(4) 若$S_{in}$的大小小于阈值$T$，则放弃该模型，重复(2)；若$S_{in}$的大小大于阈值$t$，则通过归一化DLT算法或Levenberg Marquardt等迭代优化算法，利用$S_{in}$中的所有点重新估计模型$H_{test}^{\ast }$；
(5) 计算当前模型$H_{test}^{\ast }$下的内点率$\omega =\frac{|S_{in}|}{|S|}$，根据$K=\frac{\ln \left(1-p\right)}{\ln \left(1-{\omega }^n\right)}$更新迭代次数；
(6) 至此完成一次迭代，若$H_{test}^{\ast }$下内点率为最大，则更新$H=H_{test}^{\ast }$，重复(2) ~ (5)直至迭代次数满足要求。

???? 计算机视觉基础教程说明

章号                                    内容
  0                              色彩空间与数字成像
  1                              计算机几何基础
  2                              图像增强、滤波、金字塔
  3                              图像特征提取
  4                              图像特征描述
  5                              图像特征匹配
  6                              立体视觉
  7                              项目实战

???? 更多精彩专栏：

• 《ROS从入门到精通》
• 《机器人原理与技术》
• 《机器学习强基计划》
• 《计算机视觉教程》
• …

最后

以上就是微笑萝莉为你收集整理的计算机视觉教程1-2：单应性矩阵估计1 导论2 基本直接线性变换(Basic DLT)3 归一化直接线性变换(Normalized DLT)4 鲁棒单应性估计(Robust Homography Estimation)的全部内容，希望文章能够帮你解决计算机视觉教程1-2：单应性矩阵估计1 导论2 基本直接线性变换(Basic DLT)3 归一化直接线性变换(Normalized DLT)4 鲁棒单应性估计(Robust Homography Estimation)所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。