文章目录

• • @[toc]
• 前言
• 什么是立体视觉
• 对极几何
• • 对极约束
  • 本征矩阵
  • 去掉归一化坐标系的限制，引入基础矩阵
• Reference

前言

在立体视觉中，我们通过多个摄像机的相互配合，可以获得关于现实生活中物体的一些3D信息，通过这些信息，我们可以对这个物体进行重建，建模等等。而在立体视觉中，对极几何有着非常重要的作用，在本文中，笔者将讨论下立体视觉中的对极几何，如何用对极几何去进行更好更快地寻找不同视图中的对应点。如有谬误，请联系指正。转载请注明出处。

$\nabla$ 联系方式：

e-mail: FesianXu@gmail.com

QQ: 973926198

github: https://github.com/FesianXu

知乎专栏: 计算机视觉/计算机图形理论与应用

微信公众号：

什么是立体视觉

立体视觉(Stereo Vision)是什么呢？我们可以这样理解：
$$立体视觉(StereoVision)=寻找相关性(Correspondences)+重建(Reconstruction)$$

• Correspondences: 给定一张图片中的像素$P_l$点，寻找其在另一张图片中的对应点$P_r$。
• Reconstruction: 给定一组对应点对$(P_l,P_r)$，计算其在空间中对应点$P$的3D坐标。

那么，在本文中，其实我们要讨论的内容就属于如何去更好更快地寻找对应点。抱着这个问题，我们正式地开始讨论对极几何吧。

对极几何

假设我们现在有两张从不同视角拍摄的，关于同一个物体的图片，如Fig 2.1所示，最为朴素的想法就是从一个2D区域中去寻找对应点，这样显然我们的计算复杂度很高，而且还不一定精准，那么我们有没有能够改善这个算法的方案呢？我们能不能对对应点的可能搜索范围进一步缩小呢？答案是可以的。

通过对极几何的约束，我们可以把搜索空间限制在一个直线上，我们将这个直线称之为对极线，显然，这样不仅提供了搜索的效率，还提高了搜索的精确度。如Fig 2.2所示。

这个对极几何那么神奇，那到底是什么原理呢？且听笔者慢慢道来。

对极约束

为了简单分析考虑，我们现在只是假设两台摄像机的情况，假设我们已经对摄像机进行了内外参数的标定[2]，也就是说，我们已经知道了摄像机的朝向以及彼此之间的距离，相对位置关系等，同时也知道了内参数，也就是焦距等等。那么我们假设现在这两台摄像机同时对某个现实物体点$P$进行成像，我们有几何关系示意图Fig 2.3。

在Fig 2.3中，其中的$P=(x,y,z)$是实体3D点，而$O$和$O^{\prime }$是两个摄像机的焦点（对于焦点，读者不妨看成是一个观察者的视角，也就是你可以想象成你在$O$和$O^{\prime }$点观察P点。），而成像平面$\prod$和${\prod }^{\prime }$就是我们的成像面，其中面上的$p$和$p^{\prime }$是实体点P的成像对应点，我们需要找的对应关系，其实就是$(p,p^{\prime })$这样的点对。

对于这两个不同的相机坐标系，我们对于这两个成像点有着不同的坐标系表达，让我们分别以各自的焦点为原点，表达这两个点，有：
$$\mathbf{p}=\left[\begin{array}{c}{p}_1\\ p_2\\ f\end{array}\right]和{\mathbf{p}}^{\prime }=\left[\begin{array}{c}{p}_1^{\prime }\\ p_2^{\prime }\\ f^{\prime }\end{array}\right]\text{\hspace{1em}(2.1)}$$
对于Fig 2.3中的其他几何元素，我们分别给予术语，以方便称呼：

1. 点$e$和点$e^{\prime }$称之为极点(epipole)
2. 线$l$和$l^{\prime }$称之为对极线(epipolar line)，其中$l$是点$p^{\prime }$的对极线，$l^{\prime }$是点$p$的对极线。
3. 焦点之间的连线$O{O}^{\prime }$称之为基线(Baseline)
4. 平面$PO{O}^{\prime }$称之为对极面(epipolar plane)。

具体的元素位置，我们还能参考图Fig 2.4中的英语标注。

那么由图Fig 2.3我们其实很容易发现，所谓的对极约束，指的就是，成像平面$\prod$上的点$p$，其在${\prod }^{\prime }$的对应点$p^{\prime }$必然在其对极线$l^{\prime }$上，这个关系可以由三者共面很容易看出来，其证明可参考[3]。也就是说，对于点$p$，如果我们要搜索其在另一个成像平面上的对应点，无需在整个平面上搜索，只需要在对极线上寻找即可了。如图Fig 2.5所示，我们发现这个几何关系其实是很直观的。

再如图Fig 2.6所示，这是个实际图像的例子，我们发现我们刚才在几何上的结论在实际中是成立的。

同时，我们要注意到，我们的基线和成像平面的位置是不会改变的（假设不改变摄像机的相对位置的话），那么显然，不管实体点$P$的位置在哪里，所有的对极线都是会经过极点的，如图Fig 2.7所示,其中虚线表示不同的对极面，不管对极面是哪个，都是会经过基线的；相对应的，所有的对极线也是会经过极点的。

好的，那么我们以上就直觉上讨论了对极约束，那么我们应该怎么用代数的方式去描述这个约束呢？毕竟只有用代数的方式表达，才能进行计算机的编程和实现。为了实现代数化，我们要引入所谓的本征矩阵。我们接下来讨论这个。

本征矩阵

还记得公式(2.1)中，我们曾经对两个对应点$p$和$p^{\prime }$进行了坐标表达吗？假设我们现在知道了每台摄像机的内部参数，并且图像坐标已经归一化[4,5]，这里所说的归一化指的是假设存在一个焦距为1的面，如Fig 2.8所示，这里假设焦距为单位长度，是为了后面的分析方便而已，我们将会看到，当考虑实际焦距时，其处理略有不同。进行了归一化之后，我们有
$$\begin{array}{rl}\mathbf{p}& =\hat{\mathbf{p}}\\ {\mathbf{p}}^{\prime }& ={\hat{\mathbf{p}}}^{\prime }\end{array}$$
其中$\hat{\mathbf{p}},{\hat{\mathbf{p}}}^{\prime }$是图像点的单位坐标向量。

OK， 不管怎么样，我们继续我们的讨论。我们发现在Fig 2.3中，$\overrightarrow{Op},\overrightarrow{O^{\prime }{p}^{\prime }}$和$\overrightarrow{O{O}^{\prime }}$共面，我们用代数描述就是：
$$\overrightarrow{Op}\cdot [\overrightarrow{O{O}^{\prime }}\times \overrightarrow{O^{\prime }{p}^{\prime }}]=0\text{\hspace{1em}(2.2)}$$
其中，$\times$表示的是向量叉乘，我们知道空间向量叉乘表示求得其在右手坐标系中的正交向量，如图Fig 2.9所示。

而式子中的点积为0表示了垂直关系，因此式子(2.2)正确表达了我们的对极约束，我们接下来代入坐标。

考虑在${\prod }^{\prime }$中表示点$p$，通过坐标的平移和旋转可以容易实现，见：
$${\mathbf{q}}^{\prime }=\mathbf{R}(\mathbf{p}-\mathbf{t})\text{\hspace{1em}(2.3)}$$
其中$\mathbf{t}$表示平移向量，$\mathbf{R}$表示旋转矩阵。那么反过来有：
$$\mathbf{p}={\mathbf{R}}^{\mathrm{T}}{\mathbf{q}}^{\prime }+\mathbf{t}={\mathbf{R}}^{\mathrm{T}}({\mathbf{q}}^{\prime }+\mathbf{R}\mathbf{t})\text{\hspace{1em}(2.4)}$$
令$R^{\prime }={\mathbf{R}}^{\mathrm{T}}$和$s^{\prime }=-\mathbf{R}\mathbf{t}$，我们有(2.4)的简化形式：
$$\mathbf{p}=R^{\prime }({\mathbf{q}}^{\prime }-s^{\prime })\text{\hspace{1em}(2.5)}$$
考虑公式(2.2)，我们发现：
$$\begin{array}{rl}\overrightarrow{Op}& =\mathbf{p}\\ \overrightarrow{O{O}^{\prime }}& =\mathbf{t}\\ \overrightarrow{O^{\prime }{p}^{\prime }}& ={\mathbf{p}}^{\prime }\end{array}\text{\hspace{1em}(2.6)}$$
注意到，因为对于垂直关系而言，平移与否没有影响，我们最终有式子：
$$\begin{array}{rl}\mathbf{p}\cdot [\mathbf{t}\times {\mathbf{p}}^{\prime }]& =0\\ (\mathbf{R}\mathbf{p})\cdot [\mathbf{t}\times {\mathbf{p}}^{\prime }]& =0\\ (\mathbf{R}\mathbf{p}{)}^{\mathrm{T}}[\mathbf{t}\times {\mathbf{p}}^{\prime }]& =0\\ {\mathbf{p}}^{\mathrm{T}}{\mathbf{R}}^{\mathrm{T}}[\mathbf{t}\times {\mathbf{p}}^{\prime }]& =0\\ {\mathbf{p}}^{\mathrm{T}}{\mathbf{R}}^{\mathrm{T}}[\mathbf{t}{]}_{\times }{\mathbf{p}}^{\prime }& =0\end{array}\text{\hspace{1em}(2.7)}$$
其中，(2.7)第二行的公式表示在另一个成像平面 ${\prod }^{\prime }$ 表示$\prod$上的坐标，最后一行，我们把叉乘转化成矩阵乘法操作[6]。对于一个$\mathbf{t}=[t_1,t_2,t_3{]}^{\mathrm{T}}$来说，其叉乘乘子的矩阵乘法形式为：
$$[\mathbf{t}{]}_{\times }=\left[\begin{array}{ccc}0& -t_3& t_2\\ t_3& 0& -t_1\\ -t_2& t_1& 0\end{array}\right]\text{\hspace{1em}(2.8)}$$
如果用$\mathcal{E}={\mathbf{R}}^{\mathrm{T}}[\mathbf{t}{]}_{\times }$，我们有：
$$({\mathbf{p}}^{\mathrm{T}})\mathcal{E}{\mathbf{p}}^{\prime }=0\text{\hspace{1em}(2.9)}$$
我们把这里的$\mathcal{E}$称之为本征矩阵(Essential matrix)。

我们发现，这里的旋转矩阵$\mathbf{R}$其实是可以通过相机标定进行外参数估计得到的，同样的，$\mathbf{t}$也是如此。假设，我们现在已知了$\prod$上的点$p$，我们可以令${\mu }_p=({\mathbf{p}}^{\mathrm{T}})\mathcal{E}\in {\mathbb{R}}^3$，我们知道这个是个常数向量。最终，公式(2.9)可以写成：
$${\mu }_p{\mathbf{p}}^{\prime }=0\text{\hspace{1em}(2.10)}$$
我们发现(2.10)其实就是一个直线方程了，这个直线方程正是$p$的对极线，我们需要搜索的对应点$p^{\prime }$正是在对极线上。

去掉归一化坐标系的限制，引入基础矩阵

我们在本征矩阵那一节考虑的是归一化的坐标系，那么如果在原始的图像坐标系中，我们需要改写成：
$$\begin{array}{rl}\mathbf{p}& =\mathcal{K}\hat{\mathbf{p}}\\ {\mathbf{p}}^{\prime }& ={\mathcal{K}}^{\prime }{\hat{\mathbf{p}}}^{\prime }\end{array}\text{\hspace{1em}(2.11)}$$
其中，$\mathcal{K},{\mathcal{K}}^{\prime }$是$3\times 3$的标定矩阵，$\hat{\mathbf{p}},{\hat{\mathbf{p}}}^{\prime }$是图像点的单位坐标向量。那么我们有：
$${\mathbf{p}}^{\mathrm{T}}\mathcal{F}{\mathbf{p}}^{\prime }=0\text{\hspace{1em}(2.12)}$$
其中，矩阵$\mathcal{F}={\mathcal{K}}^{-\mathrm{T}}\mathcal{E}{{\mathcal{K}}^{\prime }}^{-1}$称之为基础矩阵(Fundamental matrix)。

通常来说，无论是基础矩阵还是本征矩阵都可以通过内外参数的标定来求得，特别地，通过足够多的的图像匹配计算，我们同样可以无须采用标定图像，也可以得到这两个矩阵。

Reference

[1]. 电子科技大学自动化学院 杨路 老师 计算机视觉课程课件。

[2]. https://blog.csdn.net/LoseInVain/article/details/102632940

[3]. Hartley R, Zisserman A. Multiple View Geometry in Computer Vision[J]. Kybernetes, 2008, 30(9/10):1865 - 1872.

[4]. http://answers.opencv.org/question/83807/normalized-camera-image-coordinates/

[5]. http://answers.opencv.org/question/83807/normalized-camera-image-coordinates/

[6]. https://en.wikipedia.org/wiki/Cross_product

最后

以上就是优雅斑马为你收集整理的立体视觉中的对极几何——如何更好更快地寻找对应点前言什么是立体视觉对极几何Reference的全部内容，希望文章能够帮你解决立体视觉中的对极几何——如何更好更快地寻找对应点前言什么是立体视觉对极几何Reference所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。