平面标定（Homography变换）

• 二、平面标定（Homography变换）
  • 1、定义
  • 2、计算推导
  • 3、应用
    • 1、简单平面的转换
    • 2、在四轴中求取2D点到3D点的转换关系
      • 2.1 相机在手上
        • 2.1.1 转换方程
        • 2.1.2 直接法
        • 2.1.3 旋转法
      • 2.2 相机不在手上
        • 2.2.1 转换方程
        • 2.2.2 直接法
        • 2.2.3 圆弧法

二、平面标定（Homography变换）

1、定义

单应性(homography)变换用来描述物体在两个平面之间的转换关系，是对应齐次坐标下的线性变换，可以通过矩阵表示：

$$X^{\prime }=H\cdot X$$

2、计算推导

带入数据（x,y）为图片上的点位置：

$$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ w\end{array}\right]=\left[\begin{array}{ccc}h1& h2& h3\\ h4& h5& h6\\ h7& h8& h9\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$$

因为是齐次坐标系，方程左右同时除h9

$$\left[\begin{array}{c}x{1}^{\prime }\\ y{1}^{\prime }\\ w^{\prime }\end{array}\right]=\left[\begin{array}{c}\frac{x^{\prime }}{h9}\\ \frac{y^{\prime }}{h9}\\ \frac{z^{\prime }}{h9}\end{array}\right]=\left[\begin{array}{ccc}h{1}^{\prime }& h{2}^{\prime }& h{3}^{\prime }\\ h{4}^{\prime }& h{5}^{\prime }& h{6}^{\prime }\\ h{7}^{\prime }& h{8}^{\prime }& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$$

将矩阵展开得到：

公式①：
$$\{\begin{array}{l}x{1}^{\prime }=h{1}^{\prime }x+h{2}^{\prime }y+h{3}^{\prime }\\ y{1}^{\prime }=h{4}^{\prime }x+h{5}^{\prime }y+h{6}^{\prime }\\ w^{\prime }=h{7}^{\prime }x+h{8}^{\prime }y+h{9}^{\prime }\end{array}$$
将下面的矩阵用已知的观测值代替：

$$\left[\begin{array}{c}x{1}^{\prime }\\ y{1}^{\prime }\\ w^{\prime }\end{array}\right]==>(x^R,y^R)$$

根据齐次坐标的齐次性质：

公式②：
$$\frac{x{1}^{\prime }}{w^{\prime }}=x^R,\frac{y{1}^{\prime }}{w^{\prime }}=y^R$$

结合公式①②：

公式③：
$$\{\begin{array}{l}{x}^R=\frac{h{1}^{\prime }x+h{2}^{\prime }y+h{3}^{\prime }}{h{7}^{\prime }+h{8}^{\prime }+1}\\ y^R=\frac{h{4}^{\prime }x+h{5}^{\prime }y+h{6}^{\prime }}{h{7}^{\prime }+h{8}^{\prime }+1}\end{array}$$
在公式③中

$$(x,y)，(x^R,y^R)$$
为观测到的已知参数，未知参数有h1’_{h8’共8个，一对点能够产生两个方程，则求解公式③至少需要四组点对，才能求出h1’}h8’。一般的数据会多于4组点对，用最小二乘法或ransac来获取最优参数。

求解过后，h1’~h8’为已知，

$$H^{\prime }=\left[\begin{array}{ccc}h{1}^{\prime }& h{2}^{\prime }& h{3}^{\prime }\\ h{4}^{\prime }& h{5}^{\prime }& h{6}^{\prime }\\ h{7}^{\prime }& h{8}^{\prime }& 1\end{array}\right]$$
可用于单应性变换的计算。

3、应用

1、简单平面的转换

图片A中的点P为(x,y)，求对应在另外一个视角的图片B点P’(x’,y’)？

$$\left[\begin{array}{c}x2\\ y2\\ z2\end{array}\right]=H^{\prime }\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$$

$$P^{\prime }(x^{\prime },y^{\prime })=(\frac{x2}{z2},\frac{y2}{z2})$$

--------------------------------------------------------2020更新 华丽的分割线--------------------------------------------------------

2、在四轴中求取2D点到3D点的转换关系

2.1 相机在手上

求取

$${}^{r}H{}_c$$

2.1.1 转换方程

$${}^r{P}_o{=}^r{T}_t{\cdot }^t{H}_C{\cdot }^C{P}_o$$

参数解释：

${}^r{P}_o$(4×1)：object在Robot坐标系下的表示

${}^r{T}_t$(4×4)：Tool到Robot的转换矩阵，即机械手示教器上读回的数值

${}^t{H}_C$(3×3)：图像平面h1到Tool平面转换矩阵

${}^C{P}_o$(2×1齐次变化>3×1)：图像中的点

2.1.2 直接法

$${}^t{T}_r{\cdot }^{ri}{P}_o{=}^t{H}_C{\cdot }^{Ci}{P}_o$$

参数解释：${}^t{T}_r$保持不变，${}^t{H}_C$为所求的参数，${}^{Ci}{P}_o$与${}^{ri}{P}_o$一一对应。

适用条件：u轴不变的情况，末端执行器与机械手只存在x、y的偏移量。

(提示：机械手位姿数目==图像数目+1)

该方法得到的H矩阵是图像点与△Pos (△Pos = $P_i-P_{origin}$) 之间的关系，所以在后期的使用中，需要先确定一个$P_{origin}$，再利用图像与Homo关系得到△Pos，再叠加上$P_{origin}$，得到新的一个${}^r{P}_i$。

操作过程：

$${}^{ti}{T}_r{\cdot }^r{P}_o{=}^t{H}_C{\cdot }^{Ci}{P}_o$$

$$参数解释{：}^r{P}_o为旋转法所求量，保持不变{，}^t{H}_C为所求的参数{，}^{Ci}{P}_o{与}^{ti}{T}_r一一对应。$$

操作过程(保持标定板不能动)：

$${}^r{P}_1{}^r{P}_2$$

则可以求得object在robot下的坐标：

$${}^r{P}_o={(}^r{P}_1{+}^r{P}_2)/2$$

标定过程：在标定板与相机视野内的前提下移动机械手(xy平面，z,u,v,w保持不变)并拍摄图片，存储每个位置与每张图片，采集9组数据，将采集的数据连入PlaneCalibration工具，计算标定结果。

产生的数据为：旋转法对应的两张图片与两个机械手位姿，九点标定对应的九张图片与九个机械手位姿数据。将图像整合在一个文件夹里，机械手位姿整合在一份文件里，按顺序保存，注意数据的对应关系。

标定过程只用到了标定板上的某个点作为object，当选定了某个点A，你的旋转法就需要保持点A在图像中位置不变。用标定板的作用是为了在视野中更好地识别点A，当你的目标够明显，也可以不适用标定板(一般不采用)。

使用如上方法，根据图像中object的点，能得到它在Robot坐标系(xy平面，z,u,v,w保持不变)的位置，就可以将坐标发给机械手执行，该方法不用求取相机的内外参数，不考虑图像的畸变，可以用于对精度要求不高的项目。

2.2 相机不在手上

求取相机坐标系与机械手的底座坐标系的变换关系

$${}^{r}H{}_c$$

2.2.1 转换方程

$${}^r{T}_t{\cdot }^t{P}_o{=}^r{P}_o{=}^r{H}_c{\cdot }^c{P}_o$$

参数解释：

${}^r{T}_t$(4×4)：Tool到Robot的转换矩阵，即机械手示教器上读回的数值

${}^{r}P{}_o$(3×1)：object在robot下的位置

${}^{r}H{}_c$(3×3)：图像平面h1到Tool平面转换矩阵

${}^{c}P{}_t$(2×1齐次变化>3×1)：tool在图像中的点

2.2.2 直接法

$${}^r{P}_o{=}^r{H}_c{\cdot }^c{P}_o$$

标定过程：

$${}^r{P}_o{=}^r{H}_c{\cdot }^c{P}_o$$

圆弧法需要将标定板绑在机械手上，该方法也是为了找到${}^r{P}_o$与${}^c{P}_o$两个数据集间的转换关系。每个Poc都需要由3张相同xy(robot base)坐标下相机拍得的图像，用拟合圆心的方法得到。object定义为拟合得到的圆心，即机械手最末端。

(3张图像拟合的圆心是在本软件中使用的默认图像张数，所以该方法所需要的机械手位姿点数与图像张数必须相等，且是3的倍数。)

因为只是标定两个平面之间的关系，${}^r{P}_o$的xy与${}^r{T}_t$的xy数据相同。

$$用圆弧法需要将标定板绑在机械手上，该方法也是为了找{到}^r{P}_o{与}^c{P}_o两个数据集间的转换关系$$

操作步骤：

最后

以上就是甜美裙子为你收集整理的平面标定（Homography变换）的全部内容，希望文章能够帮你解决平面标定（Homography变换）所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。