经典文献阅读之—OverlapNet

点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

作者丨lovely_yoshino

来源丨古月居

简介

我们在之前的博客中讨论了一些激光回环检测的方法，但是基本都是围绕着点云特征去做的，并未涉足过深度学习的相关方法，之前作者在查找《经典文献阅读之—BoW3D》资料时看到了一个比较感兴趣的工作《OverlapNet: Loop Closing for LiDAR-based SLAM》，同时这个文章还拥有对应的开源源码Github，非常适合复现以及学习。

工作重心

同时定位和映射（SLAM）是大多数自主系统所需的基本能力。在本文中，我们讨论了基于自动驾驶汽车记录的3D激光扫描的SLAM闭环问题。

我们的方法利用深度神经网络，利用从激光雷达数据生成的不同线索来寻找环路闭合。

它估计广义到距离图像的图像重叠，并提供扫描对之间的相对偏航角估计。

基于这些预测，我们处理环路闭合检测，并将我们的方法集成到现有的SLAM系统中，以改善其映射结果。

简单来说，作者通过深度学习完成点云转换为影像，然后做回环检测， 输出Overlap和yaw的操作步骤，文中指出，本文的主要创新点有：

能够利用多个线索，不需提前知道两个雷达扫描的相对位姿，只利用范围、法向量、强度和语义等线索，使用深度神经网络直接估计两个激光雷达扫描的重叠率，以及相对偏航角。

结合里程计信息和重叠率预测实现闭环的检测、修正，可以检测到的闭环整合到现有SLAM系统中，可以提高整体位姿估计的结果，产生全局一致的地图。

无需先验位姿信息，解决在自动驾驶中3D LiDAR SLAM 的闭环检测问题，使用产生正确扫描匹配结果的OverlapNet网络预测初始化ICP

 详细算法

2.1 Overlap的概念

作者认为直接对比两个点云之间的距离不够精确，因为会受漂移的影响。

因此提出用重叠率来代替距离检测回环。具体思路是由影像的overlap中来，要成功匹配两个图像并计算它们的相对姿态，图像必须重叠。

这可以通过将重叠百分比定义为第一图像中的像素的百分比来量化，该像素可以在没有遮挡的情况下成功地投影回第二图像中。

请注意，该度量不是对称的：如果图像对存在较大的尺度差异。

例如，一幅图像显示一堵墙，另一幅显示该墙周围的许多建筑物，则第一到第二幅图像的重叠百分比可能较大，而第二到第一幅图像的交叠百分比较低。

在本文中，我们使用了距离图像重叠的思想，明确地利用了距离信息

对于环路闭合，重叠百分比的阈值可用于决定两个激光雷达扫描是否在同一位置和/或环路闭合。

对于环路闭合，这种测量可能比一对扫描记录位置之间的常用距离更好，因为位置可能会受到漂移的影响，因此不可靠。

重叠预测与相对姿势无关，因此可用于查找环路闭合，而无需知道扫描之间的正确相对姿势。

2.2 激光雷达扫描对之间重叠的定义

简单来说就是将两个点云转化为二维图并且坐标系对齐，如果两个坐标差小于阈值记为1，否则为零，求和再除以两个图中像素较小的那个，作者想用这个等式建立训练集。

对于旋转，作者选择旋转多个角度，用最大重叠值代表最终重叠值。

2.3 网络结构

下图描述了所提出的重叠网络的概述。我们利用了多个线索，这些线索可以从单个激光雷达扫描中生成，包括深度、法线、强度和语义类概率信息。

深度信息存储在由一个通道组成的范围图R中。我们使用顶点映射的邻域信息来生成法线映射N，它有三个通道编码法线坐标。

我们直接从传感器获得强度信息，也称为缓解，并使用强度信息为单通道强度图I。使用RangeNet++计算逐点语义类概率，我们将其表示为语义图S。

RangeNet++提供20个不同类的概率。为了提高效率，我们使用主成分分析将20维RangeNet++输出缩减为压缩的三维向量。

信息被组合成一个大小为64×900×D64×900×D的输入张量，其中64900是输入的高度和宽度，$D$取决于使用的数据类型.

这里没有特别仔细去研究，具体就是由两个共享权重的Legs和由Legs生成的相同特征体积对的Head组成。

进一步说这个模型的作用就是将深度图，向量图，强度图，还用RangeNet++做了个语义图一起作为输入。

一个输出是角度特征向量，一个输出是两次扫描之间的重叠率。

同时使用基于surfel的映射系统SuMa作为的SLAM的 pipeline，并将OverlapNet集成到SuMa中，以取代其原始的启发式环路闭合检测方法。

所以说最后就是SuMa+OverlapNet的集合完成的。

参考链接

https://zhuanlan.zhihu.com/p/151290184

https://blog.csdn.net/szw950415/article/details/107049636/

本文仅做学术分享，如有侵权，请联系删文。

干货下载与学习

后台回复：巴塞罗那自治大学课件，即可下载国外大学沉淀数年3D Vison精品课件

后台回复：计算机视觉书籍，即可下载3D视觉领域经典书籍pdf

后台回复：3D视觉课程，即可学习3D视觉领域精品课程

3D视觉工坊精品课程官网：3dcver.com

1.面向自动驾驶领域的多传感器数据融合技术

2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
4.国内首个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)

9.从零搭建一套结构光3D重建系统[理论+源码+实践]

10.单目深度估计方法：算法梳理与代码实现

11.自动驾驶中的深度学习模型部署实战

12.相机模型与标定(单目+双目+鱼眼）

13.重磅！四旋翼飞行器：算法与实战

14.ROS2从入门到精通：理论与实战

15.国内首个3D缺陷检测教程：理论、源码与实战

16.基于Open3D的点云处理入门与实战教程

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿，加微信：dddvision

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近6000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

 圈里有高质量教程资料、答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~