FusionPortable：用于评估不同平台上的定位和建图精度的多传感器校园数据集

点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

作者丨泡椒味的口香糖

来源丨 GiantPandaCV

0. 引言

近年来，多传感器融合算法发展迅猛，不同传感器可以相互补充，通过融合提高系统的感知能力。但受限于标定成本和时间同步问题，多传感器数据集却不多。在2022 IROS论文"FusionPortable: A Multi-Sensor Campus-Scene Dataset for Evaluation of Localization and Mapping Accuracy on Diverse Platforms"中，作者提出了一个包含RGB相机、事件相机、IMU、激光雷达以及RTK-GPS的多传感器融合数据集。此外，文章中包含了大量的传感器标定方法和建立数据集所需要考虑的方方面面，进行传感器和数据集标定工作的小伙伴一定不要错过。

1. 论文信息

标题：FusionPortable: A Multi-Sensor Campus-Scene Dataset for Evaluation of Localization and Mapping Accuracy on Diverse Platforms

作者：Jianhao Jiao, Hexiang Wei, Tianshuai Hu, Xiangcheng Hu, Yilong Zhu, Zhijian He, Jin Wu, Jingwen Yu, Xupeng Xie, Huaiyang Huang, Ruoyu Geng, Lujia Wang, Ming Liu

来源：2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)

原文链接：https://arxiv.org/abs/2208.11865

数据集链接：https://ram-lab.com/file/site/multi-sensor-dataset/

2. 摘要

结合多个传感器使机器人能够最大限度地感知环境，并增强其对外部干扰的鲁棒性，对机器人导航至关重要。本文提出了FusionPortable基准，这是一个完整的多传感器数据集，具有一组不同的移动机器人序列。本文有三个贡献。我们首先推出一款便携式多功能多传感器套件，提供丰富的传感器测量：10Hz激光雷达点云、20Hz RGB帧图像、来自事件相机的高速率和异步事件、来自IMU的200Hz惯性读数和10Hz GPS信号。传感器在硬件中已经暂时同步。这个设备是轻量级的、独立的，并且支持移动机器人的即插即用。其次，我们通过利用多个机器人平台进行数据收集，通过收集覆盖校园内各种环境的17个序列来构建数据集。一些序列对现有的SLAM算法提出了挑战。第三，我们为解耦定位和建图性能评估提供了基础事实。我们还评估了最先进的SLAM方法，并确定了它们的局限性。由原始传感器测量值、地面实况、校准数据和评估算法组成的数据集将被发布。

3. 算法分析

如图1所示是作者使用的多传感器设备，包括带有万向节稳定器的手持手柄，四足机器人，以及阿波罗自主车辆，可以发现所应用的平台包含了各个场景和应用。表1所示是该数据集与其他数据集在采集平台、室内外环境、传感器设备以及轨迹/地图采集方式的对比。可以看出，该多传感器数据集有三个明显优点：(1) 大量高精传感器的融合；(2) 包括腿式机器人在内的三个不同平台上的数据收集；(3) 用于算法评估的地面实况轨迹和3D地图。

(a) 传感器装备的CAD模型 (b) 万向稳定器 (c) 四足机器人 (d) 阿波罗自动小车

图1 多传感器设备和数据收集平台

作者将其称为FusionPortable基准，他们工作的主要贡献如下：

(1) 制造了便携式和多功能的多传感器设备：左右两侧安装两个RGB相机，内部安装一个高频高精度IMU，顶部位置安装一个RTK-GPS，并将新型事件相机和高分辨率3D激光雷达集成。为减小动态偏差，所有传感器都安装在相同的刚性铝合金部件上。完整的设备有自己的时钟同步单元、处理器和电池，并且尺寸、重量和可扩展性较好。

(2) 作者将传感器安装在各种平台上，并在HKUST科技大学校园内的各种结构化或半结构化环境进行测试，包括实验室、花园、食堂、走廊、自动扶梯和室外道路。此外，收集的序列呈现了由外部光线、移动物体和场景纹理引起的几种环境变化。这些问题对SLAM算法都是挑战。

(3) 作者还提供了大多数室内场景的真实地图，并对几个最先进的SOTA SLAM系统进行基准测试，包括两个基于视觉的方法和四个基于激光雷达的方法。

表1 FusionPortable与之前数据集在数据采集平台、环境、传感器类型和地面实况方法方面的比较

3.1 传感器配置

如表2所示是作者所使用传感器的特性，具体来说作者使用Intel NUC来运行传感器驱动程序，附加传感器消息的时间戳，并将消息记录到Ubuntu系统上的ROS包中。该电脑使用i7处理器、1TB固态硬盘和64GB DDR4内存。下面分别介绍具体传感器的特性：

(1) 3D激光雷达：使用OS1-128激光雷达，内部同步IMU输出100Hz线性加速度和角速度，它还输出深度图像、信号图像和周围的环境图像。

(2) RGB相机：两个FILR BFS-U3-31S4C全局快门彩色相机安装在系统的两侧，直接面向前方。它们由外部触发器同步，并以20 fps的速度捕捉高分辨率图像。曝光时间被设置为固定值，以最小化相对延迟，图像的时间戳的平均差异低于1毫秒。

表2 各个传感器及其特点

(3) 事件相机：两个事件相机具有高时间分辨率、高动态范围、低功耗等优点。相机具有346x260分辨率和内部高速IMU输出。事件相机使用从左相机(主相机)产生的触发信号进行同步，以便通过外部导线向右(从相机)发送同步脉冲。为了抑制激光雷达的激光，两个相机都配备了额外的红外滤光片。对于室内序列，手动设置和固定APS曝光。对于室外序列，使用自动曝光来避免曝光过度或曝光不足。

(4) 惯性测量单元(IMU)：一个战术级的STIM300惯性测量单元被严格安装在激光雷达下方，作为系统的主要惯性传感器。它具有高更新速率(200Hz)和低噪声和漂移测量，其偏置不稳定性在0.3°/h左右。

(5) 全球定位系统(GPS)：在激光雷达顶部额外安装了ZED-F9P RTK-GPS设备。在室外场景中，GPS被激活并提供精确的纬度、经度和高度读数。但是由于建筑物的遮挡，它有时会变得不稳定。

3.2 传感器校准

作者预先仔细校准单个传感器的固有特性、外部特性以及传感器之间的总时间延迟，并将STIM300 IMU的坐标系定义为体坐标系。

(1) 时钟同步：作者使用FPGA产生外部信号触发来同步所有传感器的时钟，这可以保证以最小的延迟跨多个传感器收集数据。FPGA从GPS接收每秒脉冲(PPS)信号，并分别向IMU、相机和激光雷达发送200、20、10Hz信号。FPGA使用其内部时钟，以启用GPS缺失场景中的时间同步。

(2) 相机校准：RGB相机和事件相机使用Matlab校准工具箱进行估计，其中使用了针孔摄像机和径向-切向失真模型。作者将传感器套件移动到棋盘前，以收集一系列图像。同时均匀地采样图像作为校准数据，并手动移除具有高重投影误差的异常值。

(3) 相机-IMU外部校准：IMU的内部使用Allen推导工具箱进行校准，该工具箱可估算相机和加速度计测量的噪声密度和随机游走。之后，通过Kalibr获得相机相对于IMU的空间和时间参数。整体系统包括4个IMU：激光雷达中的STIM300、ICM20948和DAVIS346事件相机中的两个MPU6050。因此，作者校准这些IMU的固有特性，并估计这些传感器对的固有特性:STIM300、RGB相机、STIM300、事件相机、左MPU6050、左DAVIS346和右MPU6050、右DAVIS346。

(4) 相机-激光雷达外部校准：作者使用棋盘进行相机-激光雷达外部校准，从点云和图像中提取棋盘的外角，通过最小化所有对应角点的距离进行优化。

3.3 数据集描述

作者在进行数据采集时主要考虑以下几个方面，并对不同场景建立不同的序列。表3总结了每个序列的关键特征，图2显示了其中的几个场景图片，图3显示了样本传感器数据。

(1) 位置：环境位置分为室内和室外，GPS信号在室外环境中有时不稳定。

(2) 结构：结构化环境主要可以用几何图元来解释(如办公室或建筑物)，而半结构化环境既有几何元素又有复杂元素，如树木和杂物。狭窄走廊等场景是结构化的。

(3) 照明条件：相机对外部照明条件很敏感，弱光和强光都可能对视觉处理算法提出挑战。

(4) 外观：纹理丰富的场景有助于视觉算法提取稳定的特征(例如点和线)，而无纹理的场景可能会对性能产生负面影响。

(5) 运动模式：可以执行慢速、正常和快速运动。关于安装的平台，手持设备执行任意的6-DoF和跳跃运动，四足机器人主要执行平面但不平稳的运动，而车辆可以以恒定的速度进行平面运动。

(6) 对象运动：在动态环境中，当数据被捕获时，几个元素在运动。数据采集的时间越长，元素的变形就越大(例如行人或汽车)。相比之下，在静态环境中移动对象很少。

表3 每个序列的一些统计和特征

图2 多个序列位置的场景图像

图3 传感器测量样本

(a)-(d):由RGB相机捕获的图像 (e)-(f):由积极事件(红色)和消极事件(蓝色)增强的图像 (h)-(i):激光雷达的3D点云，网格大小为10m

3.4 真值

数据集中大多数序列为算法评估提供真值。在几个室内场景中，也提供了周围环境的真实地图。轨迹真值生成详细说明如下：

(1) 真值地图：在中小型环境中，作者使用 Leica BLK360激光扫描仪从多个位置记录该结构的高分辨率彩色3D稠密地图，精确度为毫米。图4显示了三个例子。

(2) 真值姿态：在动作捕捉室，作者使用OptiTrack系统以120Hz的频率测量反射球中心的姿态，精度为毫米。OptiTrack直接与同一台电脑连接，以记录姿势，最大限度地减少时间延迟。从球的中心到传感器装置的主体框架的外力通过手眼校准方法解决。在地面实况地图覆盖的中等规模环境中，采用基于NDT的6-DoF定位来估计激光雷达在先前地图中的姿态，作为轨迹真值。在室外环境中，将RTK GPS信号与激光雷达惯性测量融合，以获得基于LIO-SAM的精确轨迹。

图4 运动捕捉房间、走廊和建筑场景颜色的真实点云

3.5 数据格式和后处理

整体数据在ROS环境中收集的，作者提供ROS包和单独的数据文件：

(1) env.bag是从数据收集过程中获得的原始rosbag，可以使用ROS工具对其进行解析。

(2) env ref.bag是改进的rosbag，其中传感器数据进行了后处理。

(3) data/存储来自env.bag的单个传感器数据。每个数据都有其时间戳，可以从timetamps.txt中检索到。

(4) data/遵循KITTI格式。

具体来说，有三个步骤来进行后处理：

(1) 缺失的测量值被线性插值；

(2) 通过手眼标定结果将运动捕捉系统提供的姿态转换到自身框架；

(3) 事件包在1000 Hz左右重新发布，用于一些基于事件的算法。

4. 实验

作者使用它们开发的数据集来测试SOTA SLAM系统，评估了几个具有不同传感器组合和方法的开源系统：VINS-Fusion (IMU+双目)，ESVO (事件相机)，A-LOAM (激光雷达)，LIO-Mapping (IMU+激光雷达)，LIO-SAM (IMU+激光雷达)，以及FAST-LIO2 (IMU+激光雷达)，表4所示是定量的定位结果对比，图5是一些定性对比实验。

表4 定位精度对比

图5 不同算法轨迹的定性对比

其中，"LC"表示使用了闭环模块，"x"表示算法无法完成序列。ESVO因为不能完成所有序列，所以没有展示结果。VINS-Fusion和Fast-LIO2因为不能很好得完成初始化，在某些情况下会失败。没有IMU的帮助，A-LOAM无法处理不平稳和快速的运动，因此在两个MCR序列和四足机器人的所有序列上表现不佳。虽然FAST-LIO2有时在几个序列上具有不可靠的结果。令人惊讶的是，LIO-SAM在所有基于四足机器人的序列中表现良好，甚至在大旋转和快速运动中也是如此。因为低纹理条件，走廊序列对所有的方法都是一种挑战。

此外，作者还评估了A-LOAM和LIO-SAM在走廊和花园序列中的建图质量。如图6所示，平均距离分别为0.938米和0.597米。尤其是走廊建图过程中，A-LOAM的地图在z轴上漂移较大.

图6 对(a) A-LOAM和(b) LIO-SAM建图精度的评估

5. 结论

在2022 IROS论文"FusionPortable: A Multi-Sensor Campus-Scene Dataset for Evaluation of Localization and Mapping Accuracy on Diverse Platforms"中，作者介绍了FusionPortable基准，这是一个来自各种平台上不同校园场景的多传感器数据集。作者首先介绍了他们独立的、即插即用的多传感器装置，这些设备大大提高了移动机器人的感知能力。在介绍完数据集的配置、校准以及各项参数以后，作者在其上运行了当前的SOTA SLAM算法。此外，作者提出，他们计划将这个数据集扩展到校园规模的环境之外。

本文仅做学术分享，如有侵权，请联系删文。

干货下载与学习

后台回复：巴塞罗那自治大学课件，即可下载国外大学沉淀数年3D Vison精品课件

后台回复：计算机视觉书籍，即可下载3D视觉领域经典书籍pdf

后台回复：3D视觉课程，即可学习3D视觉领域精品课程

3D视觉工坊精品课程官网：3dcver.com

1.面向自动驾驶领域的多传感器数据融合技术

2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
4.国内首个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)

9.从零搭建一套结构光3D重建系统[理论+源码+实践]

10.单目深度估计方法：算法梳理与代码实现

11.自动驾驶中的深度学习模型部署实战

12.相机模型与标定(单目+双目+鱼眼）

13.重磅！四旋翼飞行器：算法与实战

14.ROS2从入门到精通：理论与实战

15.国内首个3D缺陷检测教程：理论、源码与实战

16.基于Open3D的点云处理入门与实战教程

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿，加微信：dddvision

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近6000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

 圈里有高质量教程资料、答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~