OPV2V: An Open Benchmark Dataset and Fusion Pipeline for Perception3 OPV2V4 Attentive Intermediate Fusion pipeline总结

101 阅读 0 评论 67 点赞

我是靠谱客的博主痴情手机，最近开发中收集的这篇文章主要介绍OPV2V: An Open Benchmark Dataset and Fusion Pipeline for Perception3 OPV2V4 Attentive Intermediate Fusion pipeline总结，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

协同感知算法开发的挑战：缺乏适合的对V2V 协同感知算法进行开发评估的基准测试的开源数据集。

3 OPV2V

OPV2V是首个大型协同感知仿真数据集，支持V2V协同感知融合策略。
选择 CARLA 作为收集数据集的模拟器，但 CARLA 不具备 V2V 通信和协同驾驶功能。因此，选择OpenCDA（与 CARLA 和 SUMO集成的协同仿真工具）来生成数据集。
数据集中的两个示例：
在这里插入图片描述
包含从CARLA 的 8 个城市和洛杉矶卡尔弗城的数字城镇收集的70 多个场景、11,464 帧和 232,913 个标注好的 3D 边界框。

还为每一帧中的每个 CAV 生成鸟瞰图，以促进基本的 BEV 语义分割任务。OPV2V 中两个无人车的前置摄像头数据和 BEV 图示例：
在这里插入图片描述
BEV地图中的黄色、绿色、红色和白色车道代表没有红绿灯控制、绿灯控制、红灯控制和人行横道的车道。

卡尔弗城数字小镇：
真实的卡尔弗城与其数字小镇之间的对比：
在这里插入图片描述
一辆配备 32-channel的LiDAR和两个摄像头的无人车在高峰时段驶入卡尔弗城以收集传感数据。
通过 RoadRunner填充数字城镇的道路拓扑，根据与收集的数据的协议选择建筑物，在OpenCDA 生成模拟现实世界交通流的汽车。
卡尔弗城收集了 4 个场景，这些场景将用于验证使用纯在 CARLA 中生成的模拟数据集训练的模型。

4 Attentive Intermediate Fusion pipeline

联网车辆的传感器收集到的数据可能携带噪声，因此，提出了一个注意力中间融合pipeline（ Attentive Intermediate Fusion ）来捕获相邻车辆的特征之间的交互，帮助网络关注重要的传感器数据信息。

融合策略

早期融合：无人车之间直接分享原始LiDAR 点云。无人车将从周围其他车辆收集的点云投影到自车的坐标系下，然后用DL网络提取特征，最后产生检测结果。（优点：可以完整保留传感器信息；缺点：原始点云数据很大，造成严重的传输延迟，不能保证实时性）
后期融合：每个无人车独立地使用自己的数据预测结果，并将结果输出给其他的协作车辆。（优点：对传输带宽影响很小；缺点：预测精度很差）
中间融合：每辆无人车先在自身收集到的数据下，用DL网络提取特征，再经过压缩后传给其他协作车辆，无人车聚合这些特征信息后在中间层进行融合，最终得到预测结果。（结合了早期和后期融合的优点：对带宽要求小同时可以很好的保留场景信息）

OPV2V Fusion Framework:

在这里插入图片描述
元数据共享和特征提取：无人车之间共享相对pose信息，假设其中有一辆ego vehicles ，所有相邻的无人车将自己的LiDAR点云投影到 ego vehicles 的坐标系下并根据投影的点云提取特征。
压缩和特征共享：由于传输带宽的硬件限制，原始高维特征图需经过压缩后传输给 ego vehicles，然后经过解码后发送到一个self-attention模块来进行特征融合。
Attentive Fusion：self-attention模块在不同车辆的特征图中的特征向量对应于点云中的同一个空间位置下，计算特征的加权求和，不同车辆视野中的相同空间位置的特征向量的加权平均作为最终的特征值。
预测头：融合的特征通过检测头预测边界框和相关的置信度分数。

特点：1）关注多个无人车的重要特征；2）可轻易地与各种DL模型结合来提取特征（PointPillar、Second、Pixor、VoxelNet）。

总结

提出了第一个用于 V2V 感知的开放数据集和基准融合策略。提出了一个 Attentive Intermediate Fusion 管道，实验结果表明优于所有其他融合方法，即使在大压缩率下也能实现最先进的性能。
1）提出了首个用于V2V感知的大型仿真数据集
2）在该数据集上进行了综合的对比实验，测试了16个不同的benchmark模型的表现，使用最先进的 LiDAR 检测算法评估3种信息融合策略（即早期、晚期和中间融合）。
3）提出了 Attentive Intermediate Fusion pipeline 以融合来自多个无人车的信息。