CVPR 2022 | 基于径向对称性和分治策略的点云方位角归一化

作者丨Horizon

来源丨地平线HorizonRobotics 

摘要：

点云感知算法是安全鲁棒的自动驾驶系统中尤为重要的一环。在CVPR 2022上，地平线-华中科技大学计算机视觉联合实验室发表了研究成果Azimuth Normalization——以点云特有的径向对称性作为先验，对数据归一化，降低从点云中获取信息的难度。该归一化方法能与大多数感知算法结合，降低对训练数据的需求并提升性能上限，在三维场景感知中有着广泛的应用价值。

论文链接：https://arxiv.org/abs/2203.13090

项目主页：https://github.com/hustvl/AziNorm

简介

从机器学习的角度考虑，数据中隐含的对称性能够作为算法的归纳偏置（inductive bias），对于提升算法精度有很大的帮助。点云是三维场景理解中最重要的表示形式，本工作讨论了点云数据特有的径向对称性（Radial Symmetry），并提出了针对点云数据的方位角归一化方法（Azimuth Normalization / AziNorm）。Azimuth Normalization采用了一种分而治之（Divide-and-conquer）的策略，灵活地分解全场景点云并在子点云上进行归一化。归一化后的子点云具有更简单的模式（pattern），更容易被下游的感知算法识别。Azimuth Normalization具有很强的拓展性，能够应用在多种传感器产生的点云数据上（如LiDAR、RADAR、RGB-D camera），能够与各类感知算法（如检测、分割）结合并且不需要改变具体算法的实现细节和超参数。Azimuth Normalization能够显著提升感知算法的数据效率（Data Efficiency），收敛速度和性能上限，如图1所示，AziNorm与SECOND ^[1] 检测算法结合提升明显，仅用10%的数据量或迭代次数就优于充分训练的SECOND。

图1 数据效率、收敛速度和性能上限

径向对称性

径向对称性与产生点云数据的传感器（LiDAR / RADAR /RGB-D camera）的工作原理高度相关。以LiDAR为例，如图2，LiDAR始终沿着径向（法向）方向向各个方位角发射电磁波，电磁波触碰到障碍物表面后反射，沿着径向方向反射的回波最终被LiDAR接收，形成点云。因此，产生的点云在径向方向上具有明显的对称性（如图2中，地面的点云对称性明显）。

图2 径向对称性（Radial Symmetry）

算法流程

Azimuth Normalization采用了分治的策略，具体流程如下（流程图见图3）：

• Patch Splitting：把整个感知范围拆分为相互重叠的块（patch）， 把全场景的点云规则地分解为子点云；

• Patch Filtering：滤除不包含点云的patch、只含地面点的patch（点云具有稀疏性、不均匀性），避免不必要的计算开销；

• Normalization：对子点云进行平移变换、旋转变换（对每个点的3D坐标进行），统一各个patch的径向方向；

• Patch-wise Perception：在patch level调用现成的感知算法（point-based、voxel-based、hybrid），不需要改变实现细节和超参数；

• Inverse Normalization：把感知结果逆变换回原本的LiDAR坐标系；

• Patch Merging：融合各个patch结果，对于不同的感知任务可以采用不同的融合策略，例如，对于检测采用非极大值抑制（NMS），对于分割采用逐点平均。

图3 算法流程

实验结果

1. 点云检测和点云分割

表1和表2是Azimuth Normalization在点云检测和分割两个感知任务上的实验结果。值得注意的是，对于检测难度大的类别（点稀疏、训练样本数量少），如pedestrian和cyclist，Azimuth Normalization能够带来更明显的增益。Azimuth Normalization极大地简化点云数据中的模式（pattern），消除方位角带来的差异，在归一化后，难类别检测难度显著降低。

表1 点云检测算法SECOND ^[1] 和PV-RCNN ^[2] 在Waymo val set上的实验结果

表2 点云分割算法KPConv ^[3] 在SemanticKitti val set和test set上的实验结果

2. 归一化粒度（Normalization Granularity）

图4展示了另一种分治策略，被称之为扇形区域归一化（Sectorial Normalization）。点云被均匀划分为扇形区域，并通过旋转统一径向方向。表3对比了Sectorial Normalization和Azimuth Normalization。4- 和8- Sectorial Normalization 把方位角的变化范围分别缩小到了90º和45º，而Azimuth Normalization的归一化粒度更小，因此性能提升更明显。

图4 扇形区域归一化（Sectorial Normalization）

表3 归一化粒度 （Normalization Granularity）

3. 消融实验

表4是相关的消融实验，验证了Azimuth Normalization的性能提升主要来自于旋转变换，即对径向方向的归一化，以及Azimuth Normalization对patch的形状layout、尺寸radius、间距stride的选择不敏感。

表4 消融实验

总结

Azimuth Normalization利用径向对称性对点云数据进行归一化，带来在数据效率、收敛速度、性能上限三个方面的提升，能够减少感知算法对于数据量的需求，降低标注成本，并且在对感知精度要求高的离线应用场景中有较大的应用价值，如自动标注（Auto Labeling）和生成高精地图（HD Maps）。

参考文献

[1] Yan Yan, Yuxing Mao, and Bo Li. Second: Sparsely embedded convolutional detection. Sensors, 2018.

[2] Shaoshuai Shi, Chaoxu Guo, Li Jiang, Zhe Wang, Jianping Shi, Xiaogang Wang, and Hongsheng Li. PV-RCNN: point- voxel feature set abstraction for 3d object detection. In CVPR, 2020.

[3] Hugues Thomas, Charles R. Qi, Jean-Emmanuel Deschaud, Beatriz Marcotegui, Franc ̧ois Goulette, and Leonidas J. Guibas. Kpconv: Flexible and deformable convolution for point clouds. In ICCV, 2019.

备注：作者也是我们「3D视觉从入门到精通」特邀嘉宾：一个超干货的3D视觉学习社区

本文仅做学术分享，如有侵权，请联系删文。

3D视觉工坊精品课程官网：3dcver.com

1.面向自动驾驶领域的多传感器数据融合技术

2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
4.国内首个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)

9.从零搭建一套结构光3D重建系统[理论+源码+实践]

10.单目深度估计方法：算法梳理与代码实现

11.自动驾驶中的深度学习模型部署实战

12.相机模型与标定(单目+双目+鱼眼）

13.重磅！四旋翼飞行器：算法与实战

14.ROS2从入门到精通：理论与实战

15.国内首个3D缺陷检测教程：理论、源码与实战

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

 圈里有高质量教程资料、答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~