jetson nano opencv 打开 CSI摄像头_技术解读创新式摄像头在环仿真测试与评价系统...

目前，51Sim-One自动驾驶仿真软件已可为ADAS提供摄像头、毫米波雷达、V2X等多种传感器硬件在环测试解决方案。其中，摄像头在环仿真测试与评价系统通过部署摄像头黑箱并展示摄像头仿真视频流，为在环摄像头识别算法检测和评价提供高效测试平台。今天，就为大家探秘“黑箱”。

关键词：自动驾驶  摄像头仿真  硬件在环测试  HIL

▲ 摄像头在环测试-逆光案例

让我们从一个摄像头在环测试的逆光案例开始。

从测试案例中可以看出，在逆光和地面积水反光影响下，被测摄像头目标检测算法并不能很好的检测同车道前方车辆。不过对于摄像头仿真真实度很高的51Sim-One却很容易实现，且能够通过对天气和光照的泛化产生大量类似测试案例。

实现原理

 1、两种系统结构可供选择

摄像头在环测试和评价的总体系统包括硬件在环黑箱、仿真服务器与被测摄像头以及计算平台。

▲ 摄像头硬件在环系统组成示例1

在这个系统里，仿真服务器用于实时生成仿真视频流以及对应的目标物真值(2D/3D包围盒、位置、朝向、速度等)。仿真视频流输出到黑箱中的4K显示屏。在黑箱中的另一端，已标定好的摄像头接收4K显示屏可见光信号，光电转换后把视频流传输到计算平台，进行感知识别。

在计算平台中，可以基于51Sim-One的API能力添加实时真值获取模块，除了获取目标物真值外，还可以获取主车当前的GNSS和IMU等信息，以及车道线真值等。基于感知算法的识别结果和获取的仿真真值，可以对感知结果进行定量化评估，评价摄像头以及感知算法的表现。

以上系统架构需要在计算平台中运行多个程序，包括存取仿真真值，存取感知结果，以及对感知算法进行评价，适合于对计算平台开发比较熟悉的用户。

此外，51Sim-One摄像头在环系统还提供另一种架构示例(如下图)。计算平台只需提供接口，可以实时输出识别到的障碍物，并发送回51Sim-One仿真服务器，就可以对摄像头感知识别作定量化评价。

▲ 摄像头硬件在环系统组成示例2

其中，摄像头在环黑箱又包括箱体，箱内专业显示屏，三轴摄像头校准支架，以及测试用摄像头等几部分。黑箱内壁使用对可见光低反射率的材料，减少反射光对被测摄像头的干扰。

▲ 黑箱示意图1

▲ 黑箱示意图2

表1 摄像头在环黑箱主要部件

 2、内外参自动化标定

为保证黑箱中摄像头拍摄的目标物大小与真实车辆上的摄像头结果一致，需要对黑箱内的摄像头进行内外参标定。内外参标定可以在黑箱内的屏幕上显示棋盘格或者其他标定图像实现。

51Sim-One摄像头在环测试系统支持自动化标定摄像头内外参，并移动摄像头到预期位置。在标定了摄像头的内外参之后，自动化标定程序将驱动电机把摄像头移动到屏幕中心位置，并且把摄像头前后移动到恰好水平视场角包含整个屏幕处。此时51Sim-One的仿真摄像头参数也需设置为对应的内参设置，这样可以保证黑箱中摄像头拍摄的目标物大小和真实车辆上一致。

▲ 黑箱自动化标定和空间对齐程序

(左图为示例标定图像，显示在黑箱内屏幕上；右图为三轴传动控制程序界面)

自动化标定和空间对齐程序操作三轴传动控制器改变相机外参，待准心图案与四角对准图案均重合后，即完成了相机位置的校准。

▲ 黑箱内部-自动化标定示意

相机位置校准完毕后，就可以启动51Sim-One，在黑箱内的显示器中显示仿真摄像头看到的场景了。

下图为黑箱示意图，其中黑箱的大小可根据待测摄像头视场角的不同(比如30°、60°、120°)来定制，针对FOV过大或过小的摄像头，可通过添加透镜使得黑箱体积不会过大。

▲ 黑箱内部-展示仿真视频流

在黑箱外面的机柜上，则可以同时显示与黑箱内一致的原始仿真视频流(右侧)，以及摄像头拍摄后带识别框的视频流(左侧)，用作对比评价。下图机柜左侧为某款色调略微偏绿的摄像头的实际拍摄效果和识别结果展示。

▲ 在环目标检测示例1

▲ 在环目标检测示例2

 3、在环测试评价

通常，摄像头从拍摄到识别出感知结果会有一定时延，不同厂家的摄像头的系统时延也不一样。如需对感知结果进行评价，就需要对感知结果和仿真真值进行时间对齐。这里的时延包括仿真视频流渲染到黑箱内显示屏的传输时延、摄像头拍摄显示屏光电转换并作图像处理的时延，感知算法获取摄像头图像并作识别的时延、以及感知真值通过网络传输到计算平台的时延。51Sim-One感知评价程序会计算出该系统延时，并基于时间对齐后的感知结果和仿真真值作算法评价。

▲ 51Sim-One摄像头在环评价系统界面示例1

(左侧为信息提示栏以及功能实现按钮，右侧图表区域用于显示统计结果)

▲ 51Sim-One摄像头在环评价系统示例2

该示例评价算法支持目标识别算法和车道线识别算法两类。除了平均检测率、漏检率和误检率之外，还支持对不同大小和不同距离的目标物的识别率进行评价。该评价示例中，小目标定义为32x32像素以下；中等目标定义为96x96像素以下；96x96像素以上则为大目标。评价算法还可以显示不同类型目标随着时间变化的检测趋势变化情况。

4、支持两种视频流注入方式

基于黑箱的摄像头在环测试和评价系统适合于对摄像头识别算法作感知开环评价。如果有多个摄像头需要同时作测试和评价，除了使用多个黑箱外，也可以把视频流直接注入仿真平台，51Sim-One支持两种视频流注入方式，分别为UDP注入和硬件板卡注入。

两种注入方式的主要区别在于是否使用额外的视频注入板卡。UDP注入使用网络注入的方式，结构简单成本低，但对网络带宽要求较高，且在计算平台中需要添加额外的视频流解析层；而视频注入板卡则对计算平台改动较少，仿真服务器直接输出HDMI视频流信号，视频注入板卡把HDMI格式转换为GMSL或FPD-Link格式的视频流，并接入计算平台。

使用视频注入方式同时支持多达10+路摄像头视频流仿真和注入，结合激光雷达仿真结果则可以实现UDP点云注入，结合毫米波雷达仿真则可以实现聚类前目标注入，以支持对感知融合算法进行评价。以下为51Sim-One中多传感器仿真示例视频，包括5个摄像头(前后左右和车顶各1个)和1个激光雷达。

▲ 多传感器仿真-5摄像头1激光雷达

视频注入对摄像头仿真的真实性要求较高，比如真实摄像头的色彩还原、动态范围、信噪比和清晰度等都需要仿得足够真。51Sim-One支持与专业图像质量评测实验室结合，把摄像头的图像质量标定结果直接输入仿真系统，仿真出无限接近于真实摄像头效果的视频流。

▲ 51Sim-One合作单位正印科技的图像质量评测实验室

八项核心功能

✮ 可检测不同天气和光照条件下的摄像头算法表现。

如：云、雨、雪、雾、顺光、逆光、炫光、低光照等。

✮ 支持各项内外参设置。

如：摄像头的安装位置、角度、帧率、视野范围(FOV)、焦距等。

✮ 支持多种摄像头接口类型。

包括：GMSL、FPD-Link、GigE、CSI-2、USB3.0、LVDS、CAN等。

✮ 覆盖多种视觉算法。

如：摄像头目标检测和跟踪算法、车道线检测算法、语义分割和实例分割算法等。

✮ 丰富的评价目标类型。

包括：小汽车、卡车、巴士、行人、自行车、摩托车、交通牌、交通灯、车道线以及其他感兴趣的障碍物。

✮ 多维的视觉算法的评价指标。

包括检测帧率、平均检测率、漏检率、误检率、小目标检测率、近距离目标检测率以及检测趋势变化等。

✮ 支持与摄像头图像质量标定实验室合作。

把摄像头的标定结果(色彩还原、动态范围、信噪比、清晰度、色相差等)输入仿真系统，把仿真视频流注入到计算平台。

✮ 支持存储51Sim-One仿真视频流为h264或mp4格式，以及视频流中每一帧的真值，用于离线注入和评价。这也是51WORLD虚拟标注数据集的重要功能之一。

黑箱四大优势

1、仿真真实性高

拥有高质量和多样化的仿真场景，且可与专业摄像头图像质量标定实验室结合，可定制化标定并仿真特定摄像头成像效果。

2、软硬协同，双重保障

基于51Sim-One软件开发，软硬件协同搭建出的仿真测试环境，既能够保证仿真效果，又能够兼顾硬件测试需求。

3、支持高度定制

支持的测试摄像头接口类型覆盖目前全部主流车载、工业摄像头接口，可定制化接入各类域控制器、计算平台、工控机和PC机。同时，支持高度定制化开发，支持在摄像头光路上添加各类挡风玻璃材质、凸(凹)透镜等，最大限度还原工况。

4、测试评价一体化

配套有摄像头在环仿真测试评价系统，通过实时获取被测摄像头的识别结果数据，实时记录对应仿真场景中的景物信息真值，从而对测摄像头或算法进行量化评价。

欢迎大家在自动驾驶算法开发中使用51Sim-One硬件在环仿真测试和评价系统，虚实结合，为研发和量产保驾护航！

51Sim-One是51WORLD自主研发的国内首款拥有自主知识产权的智能汽车虚拟仿真工具。51Sim-One虚拟仿真工具应用于各类自动驾驶系统共性技术的研发，为智能决策控制、复杂环境感知、人机交互与共驾，车路协同与网络通讯等提供了安全可控的全要素多层级的测试与评价技术支撑。同时，51Sim-One的仿真引擎已拓展服务于智慧城市交通系统、交通环境仿真、智慧道路设施部署与监控、无线网络建设评估等领域。