PanoSim仿真模型--传感器模型之单目相机

139 阅读 0 评论 92 点赞

我是靠谱客的博主瘦瘦月亮，最近开发中收集的这篇文章主要介绍PanoSim仿真模型--传感器模型之单目相机，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

目前，PanoSim 内置 7 类共 14 个传感器模型。传感器的一般化模型如图 5.22 所示。

图 5.22 传感器的一般化模型示意图

每一个传感器模型由三个重要部分构成：输入变量、模型的内外参数和输出变量。输入变量在传感器模型中由仿真场景决定并输入。模型内外参数源于用户使用过程中，在传感器的 Property 面板设置。传感器的输出变量可以用来支持其他模块功能的开发。下面对 PanoSim 中所有传感器模型的内外参数和输出变量进行逐一介绍。

5.4.1 Mono

5.4.1.1 MonoCamera_G

单目相机传感器仿真单目相机的功能，生成图片或视频流。

图 5.23 MonoCamera_G 生成的图片

5.4.1.1.1 模型参数

单目相机的内外参数见表 5-12。

表 5-12 MonoCamera_G 参数

英文名称	参数说明	数据类型	单位	取值范围	默认值	备注
X	传感器在车辆坐标系上的 X 坐标	float	m	(-inf, +inf)	0
Y	传感器在车辆坐标系上的 Y 坐标	float	m	(-inf, +inf)	0
Z	传感器在车辆坐标系上的 Z 坐标	float	m	(-inf, +inf)	0
Yaw	传感器在车辆坐标系下的航向角	float	degree	[0, 360)	0
Pitch	传感器在车辆坐标系下的俯仰角	float	degree	[0, 360)	0
Roll	传感器在车辆坐标系下的翻滚角	float	degree	[0, 360)	0
Range	传感器的最大检测距离	float	m	[0, +inf)	300
Horizontal FoV	水平视场角	float	degree	[0, 180]	60
Vertical FoV	竖直视场角	float	degree	[0, 180]	36
Focal Length	物理焦距	float	mm	[0, +inf)	20
Gamma	伽马校正值	float	-	[0, +inf)	2.2
Width	输出分辨率宽度	int	pixel	[0, +inf)	1280
Height	输出分辨率高度	int	pixel	[0, +inf)	720
K1	径向畸变系数 K1	float	-	[0, +inf)	0
K2	径向畸变系数 K2	float	-	[0, +inf)	0
K3	径向畸变系数 K3	float	-	[0, +inf)	0
P1	切向畸变系数 P1	float	-	[0, +inf)	0
P2	切向畸变系数 P2	float	-	[0, +inf)	0
Cx	X 方向主点	float	-	[0, 1]	0.5
Cy	Y 方向主点	float	-	[0, 1]	0.5
(Chromatic Aberration) Red	色相差红色通道仿真文件名		-	-
(Chromatic Aberration) Blue	色相差蓝色通道仿真文件名		-	-
Optical Blur	光学模糊参数	float	-	[0, +inf)	0
Noise Level	噪声水平	float	-	[0, +inf)	0
Vignetting	光学暗角系数（4 参数，高位到低位）	float array	-	(-inf, +inf)	0,0,0,1
(Color Translation) Red	颜色转换红色通道系数（4 参数，高位到低位）	float array	-	(-inf, +inf)	0,0,1,0
(Color Translation) Green	颜色转换绿色通道系数（4 参数，高位到低位）	float array	-	(-inf, +inf)	0,0,1,0

(Color Translation) Blue	颜色转换蓝色通道系数（4 参数，高位到低位）	float array	-	(-inf, +inf)	0,0,1,0
Focus Distance	对焦平面位置	float	m	[0, +inf)	60
Aperture	光圈数	float		[0, +inf)	3.2
Shutter Speed(s)	快门速度	float	s	[0, +inf)	0.0005
Motion Blur	运动模糊开关	bool	-	True/False	False

MonoCamera_G 支持基础参数设定，包括分辨率、水平/垂直视野范围、焦距等。另外，该模型引入成像特性算法，能够模拟各种复杂的实际成像过程中的物理特性，其中包括畸变，模糊、暗角、景深、色像差、噪声、运动模糊、颜色校正、伽马等。PanoSim 提供技术支持，实现对该传感器各类参数进行标定匹配，从而可以定制化的模拟特定型号的单目相机。

5.4.1.1.2 输出变量

该传感器的输出变量有三种可选方式：
a) 使用 Agent 中的 CameraOutput 进行视频输出；
b) 使用 Agent 中的 PictureOutput 进行图片输出；
c) 使用 UI 界面 Screen Number 以及 Location 输出到对应屏幕的对应位置。

5.4.1.2 MonoDetector_Lane

MonoDetector_Lane 为基于单目相机的车道线传感器，以车道线拟合参数的形式，返回单目相机检测的 Range 和 FOV 约束范围内检测到的车道线信息。

5.4.1.2.1 模型参数

表 5-13 MonoDetector_Lane 参数

英文名称	参数说明	数据类型	单位	取值范围	默认值	备注
X	传感器在车辆坐标系上的 X 坐标	float	m	(-inf, +inf)	0
Y	传感器在车辆坐标系上的 Y 坐标	float	m	(-inf, +inf)	0
Z	传感器在车辆坐标系上的 Z 坐标	float	m	(-inf, +inf)	0
Yaw	传感器在车辆坐标系下的航向角	float	degree	[0, 360)	0
Pitch	传感器在车辆坐标系下的俯仰角	float	degree	[0, 360)	0
Roll	传感器在车辆坐标系下的翻滚角	float	degree	[0, 360)	0
Range	传感器的最大检测距离	float	m	[0, 500]	40
Horizontal FoV	水平视场角	float	degree	[0, 180]	60
Vertical FoV	垂直视场角	float	degree	[0, 180]	40

5.4.1.2.2 输出变量

表 5-14 MonoDetector_Lane 输出变量

英文名称	参数说明	数据类型	单位	取值范围	备注
Timestamp	仿真时间戳	int	ms	[0, +inf)
Lane_ID	车道线编号	int	/	[0, 3]
Lane_Distance	相邻车道线距离	double	m	[3, 5]
Lane_Car_Distance_Left	主车两侧与左车道线距离	double	m	[-4, 4]
Lane_Car_Distance_Right	主车两侧与右车道线距离	double	m	[-4, 4]
Lane_Curvature	车道线曲率	double	m-1	[0, inf)
Lane_Coefficient_C0	三次多项式拟合常数项	double	/	(-inf, +inf)
Lane_Coefficient_C1	三次多项式拟合一次项	double	/	(-inf, +inf)
Lane_Coefficient_C2	三次多项式拟合二次项	double	/	(-inf, +inf)
Lane_Coefficient_C3	三次多项式拟合三次项	double	/	(-inf, +inf)
Lane_Class	车道线类型	byte	/	[0, 7]

模型输出依次为：车道线编号，相邻车道线距离，主车两侧与左右车道线距离，曲率，三次多项式拟合系数及车道线类型。其中车道线类型包括：

0 ：None, 没有线

1：SingleWhite, 白色实线

2：SingleYellow, 黄色实

3：BrokenWhite, 白色虚线

4：BrokenYellow, 黄色虚线

5：DoubleWhite, 白色双实线

6：DoubleYellow, 黄色双实线

7：unknown, 未知车道线类型

5.4.1.3 MonoDetector_Object

MonoDetector_Object 单目相机目标真值传感器返回 Range 和 FOV 视场角范围内检测到的车辆，行人，自行车，三轮车和动物的信息。

5.4.1.3.1 模型参数

表 5-15 MonoDetector_Object 参数

5.4.1.3.2 输出变量

表 5-16 MonoDetector_Object 输出变量

模型输出依次为：时间戳，识别目标的 ID，类型，相对主车的 XYZ 坐标、相对速度，长宽高尺寸信息。

5.4.1.4 MonoDetector_TrafficLight

MonoDetector_TrafficLight 单目相机交通灯真值传感器返回 Range 和 FOV 视场角范围内检测到的前方交通灯信息。

5.4.1.4.1 模型参数

表 5-17 MonoDetector_TrafficLight 参数

英文名称	参数说明	数据类型	单位	取值范围	默认值	备注
X	传感器在车辆坐标系上的 X 坐标	float	m	(-inf, +inf)	0
Y	传感器在车辆坐标系上的 Y 坐标	float	m	(-inf, +inf)	0
Z	传感器在车辆坐标系上的 Z 坐标	float	m	(-inf, +inf)	0
Yaw	传感器在车辆坐标系下的航向角	float	degree	[0, 360)	0

Pitch	传感器在车辆坐标系下的俯仰角	float	degree	[0, 360)	0
Roll	传感器在车辆坐标系下的翻滚角	float	degree	[0, 360)	0
Range	传感器的最大检测距离	float	m	[0, 500]	100
HorizontalFov	水平视场角	float	degree	[0, 180]	60
Vertical Fov	垂直视场角	float	degree	[0, 180]	40

5.4.1.4.2 输出变量

表 5-18 MonoDetector_TrafficLight 输出变量

英文名称	参数说明	数据类型	单位	取值范围	备注
Timestamp	仿真时间戳	int	Ms	[0, +inf)
TrafficLight_Directi on	交通灯方向	byte	/	[0, 3]	0-U turn 1-左转 2-直行 3-右转
TrafficLight_State	交通灯状态	byte	/	[0, 2]	0-红灯 1-黄灯 2-绿灯
TrafficLight_Timer	倒计时	int	S	[0, +inf)

模型输出依次为：时间戳，交通灯方向，交通灯状态及倒计时。检测前方的交通灯信息，最多可能有四种类型，分别对应四种 Direction (U-turn, 左转，直行，右转)，每个交通灯状态 0-红灯，1-黄灯，2-绿灯。

5.4.1.5 MonoDetector_TrafficSign_Obstacle

MonoDetector_TrafficSign_Obstacle 传感器返回 Range 和 FOV 视场角范围内检测到的交通标志及障碍物信息。

5.4.1.5.1 模型参数

表 5-19 MonoDetector_TrafficSign_Obstacle 参数

英文名称	参数说明	数据类型	单位	取值范围	默认值	备注
X	传感器在车辆坐标系上的 X 坐标	Float	m	(-inf, +inf)	0
Y	传感器在车辆坐标系上的 Y 坐标	float	m	(-inf, +inf)	0
Z	传感器在车辆坐标系上的 Z 坐标	float	m	(-inf, +inf)	0
Yaw	传感器在车辆坐标系下的航向角	float	degree	[0, 360)	0
Pitch	传感器在车辆坐标系下的俯仰角	float	degree	[0, 360)	0
Roll	传感器在车辆坐标系下的翻滚角	float	degree	[0, 360)	0
Range	传感器的最大检测距离	float	m	[0, 500]	100
Horizontal FoV	水平视场角	float	degree	[0, 180]	60
Vertical FoV	垂直视场角	float	degree	[0, 180]	40

5.4.1.5.2 输出变量

表 5-20 MonoDetector_TrafficSign_Obstacle 输出变量

英文名称	参数说明	数据类型	单位	取值范围	备注
Timestamp	仿真时间戳	int	ms	[0, +inf)
TrafficSign_Obstacle_Type	交通标志/障碍物	byte	/	[0, 1]	0-交通标志1-障碍物
TrafficSign_Obstacle_Class	交通标志/障碍物类型	int	/	[0, +inf)
TrafficSign_Obstacle_X	交通标志/障碍物相对传感器的坐标 x	double	m	(-inf, +inf)
TrafficSign_Obstacle_Y	交通标志/障碍物相对传感器的坐标 y	double	m	(-inf, +inf)
TrafficSign_Obstacle_Z	交通标志/障碍物相对传感器的坐标 z	double	m	(-inf, +inf)

模型输出依次为：时间戳，交通标志/障碍物 type，class，相对相机坐标系的 XYZ 坐标信息。其中，TrafficSign_Obstacle_Type 中交通标志对应 0，障碍物对应 1。交通标志/障碍物对应的 class 参考 PanoSimDatabaseResourceStatic 的子文件夹 TrafficSign 和 Obstacle 的 official.cvs 文件。如交通标志 ID37 对应解除限速标志，ID54 对应限速 40(km/h)标志。