【自动驾驶-感知-红绿灯】红绿灯识别常见Corner Case总结

在自动驾驶中，红绿灯感知模块通常会被当做一个单独的子模块进行单独设计，本文针对红绿灯感知过程中存在的部分问题进行汇总，以达到共同讨论，共同解决行业难点问题的目标。

1. 图像识别问题汇总

【corner case1】故障灯识别（长时间黑灯，长时间黄灯闪烁），远距离容易识别错误问题

【corner case2】闪烁状态识别（红灯闪烁，黄灯闪烁，绿灯闪烁）

【corner case3】远距离条件下，小目标红绿灯识别（高速120km/h下，至少要看到200m远）

【corner case4】太阳光干扰（逆光、光照不足导致图像灯盘颜色过浅，近似黑灯）

【corner case5】抓拍灯干扰（夜间抓拍灯过亮，导致图像过曝，图像灯盘无法分别轮廓边界）

【corner case6】镜头受到污渍干扰（夜间抓拍灯过亮，导致图像过曝，图像灯盘无法分别轮廓边界；雨雪遮挡镜头导致无法抓拍到易识别的图像登）

【corner case7】适配各式各样的交通灯检测识别（竖条灯<常见>，横条灯<常见>，临时竖灯，读条横灯，读条竖灯，高速通道灯，非机动车道灯，人行横道灯，单组灯，两组灯，三组灯，四组灯，箭头灯，圆头灯等）

[1] 读条竖灯

[2] 读条横灯

[3] 三箭头灯

[4] 倒计时与灯盘上

[5] 倒计时在灯盘一侧（通常在灯盘右侧）

【corner case8】交通灯背景干扰（常规背景为天空、树木，不常见的背景包括各式各样的建筑物、广告牌背景）

【corner case9】LED闪烁问题（一些不合规的交通灯存在LED闪烁，人眼看到灯有颜色，图像抓拍到的为黑色）

【corner case10】动态交通灯问题（部分城市的部分交通灯，会根据交通流或者施工情况调整多组灯中灯亮的状态，例如两组灯，一个左转，一个直行灯，在某些时段，只让一个灯亮，容易造成规控无法对应交通灯进行决策，导致该停车不停，该前进不走等问题）

【corner case11】倒计时识别问题（倒计时数字牌往往更小，而且布局各不相同，通常常见的布局包括，单独倒计时牌<立于竖灯右侧或头顶>，与灯牌一体倒计时<立于灯盘中间>；倒计时数字也不相同，通常有个位数字和两位数字，两位数字存在01、02...，最大数字可以到99；夜晚识别倒计时牌容易受到大光晕干扰，造成肉眼无法识别数字；在较远地方，倒计时牌无法识别等问题）

【corner case12】箭头指向、圆头识别问题（较远的地方，箭头与圆头类型容易混淆，箭头指向识别准确度较低等问题）

【corner case13】夜晚识别问题，夜晚路口各类灯光干扰下，对全图检测红绿灯带来较大困难，同时，夜晚红绿灯灯光极管亮度高，容易造成灯头形状无法区分，对识别灯头形状，识别倒计时数字造成更多困难。

【corner case14】遮挡场景识别问题。例如下图中遮挡问题，前车被油罐车遮挡视野，红绿灯存在完全无法看到，部分看到等多种情况。

【corner case15】多路口重叠灯识别问题。

【corner case16】高架桥下复杂的交通灯识别问题。

2. 依赖高精地图识别红绿灯问题汇总

【corner case1】多颗摄像头切换选择问题。自动驾驶中通常至少需要两颗摄像头(远/近焦距)来完成红绿灯图像采集问题，但依赖高精地图方案中，最终只会选择一张图像完成检测识别过程，精确的选择哪一张图像来完成后续过程需要在大量的试用过程中不断调优，从而适配各式各样的场景。

【corner case2】左转待转区采用右前侧宽视角摄像头图像，当左转待转区距离直行交通灯较远时，存在右前侧摄像头成像无法区分红绿灯颜色（即红绿灯在图像上无论是红、黄、绿哪种颜色，肉眼看都是黑色）

【corner case3】左转待转区采用右前侧宽视角摄像头图像，当左转待转区距离直行交通灯较远时，倒计时功能无法正常使用，人眼无法从图像中区分数字

【corner case4】高精地图中是按照车道线lane id与交通灯signal id一一对应绑定，由于检测模型会搜索到感兴趣区域中的全部近似红绿灯灯框，进而再与高精地图通过位置相近计算进行匹配。因此在直行道路，左转待转道路等需要绑定红绿灯的场景中，地图中需要将全部交通灯进行绑定。由于高精地图中绑灯是人工完成的，往往容易出现制图中针对废灯(不亮，一直为黑灯)容易出现忘记绑定问题，最终导致匹配时，可能出现匹配错误问题

【corner case5】高精地图中存在单lane id绑定多signal id问题，规则的不一致性容易导致匹配问题

【corner case6】高精地图中由于最终绑定signal id的lane id往往比较短，但是现实情况要求自动驾驶车辆需要在非常远处能够看到交通灯，因此需要通过对地图中lane id后继车道线进行查询，并且确认后继车道线是否绑定红绿灯，而最终推导出100米甚至是200米远的距离中是否存在红绿灯，进而决定是否开启交通灯识别功能

【corner case7】在自动驾驶汽车越过停止线后，自车所处的lane id也会随之改变，但这个时候汽车需要继续观测交通灯，来辅助车辆不闯红灯，因此需要对之前的lane id进行查询。通常要获取之前的lane id有两种方式，一种是短暂记忆刚刚经过的lane id(绑灯)，一种是设计前继查询lane id(绑灯)

【corner case8】左转待转区停止线前方有专门的左转交通灯，进入左转待转区前正前方有左转灯和直行灯，当前路口相当于有两组灯，一组为单独的专门辅助的左转交通灯，一组为直行+左转灯。

【corner case9】高架桥下多组灯匹配问题。在高架桥下，往往存在两组灯，且在远距离下，两组灯重叠度高，基于高精地图下，需要将问题简单化，即一个路口只选择一组灯进行识别，但是在高架桥下，这种方式容易导致匹配错误。

【corner case10】相机盲区限制了停止线距离红绿灯较近的识别。现实世界中，多数红绿灯距离停止线均较远，往往超过10m，但同样存在距离停止线过近的情况，如果选择相机焦距过大，容易造成，在停止线附近，识别红绿出现盲区，造成停车后，无法感知红绿灯，从而无法起步问题。

最后

以上就是搞怪皮带为你收集整理的【自动驾驶-感知-红绿灯】红绿灯识别常见Corner Case总结的全部内容，希望文章能够帮你解决【自动驾驶-感知-红绿灯】红绿灯识别常见Corner Case总结所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。