InsightFace又出新作！合成更真实更多样近红外人脸图片，助力“近红外-可见光”跨域人脸识别...

关注公众号，发现CV技术之美

论文标题：

Physically-Based Face Rendering for NIR-VIS Face Recognition

作者单位：

华威大学&帝国理工&华为& InsightFace&阿伯斯特威斯大学

近红外（NIR）与可见光（VIS）的人脸匹配具有挑战性，因为存在明显的域差距，而且缺乏足够的数据进行跨模态模型训练。为了克服这个问题，作者提出一种新的方法来生成配对的近红外-可见光人脸图像。

具体来说，作者从一个大型的二维人脸数据集中重建了三维面部形状和反射率，并引入一种将可见光反射率转换为近红外反射率的新方法。然后，使用一个基于物理的渲染器来生成一个巨大的、高分辨率的、逼真的数据集，其中包括近红外和可见光光谱中的各种姿势和身份。

此外，为了促进身份特征的学习，还提出一个基于身份的最大平均差异（ID-MMD）损失，这不仅减少了近红外和可见光图像在域层面上的模式差距，而且鼓励网络关注身份特征，而不是人脸细节，如姿势和配件。

在四个具有挑战性的 NIR-VIS 人脸识别基准上进行的广泛实验表明，所提出的方法可以达到与最先进的（SOTA）方法相当的性能，而不需要任何现有的NIR-VIS人脸识别数据集。通过对目标近红外-可见光人脸识别数据集稍作微调，所提出方法可以大大超过SOTA的性能。

论文地址：

https://arxiv.org/abs/2211.06408

开源地址：

https://github.com/deepinsight/insightface/tree/master/recognition

与之前方法DVG-Face的比较：

不仅看起来没那么糊，而且可以具有明显的姿态变化。

方法流程：

作者提出的损失函数效果可视化：

END

欢迎加入「人脸技术」交流群????备注：Face