飞桨PaddleSeg助力中国商飞航材自动化无损检测

65 阅读 0 评论 43 点赞

我是靠谱客的博主拉长龙猫，最近开发中收集的这篇文章主要介绍飞桨PaddleSeg助力中国商飞航材自动化无损检测，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

点击左上方蓝字关注我们

航空制造产业作为国家十三五规划和“中国制造2025”的重点发展领域之一，已经成为国家战略性产业，对于提升整体工业实力具有重大意义。而质检保障着制造的安全，飞机制造生产领域已使用了AI技术进行智能质检，在细微之处保障着中国飞机的质量安全。

9月29日早上9点，AIIA2020人工智能开发者大会百度公开课于北京首钢园成功举办。其中，中国商用飞机有限责任公司主管研发工程师陈少敏发表了关于《飞机制造业复合材料质检技术方案》的演讲，该演讲共分为航空复合材料检测的背景、图像分割技术介绍和基于飞桨的航空复合材料检测实践三部分内容进行介绍。

（图示：中国商用飞机有限责任公司

主管研发工程师陈少敏发表演讲）

以下为演讲实录：

航空复合材料质检

背景及问题描述

大家好，我是来自中国商飞的陈少敏，现任中国商飞主管研发工程师，主要从事于民用飞机领域人工智能技术应用落地，今天我分享的是飞机制造业复合材料质检技术与应用。

随着国产大飞机型号研制的推进，中国商飞北研中心承担的航空复合材料许用值试验以及疲劳门槛值的试验日趋加重，对试验件无损检测需求也逐渐增加。但是无损检测的过程对检测人员的专业知识有着很强的依赖性，同时人工缺陷评定过程速度慢，使其成为制约任务进度的瓶颈。

流程中存在的问题可以总结为四点：

单试验件检测时间长：20分钟。
检测数量大：单批次2000块，每年约3批次。
信息化程度低：容易造成人为疏忽。
设备开放程度低：优化流程困难大。

在北研中心先进材料结构实验室检测人员对型号复合材料样块进行无损检测时，通常单批次试验样件为2000块以上，单个试验件测试、评估并出具报告需20分钟以上，人工缺陷评定工时数超过1000小时，而检测人员资质要求高，书写报告重复工作量大，使其成为瓶颈，亟需对流程进行信息化、智能化改进。

现状评估

当前航空复合材料常用检测工作的流程包括实验接收、实验测试、缺陷分析到出具报告等步骤。其中，缺陷分析和出具报告两个步骤为评估阶段，其他步骤为实验阶段。我们通过50次的实验对流程耗时进行评测，试验时间均值为4.3分钟，评估时间均值为14.4分钟，人工评估过程时间占比达到77%，因此急需对评估时间进行缩短，提高检测效率。

在捕获到人工检测效率比较低的问题之后，我们对工业质检中的几种方法也进行了比较。人工检测存在成本高、效率低、检测标准不统一的问题。而传统机器视觉技术的辨别能力比较差，抗干扰能力弱，算法无法复用。而深度学习技术的适应能力强，算法精度高，模型可复用，意义可迭代，具有很强的产业升级的潜力，因此最终采用深度学习技术来进行流程的改进。

关于图像分割技术

说到图像分割，就得从计算机视觉的几大任务说起，包括图像分类、目标检测、图像分割和实例分割。图像分割的行业应用非常广泛，包括无人驾驶场景、影视特效场景的人像分割、背景替换、证件照抠图、医疗影像分析，肿瘤分割、肺炎结节分割等。

在航空领域，图像分割也具有很多应用场景，包括飞机自主起飞过程中，对于跑道中线的识别、航拍图像的分析、航空质检过程中复合材料超声图像缺陷检测等。

基于深度学习的图像分割技术的难点：

现有数据量少，新标注数据难度大，成本高。
应用场景复杂，对算法泛化能力要求高。
显存和算力要求高，端侧应用挑战大。
实时性要求越来越高（如短视频应用）。

基于飞桨的航空

复合材料质检实践

传统的人工质检方式，受质检人员技术和经验影响较大，而智能工业质检可以有效克服人工评片引起的误判，使检测工作更加自动化、客观化、标准化、规范化。工业质检所涵盖的行业非常广，包括3C电子产品的外观质量检测，钢铁行业中钢板缺陷检测，汽车发动机铸造件的损伤检测，航空制造业的飞机外观蒙皮损伤检测，无人机+计算机视觉技术辅助工人对飞机表面的划痕、凹坑等损伤进行检测、复合材料超声图像缺陷检测等。

实践航空复合材料检测应用AI技术难点：

数据数量少，应用场景复杂。
检测要求高，需要按照适航级别的标准进行检测。
传统行业AI开发能力薄弱。

针对以上三个问题，我们找到了解决方案，就是使用百度飞桨PaddleSeg进行复合材料检测算法的开发，PaddleSeg可以通过数据增强、算法选择等技术很好地解决以上问题，有效的帮助传统行业的技术人员进行AI算法的开发。

根据PaddleSeg的全景图可以看到，PaddleSeg是百度飞桨提供的一款图像分割开发套件，通过它可以实现图像分割任务从训练到部署的全流程。该套件是基于飞桨核心框架开发的，具有数据增强、损失函数选择、分割模型及骨干网络的配置等功能，提供工业级的部署能力。我们选择PaddleSeg最重要的原因是其易用性，通过全局的配置就可以快速实现模型的选择、数据增强，无需过多编写代码，十分贴近我们开发的需求。

（图示：飞桨图像分割套件PaddleSeg全景图）

分割实际业务场景具有标注成本高，标注数据少，线上应用场景繁杂的问题。解决方案就是通过数据增强策略扩充训练数据，提高模型的可靠性。

PaddleSeg支持强大的数据增强技术，可以涵盖开发算法需求。PaddleSeg还支持多种主流分割网络，结合不同特点的骨干网络可以满足不同精度和性能要求。

其实最初考虑了三种算法的标注方法，第一种是使用矩形标注框的目标检测算法，第二种是旋转矩形框的目标检测，第三种是多边形标注框的图像分割。这几种标注的成本差别较大，需要根据检测目标特征、数据集大小来确定。我们最终采用了基于PaddleSeg的语义分割再加上后处理的方式，得到了所需的检测结果，并且用PaddleSeg开发起来速度非常快。

接下来我们就按照PaddleSeg语义分割的思路来进行航空复合材料检测的实践，针对航空复合材料超声图像数据的特征，我们选择了左右翻转、上下翻转、变换长宽比、旋转、颜色空间扰动几种数据增强策略对训练数据进行扩充。

（图示：航空复合材料检测实践——数据增强策略）

PaddleSeg配置示例非常简单，十行左右代码就完成了数据增强的配置，对于算法效果的提升也非常好，大概是IoU两三个点的增益。

进入到网络训练阶段，我们使用了COCO数据集的预训练模型，在复合材料检测数据集上进行微调，PaddleSeg提供了多种模型结构和丰富的预训练模型，像U-Net提供了COCO数据集上的预训练模型，Deeplabv3提供了Mobilenet、ResNet等骨干网络结构在Imagenet和COCO上的预训练模型。我们测试了U-Net和Deeplabv3，两者效果差别不大，但U-Net训练及推理速度更快，最终我们选择的是U-Net进行部署上线。这里我们使用脚本下载了U-Net预训练模型，对我们构建的复合材料检测数据集进行数据校验。

在通过PaddleSeg进行模型训练时，只需要编写全局配置文件，我们设置了训练集、验证集、测试集的路径，配置了翻转、旋转、颜色扰动的数据增强策略，设置了模型结构为U-Net，模型输入为512 x 512，还对优化器、迭代次数等等训练参数进行设置。配置完毕后即可调用训练脚本对模型进行训练，开发过程非常简单，门槛很低。

训练完成后，我们对模型进行评估，在验证集下进行测试，IoU超过95%。

（图注：航空复合材料检测实践——算法效果评估）

随着图像分割算法效果达到初步要求，我们紧接着进行了一系列的后处理步骤，首先对识别结果进行了轮廓提取，再根据面积大小筛选出符合要求的缺陷，最后通过PCA主成分分析对轮廓点集进行降维，获取了缺陷的的低维表征，主要是通过OpenCV的PCA求取相应的信息。

当算法完成后，我们即可使用脚本对模型进行导出，然后使用PyQt开发软件界面，设计了多种图像读取方式，整合了PaddleSeg的Python推理脚本，完成图像分割功能部署，识别结果可以自动化保存为表格文件，辅助形成报告。至此，基于飞桨的航空复合材料检测实践就完成了。图中为开发好的软件工具，比较简单，但是应用效果很好，可以有效地提高航空复合材料的检测效率。