导语：应用测试表明本文所构建的工业视觉质检体系可明显提升检测精度和效率推动AI赋能工业制造
随着新型工业化的推进，工业对生产自动化、工作效率、安全生产、产品质量等提出更高要求。缺陷检测作为产品质量检测的关键环节，检测精度和效率至关重要。目前缺陷检测仍以人工为主，主观依赖性强，存在检测标准不统一且效率低下的问题；同时人口红利渐消，劳动力资源渐少，企业逐步面临人工成本高的挑战，对质检技术的转型升级有迫切需求。
当今，基于神经网络的深度学习算法技术在机器视觉领域加速应用，提升了视觉技术的工程效果。典型的深度学习网络如卷积神经网络，可以从输入数据中学习到抽象的本质的特征信息，对高维数据有较强学习能力，但计算复杂度随网络层数增加而增加；深度置信网络，有较强的扩展性，适合对图像进行多分类、识别处理，但依赖专家经验；全卷积网络，可以接收任意尺寸的图像且可对其进行像素级分割，在此基础上获得高层语义先验知识矩阵，但对图像的细节信息不敏感且收敛较慢；Transformer结构，在训练效率、图像分类、分割等任务中取得优异效果，成为学习序列数据的通用框架。
深度学习算法能够在相对理想的条件下解决视觉感知问题，然而该技术对数据规模和计算资源要求较高，当前已有研究大都聚焦于理论与实验层面，在工业落地生产中，面临如下挑战：
（1）工业部件结构复杂，材质属性多样，难以采集缺陷高表现力的图像数据。
（2）工业缺陷类型繁多且微小，无明显规律特征，检测准确度不高。
（3）视觉质检应用复杂且资源消耗大，成本高难以落地应用。
1AI视觉质检关键技术
1.1整体架构
如图1所示，本系统基于AI视觉检测平台，建立图像感知、缺陷检测模型、以及模型部署的全流程质检体系。根据客户对于检测精度、工作节拍、网络参数的需求，在工厂现场端对接产线搭建图像信息采集系统，通过工业网关进行数据采集和获取，将数据推送至云端平台，在平台侧基于检测模型对数据进行分析后将结果发送至端侧，同步更新缺陷检测模型。数采、训练、推理工作部署在云边端各环节中的不同位置，形成逻辑空间上协同。
图1AI视觉检测体系架构
1.2AI视觉平台架构
AI视觉平台是质检体系的核心，通过接口调用的形式提供设备接入、数据管理、算法/模型开发、模型部署等功能，可适配不同场景的检测需求，降低质检应用落地的门槛。AI视觉平台架构如图2所示，由边缘层、PASS层、MAAS层和SAAS应用层组成。以轻量化、弹性伸缩、容器化为基础，进行工业多元场景数据的统一接入与分析，沉淀AI基础算法能力，将通用模型算法与特定应用需求解耦，提供可复用、可扩展的AI能力服务。可快速实现特定场景的快速微调、训练、迭代与发布。
图2AI视觉平台架构
1.3工业图像数据采集
光学成像是视觉检测的基础，采集图像的质量是后续图像特征识别的关键。然而工厂光照环境多变、工件结构复杂、工件材质多样等问题造成图像质量难以稳定。为此，本文搭建多特征光学成像采集系统，确保工件的全方位采集；并建立光学效果评价体系，指导光学参数调优。从根源解决数据质量问题，具体介绍如下：
（1）多特征光学成像
工件通常涉及表面缺陷、内部缺陷以及三维缺陷信息的检测，可概括为“面特征”成像、“孔特征”成像以及“轮廓尺寸特征”3D成像。为避免缺陷漏检，本文设计了全方位、多特征的图像采集系统，如图3所示，使用协作机械臂挂载多套视觉成像设备，使用面阵相机、线阵相机和3D激光传感器，通过搭载FA镜头和远心镜头对表观和三维特征进行不同程度的观测；对于有凹陷结构如孔洞等的工件，镜头无法深入探测，则配备工业内全景镜头进行内壁面检测。由机械臂进行环绕成像，确保工件无死角图像采集。
图3视觉图像采集系统
（2）光学参数自动调优
通过模拟人类视觉系统的感知来判断工业质检中的图像是否适合后续缺陷检测。方法架构如图4所示，首先对工件图像进行主观打分，构建数据集；之后引入视觉显著机制生成显著性图，并结合Transformer特性提取图像全局高层信息特征；将获取的视觉显著性图与输出的全局特征融合，最终通过全连接层映射为质量分数评价结果。利用网格法罗列光源、相机的所有参数组合，并采用全自动轮询的方式拍摄不同参数设置下的工件图片，通过质量评价体系对图片集评级后选取最合适的硬件参数设置方案。
图4融合视觉感知特性的光学评价框架
1.4AI检测算法
工厂对劣品检出率要求严格，然而现实生产中缺陷数据样本少、缺陷形态多样、且存在大量微小缺陷，对检测模型提出了挑战。针对该问题，本文采用半监督、自监督融合方式，构建神经网络学习非缺陷制品的特征，并以教师-学生网络结构通过逆蒸馏实现对缺陷敏感的编码器与对缺陷不敏感的解码器。当图像不含缺陷时，编码器的特征与解码器的特征服从同一分布；反之，在缺陷图像中，二者特征存在较大差异，因此可将差异部分作为缺陷并进行缺陷定位，具体介绍如下。
如图5所示，缺陷检测模型包含教师网络（编码器）、学生网络（解码器）、单类瓶颈编码器、投影层。
图5缺陷检测模型框架
（1）网络输入为非缺陷数据时，直接计算教师网络和学生网络特征之间的相似性来训练学生网络，使用余弦相似性作为蒸馏损失，使得学生网络和教师网络在非缺陷数据上可提取同分布特征。
实际推理时，逐层获取教师网络与学生网络的对应特征并进行余弦相似度对比，将所有层的相似度进行融合获取最终差异特征比对图，图中若有差异则表明数据含有缺陷，差异大的位置则作为缺陷的定位。
1.5轻量化工程部署
在多产线、多种类、多批量的质检范式下，数据中心化的AI落地方案成本高昂，难以应用。为此，本文提出模型轻量化的方案，旨在通过降低模型复杂度和计算需求，实现边缘侧的高效部署。
在AI视觉平台中，构建了基于泛化式模型精炼的算法压缩过程，使视觉检测模型具备更好的边缘侧部署性能和适应性。平台内置的泛化式模型精炼模块支持视觉算法库的阶段性更新，并允许在检测设备部署过程中根据实际需要替换算法的主干网络，从而得到多个轻量化视觉模型的重组。在模型重组过程中，逐层分析不同模型的特征层，通过特征融合与裁剪等技术，确保重组后的模型在继承各个教师模型优点的同时，实现进一步的轻量化和性能优化。泛化式模型精炼能够自主生成定制化、全能型的轻量化边缘侧模型，实现知识的深度融合，并显著提高视觉检测模型的性能与效率。
2视觉质检应用测试
汽车行业是支撑国家经济发展的支柱行业，中国汽车行业的总产值约占全国GDP总量的10%，是视觉应用的主力行业。汽车生产过程中涉及大量的自动化引导和质量控制环节，同时由于零部件种类多、尺寸各异、检测环境不一等因素，对产品检测精度要求极高，亟需AI工业视觉技术提高质量及效率。
将本文所提出的质检解决方案在汽车轮毂场景中进行测试，轮毂生产过程常出现焊渣、起皱、凹坑、变形等缺陷，工件表面为多曲面高反光材质且结构复杂。针对该检测场景，采用AI视觉平台对质检系统进行快速部署，现场如图6（a）所示，分为正面检测、反面检测、轮辋检测三个工位，由机械臂进行位置调控，实现工件表面的全方位高质量数据采集，由检测模型对图像数据进行缺陷识别，检测效果如图6（b）所示。
图6汽车轮毂AI视觉质检测试
采用精确率P和召回率R作为检测效果的评价指标，计算公式如下：
P=TP/（TP+FP）（1）
R=TP/（TP+FN）（2）
式中，TP为检测检出为缺陷的数量，FP为误检为缺陷的数量，FN为漏检测的数量。
表1视觉质检应用测试结果
检测结果如表1所示，对于三个检测工位，召回率均为100%，即本方案不会出现漏检现象，符合对于工件质量的严格高标准要求。然而，准确率在80%~90%，表明存在良品工件被识别为劣品工件的问题，需要人工对检出轮毂进行复筛。虽然该解决方案需要人工复检保障工件筛选的准确率，但相较于纯人工质检产线，大幅缓解了对人工的需求，具有实际应用价值，可有效助力工业制造的数智化转型。
3结束语
随着机器视觉技术的快速发展，工业质检正经历由传统向现代的转变。在AI视觉赋能生产的过程中，视觉质检也面临数据、模型、以及部署等诸多挑战。本文基于AI视觉平台，从视觉成像、模型优化、以及轻量化等方面建立视觉质检体系，实现高精度、高效率、低成本的质检解决方案，推动视觉质检的落地应用。同时，系统具有较高的通用性和泛化性，可进行规模化推广与应用。未来将持续探索AI视觉技术的应用优化，促进传统产业走向高端化、智能化、绿色化。
原文刊载于《江苏通信》2024年第8期作者：中国移动通信集团江苏有限公司陈桃
对话侯康选：从“抢修”到“预防”，智能IT运维的正确打开方式