针对目前视频监控运维存在的灵活性低、联动效果差等突出问题，国家级期刊《中国安防》8月刊邀请了苏南某市公安局大数据管理中心专家和高新兴科技集团专家共同编撰了“智能运维系统关键技术研究及应用”一文。
本文首先提出一套智能运维系统架构，基于该架构可实现完善的资产管理和智能化的综合检测诊断功能，同时面向海量视频运维场景，提出基于计算机视觉和深度学习理论框架的视频质量诊断算法和视频OSD检测识别技术，可实现对视频异常和视频OSD规范性的自动检测和告警。
《中国安防》2023.8
以下为报道全文内容
引言
AUTUMN
自“平安城市”项目起，各类“智慧城市”“雪亮工程”项目建设今已陆续开展了近20年，20年间大型项目建设速度不断加快、视频监控规模不断扩大、设备种类庞杂、终端数量巨大、联网结构日益复杂。近年来，人工智能物联网（AIoT）等技术持续更迭，辅助城市“智”理达到新水平新高度，但是“重建设，轻运维”带来的弊端逐步显现。老旧系统面临更新换代，新建系统体量和复杂度再创新高，维护难度和成本呈爆发式增长，高质量智能运维系统的研究和落地应用迫在眉睫。
一
运维系统存在的问题
纵观目前投产的智能运维系统，普遍或部分存在以下问题：
1.灵活性较低：不支持配置管理数据库的动态建模，新增一个设备类型、一个字段都需要改代码，工作量大；对监控任务采取了简单粗暴的单任务模式，所有同类型设备采取同样的采集频率、采集周期，无法支持每个项目的灵活需求。
2.联动效果差：运维系统内部无法统一管理子系统资产，导致运维人员无法掌握全局资产信息；系统内部各模块没有打通，可能出现一个告警需要在多个系统多次处理的情况，子系统间缺少联动，低效耗时。
3.移动功能少：缺少配套的移动终端APP或相应功能不完善，无法在线下巡检的场景使用，难以发挥智能运维系统的效用。
针对上述问题，本文对实战场景下智能运维系统的关键技术进行了深入研究：一是面向智慧城市大规模视频联网监控系统运维需求，对智能运维系统架构进行优化设计，在满足主体功能的情况下，提高系统的组件化程度，实现按需定制；二是提出基于计算机视觉和深度学习的视频质量诊断技术，实现视频异常自动诊断、告警；三是提出基于深度学习的视频OSD识别技术，针对OSD识别难度大的问题，设计多重优化网络模型，提升整体识别精度。最后，介绍本项目在江苏省某地市“雪亮工程”项目中的应用示范效果。
二
智能运维系统架构
本文提出的智能运维系统业务架构如图1所示，主要包含资源层、数据处理层、平台层、应用层和展示层。资源层负责接入所有IT基础设施，例如摄像机、服务器、交换机、数据库及自定义的运维对象等；数据处理层包括数据采集模块和调度中心，前者负责采集摄像机状态，对视频画面进行质量诊断、视频OSD识别、平台运行信息采集，以及生成告警信息等，后者负责任务调度和数据存储；平台层需要接入视频联网系统、统一应用平台和一机一档系统；应用层主要包括资产配置与管理、运维综合管理、工单管理和运维考核，实现资产、运维、工单和考核的联动管理；展示层主要是通过大屏、统计报表等多种可视化方式对运维系统的工作过程和结果进行展示。
基于上述业务架构，可以实现以下主要功能：
1.完善的资源资产管理功能
可实现对各业务部门不同应用场景下的资源资产提供配置管理、信息整合、模型配置、资产建模、流程管理、生命周期管理、“一机一档”管理等综合管理应用。可实现资源资产统一录入审核校验管理，可作为资产服务平台向其他应用系统、业务系统、管理系统等提供可控可信可拓展的统一资产服务接口，真正实现资产数据的统一使用、统一管理、统一维护、“一数一源，一源多用”的应用要求。
2.智能化的综合监测诊断功能
三
视频质量诊断技术
面对数量庞大且不断增长的视频监控设备，巨大的运维工作量和严格的完好率考核目标[4]对于传统的人工检测处理方式而言是不可承受之重。因此，采用计算机视觉技术对视频图像质量进行自动诊断和告警，实现对视频监控系统运行状态的自动化检测是提高视频监控系统运维效率，保证视频监控系统正常可用的必由之路[5-6]。
视频质量诊断算法需支持对系统接入的大量摄像机视频进行全天候的自动轮巡诊断，一旦发现异常的视频图像，立即生成告警信息并向上级推送。本文提出的视频质量诊断算法GoPPLCNet，将计算机视觉和深度神经网络进行结合，实现了对视频图像的多种故障诊断，包括无信号检测、黑屏检测、雪花检测、条纹检测、遮挡检测、偏色检测、偏亮检测、偏暗检测、模糊检测、抖动检测等功能，大幅降低人工轮巡的工作量。
GoPPLCNet视频质量诊断算法在mobileNetV2[7]的基础结构上进行改进，支持部署在CPU端侧。主要改进包括一是采用H-Swish激活函数；
二是对模型尾部结构进行了3个改变，分别为预测头和多类别分类头、添加SE模块、更大的卷积核。
GoPPLCNet算法在实战场景中的测试结果如表1所示，其中检出率和误检率定义见式（1）（2）。从表1可知，各异常类型（条纹除外）的检出率均超过99%，平均检出率99.61%，平均误检率0.98%。条纹异常的检出率略低，为98.72%，究其原因是因为实际情况中，条纹异常复杂多变，且现实图像中有较多呈现“条纹”的正常图像，例如卷帘门、条纹砖、门、地板、瓷砖等，故造成条纹异常的检出率指标略低。总体来讲，本文提出的视频质量诊断算法性能指标完全达到实战要求，可以满足实际情况下巨量的视频运维需求。
四
视频OSD检测技术
1.视频OSD检测难点
通过分析大量的监控视频画面，发现画面中的字符位置、字符大小、字体等并没有特别统一的形式，但是从目标和背景的显著性对比看，夜间的OSD比白天的要清晰。然而，从技术层面分析，视频OSD识别有两个主要的难点和挑战。
（1）字符画面占比小、位置不固定，检测模型难以兼顾
（2）字符空间大而多变，识别模型精度提升受阻
①中文字符空间有6000+，不同字符组成的句子具有不同的语义特征，而且中文语句的丰富度非常高，导致训练样本很难覆盖整个语言语义系统，要求算法必须在非常大的训练集上训练，识别难度提升的同时直接带来了训练成本的上升。
2.视频OSD检测识别方案
考虑到耗时要求，本文选用Yolov4模型来完成OSD区域检测任务。由于直接使用真实数据涉及到信息安全问题，故本文通过数据增强、数据合成（字体多样、字号多样、位置多样、背景和字体颜色多样等策略）等手段生成了300万的大型训练集，再通过加载COCO预训练模型，将Yolov4在COCO数据集上的能力迁移到OSD检测任务中。利用真实数据测试来引导模型实现了检出率＞97%、误检率＜2%的性能指标。
本文提出的OSD识别模型基线版为CRNN（ConvolutionalRecurrentNeuralNetwork，卷积循环神经网络），该模型主要依靠CNN提取图像特征，LSTM（LongShort-TermMemory，长短时记忆网络）进行序列推理，配合CTC损失函数进行不定长的字符识别[10]。在此基础上，本文将模型主干改为ResNet34[11]，并对下采样模块进行改进。同时选择多样的数据增强策略的随机组合、AdamW优化方法以及OneCircle学习率调整方法等优化策略，提升模型的识别能力。
五
典型应用示范
本文提出的智能运维管理系统在江苏省某地市“雪亮工程”项目上线后，共接入视频监控设备5万多路，车辆卡口设备6000多路，物理机服务器、虚拟机服务器、软件平台等设施。系统支持对普通监控类设备的视频流检测、视频质量诊断、录像质量诊断、OSD检测识别等日常巡检任务。支持人脸卡口、车辆卡口的抓拍数据量检测、时钟准确率、图片合格率、url可用率、OSD字幕叠加准确率统计，支持服务器系统和性能的实时运行监控，下级软件平台的实时运行监控等功能。
视频质量诊断支持对信号丢失、普通噪声、黑屏、抖动、遮挡、偏色、过亮、过暗、模糊、条纹异常检测，同时支持对画面静止、视频卡顿、云台运动速度异常、场景剧变异常、场景变更等视频质量异常情况进行检测。目前智能运维系统支持5万路设备的日常巡检任务，支持其中2万多路省厅考核设备的每日两检。
视频OSD检测支持对视频设备的时钟标注是否规范、字幕叠加是否规范等OSD进行检测和识别，目前系统支持5万路设备的日常巡检任务，支持其中2万多路省厅考核设备的每日两检和其中7百多路省厅重点考核设备的每日两检。
江苏省某地市“雪亮工程”一期建设项目——运维管理系统上线以后，在全省视频考核结果中，该地市由原来的60%-70%的视频在线率，提升到目前80%-90%的视频在线率，甚至达到过90%+的视频在线率考核结果；在全省的图像考核得分排名中，由原来全省的第十一、十二名提升到目前的全省第一、二名，充分证明了智能运维管理系统的价值和作用。
六
结语
针对目前视频监控运维存在的突出问题，本文提出一套智能运维系统架构，基于该架构可实现完善的资产管理和智能化的综合检测诊断功能。进一步，本文基于计算机视觉和深度学习理论框架，提出视频质量诊断算法和视频OSD检测识别技术，可实现对视频异常和视频OSD规范性的自动检测和告警。本文所述产品在江苏省某地市“雪亮工程”上线应用，助力该地市视频考核成绩大幅提升，充分证明了智能运维管理系统的价值。
目前，智能运维系统主要应用在公安、交通等规模较大的行业，随着运营商在智慧社区、校园、医院、工业园区等场所的视频上搭载AI算法应用，小型、轻量化的视频运维平台和工具在可预见的未来会出现需求的井喷阶段。近年来，AI和大数据技术快速发展，使得智能运维系统的故障精准定位能力大幅提高，但是故障自动分析、故障原因排查以及维护指导意见的自动生成将是智能运维平台重点研究方向。另外，智能运维服务上云也是大势所趋，未来根据客户需要实现智能运维的云端部署和资源按需分配，将最大化地满足客户需求并提升资源利用率。
高新兴智能运维系统
GOSUNCN
性能强且准确率高
10余项目落地
目前，已在全国十余个城市项目中落地应用，为视频联网提供智能运维检测能力，并保障视频应用稳定规范。