基于python的非结构化数据提取匹配技术在项目运营管理审计中的应用

随着近几年计算机应用技术的迅速发展，以自然语言处理和图像匹配识别算法为代表的人工智能技术正取得较大突破，同时python技术的应用又极大地提升了处理分析的工作效率。在项目运营管理审计中，常常会遇到类型较为固定但数量较多的非结构化、半结构化数据，如长达数年的工作日志、系统运行监测数据、运维台账记录、现场工作照片等。上规模的非结构化、半结构化数据往往包含较为繁杂的信息但价值密度相对较低，使用传统的分析方式难以高效提取全部有价值信息。通过使用基于python的非结构化数据提取技术，对非结构化、半结构化数据进行完整提取并转换为结构化数据，能够保证高价值数据信息不被遗失，根据审计需求可以开展有针对性的匹配分析。本文以2022年度S县本级部门预算执行和决算草案审计项目中延伸的某无线城市WiFi项目运营管理绩效审计为例，探讨基于python的非结构化数据提取匹配技术在项目运营管理审计中的应用。

一、应用背景

经过前期了解及实地查看部分现场点位，审计组将重点确定在核查运维保障期间各点位日常巡检总体工作是否到位，是否有效保障民众使用等方面。考虑到本项目中电子数据形式特点，如果采用人工方式采集运维报告数据，不仅耗时耗力而且难以保证全部有价值数据被完全采集，容易造成“返工”。通过对运维报告数据形式结构分析，发现运维报告形式上较为统一，结构上可进行组件拆分。根据项目实际需求，使用python批量采集文档数据，包括段落文本、内嵌的包括系统正常运行监测数据、日常巡检数据、排除故障数据表格以及现场图像在内的全部非结构化、半结构化数据，完成采集后再应用匹配识别技术查找运维报告中的数据疑点。

?

图1—文档数据批量采集示意图

二、应用过程

经过初步测试，确定使用python的python-docx、opencv、fuzzywuzzy等库实现非结构化数据提取、图像匹配识别、文本匹配识别等功能，实现非结构化数据提取匹配，便于批量筛查运维报告中的数据疑点。其中，使用python-docx库读取Word结构与内部数据，opencv库进行图像匹配识别处理，fuzzywuzzy库用于字符串模糊匹配。

（一）非结构化数据提取

使用python中的os库获取运维报告文档路径列表，依次遍历读取Word文档，根据“文档—组件—数据”的关系对Word文档进行拆分，拆分为段落文本、系统正常运行监测数据表格、巡检排障数据表格、图像数据等子组件。通过python-docx库的doc.paragraphs提取文档中段落文本，使用doc.tables提取文档中表格数据，使用doc.part._rels提取图像，完成后将图像保存到指定路径，对文本数据、表格数据、图像路径数据等数据分别进行处理，依次导入到SQLServer数据库中。

图2—非结构化数据提取步骤流程图

（二）图像匹配识别

针对已经完成采集的图像数据，根据每次巡检排障采集图像数量的记录形成采集图像数量表，将其通过采集图像的年月周字段与巡检维护表进行关联，生成点位图像对应表，将该表存入SQLServer数据库中，该表指定某一时刻点位对应哪几张图像的名称。

对采集图像进行遍历，生成待匹配图像组。通过opencv图像处理库的imread方法读取待匹配图像组中两张图像，存储为Mat矩阵格式的数据，使用感知哈希算法进行图像匹配识别，通过对待匹配的两张图像进行“缩小尺寸（resize）-简化色彩（cvtColor）-计算平均值（avg）-比较像素灰度（compare）-计算哈希值（append）”的操作，获取两张图像的指纹字符串，再对两张图像的指纹字符串进行比对，计算两字符串不相同的位数，即汉明距离，汉明距离越低就表明两张图像的相似度越高，经过实验确定阈值为3，即两张图像指纹字符串的汉明距离小于3时认定为图像匹配成功，高于3认定为图像匹配失败。完成遍历计算后，将待匹配图像组汉明距离计算结果数据导入到SQLServer数据库中。

图3—图像匹配识别步骤流程图

（三）文本匹配识别

图4—文本匹配相似度计算流程图

（四）SQL筛选匹配结果

首先使用SQL语句筛选文本相似度超过阈值90%的匹配文本组和图像汉明距离在3以内的匹配图像组，再将两个匹配中间表进行关联，使用JOIN筛选出图像、文本相似度均实现匹配的巡检维护记录，先按“匹配日期、待匹配日期、点位、待匹配点位”唯一的方式清除重复项，再按“匹配日期升序、待匹配日期升序”的方式进行排序，得到最终筛选匹配数据.

图5—最终筛选出匹配数据示意图

三、应用成效

审计人员对该项目2019年-2021年的运维报告，综合运用非结构化数据提取、图像匹配识别、文本匹配识别、SQL筛选匹配结果的技术方法，将运维报告中的非结构化、半结构化数据提取出来，并运用匹配识别技术筛查出运维报告中的问题疑点。