本标准规定了XX公司数据质量管理内容、管理机制和工作流程。本标准适用于XX所有项目整个生命周期的数据质量管理,非项目可参照使用。
下列术语和定义适用于本文件
客观反映业务数据固有特性的程度。
注:“固有的”(其反义是“赋予的”)就是指在某事或某物中本来就有的,尤其是永久的特性。
对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题,进行识别、监控、预警、处理等一系列管理活动,并通过改善和提高管理水平使得数据质量获得进一步提高。
获取业务各环节的数据质量信息,结合有关检查规则和采集规则,对数据质量情况进行诊断,并及时向数据质量管理实施部门报告的活动。
由数据质量管理实施部门根据需要发起,得到评估结果并作为依据评估指标和评估方法进行评价,数据质量改进的参考和依据。
对数据质量日常监控以及质量评估等过程累积的各种信息进行汇总、梳理、统计和分析,形成统计报告的过程。
在数据质量管理活动中获取的有关数据质量问题处理的经验和成果。
数据质量分为绝对质量和过程质量,绝对质量是指业务数据的真实性、完备性和自洽性,过程质量指业务数据的使用质量、存储质量和传输质量。数据质量管理目标包括:
a)建立稳定运行的数据质量测控体系,及时发现并改正数据质量问题;
b)建立可靠的数据质量评估流程,判断改进趋势,衡量数据质量改进效果;
c)建立一套改进、提升数据质量的管理机制。
数据质量管理内容包括:
a)制定、修订数据质量管理遵循的标准;
b)确立、修订数据质量管理工作流程、优化部门协同机制;
c)制定数据质量管理决策机制;
d)监督日常数据质量管理的有序进行;
e)数据质量的核查。
数据质量影响要素包括:
a)信息类要素:由于对数据本身的描述、理解及其度量标准偏差而造成数据质量问题的影响要素;
b)技术类要素:由于具体数据处理的各技术环节异常而造成数据质量问题的影响要素,技术实现上的某种缺陷是其产生的主要原因;
c)流程类要素:由于系统作业流程和人工操作流程设置不当造成数据质量问题的影响要素;
d)管理类要素:指由于人员素质及管理机制方面的原因造成数据质量问题的影响要素。
数据质量评价原则包括:
a)完整性:数据是充分的,任何有关操作的数据都没有被遗漏。主要包括实体不缺失、属性不缺失、记录不缺失和字段值不缺失;
b)唯一性:数据值被约束成一组独特的条目,每个值都是唯一的。主要包括主键唯一和候选键唯一;
c)准确性:数据必须真实准确的反映实际发生的业务;
d)精确性:计量误差、度量单位等方面的精确度应符合业务需求;
f)及时性:数据更新、修改和提取等的快速性程度,应符合业务需求;
g)合规性:数据格式、类型、域值和业务规则的有效性。
主要职责包括:
b)对于在开发的应用项目,从业务角度提供数据质量检测方法和验收标准;
c)对于已运行的应用项目,根据应用状况提出数据质量问题和改进建议;
4.3技术主管部门职责
技术主管部门是数据质量的主管部门,主要职责包括:
a)组织制定、颁布数据质量管理、保障、控制和维护流程;
c)监督数据质量问题处理的整个流程并对数据质量的监控结果进行评估;
e)受理、审批数据质量需求变更;
f)针对已处理的数据质量问题发起处理效能评估;
g)数据质量管理其他有关事项。
4.3技术承办单位职责
a)协助数据质量管理实施部门解决业务应用系统数据质量问题;
b)协助业务主管部门提出数据质量管理的业务需求;
c)协助数据质量管理实施部门处理数据质量需求变更评估。
4.4数据质量管理实施部门职责
受技术主管部门委托,负责数据质量管理的具体实施。主要职责包括:
a)监控数据质量问题;
b)提出数据质量问题改进建议;
c)依据数据质量管理处理流程,负责数据质量管理系统运维;
f)组织处理数据质量需求变更的评估;
g)形成报告并报技术主管部门;
h)协助业务主管部门提出数据质量管理的业务需求。
5数据质量管理工作流程
工作流程图,数据质量管理流程工作流程见图1。
注:图中虚线表示为可选流程。
关键环节说明
技术主管部门在受理业务主管部门提交的业务需要后,应对业务需求在规定时限内进行审批,并将审批意见告知业务需求提出部门。
技术承办单位,应协助科技主管部门开展业务需求的技术评估。
技术承办单位对已完成技术评估的业务需求,应依据业务需求组织并实施应用系统的设计与开发。
对于技术承办单位已完成开发的应用系统,其业务主管部门应在规定时限内组织测试与验收。
技术承办单位和数据质量管理实施部门应协助业务主管部门,完成测试与验收。
对业务主管部门已验收的应用系统,数据质量管理实施部门应组织实施应用系统的上线和日常运维工作。
技术承办单位应协助、配合数据质量管理实施部门开展应用系统的上线工作。
对已上线的应用系统,数据质量管理实施部门应利用数据质量管理系统,开展数据质量监控,并定期提供数据质量监控报告。
在数据质量监控过程中产生的告警信息,数据质量管理实施部门应在规定的时限内开展告警信息分析,并对告警产生的原因作出判定。
注:一般性告警是指系统运行环境异常或操作失误等导致的、具有偶发性、在短期内恢复且不产生严重后果的数据质量监控告警。
技术承办单位应协助数据质量管理实施部门解决问题的工作。
对已处理的数据质量问题,数据质量管理实施部门应将问题处理结果在规定时限内通告技术主管部门、业务主管部门和技术承办单位。
数据质量管理实施部门应定期编写数据质量监控报告,归档备查。
6数据管理管理活动
数据质量管理活动主要如下:
根据监控数据对象性质的不同,采用多种定性或定量预警分析方法进行数据质量评价。
根据告警所反映的数据质量现象的严重程度、影响范围,设定严重性程度不同的告警级别。每一级别告警信息的发送都应具备多种送达手段。从数据采集、预警分析到告警生成,每个阶段都需进行程序化管理。
指对数据质量管理中产生的各类问题进行分析,并根据分析结果,方法进行处理,选择适当的方式、并根据处理效果归纳总结的处理过程。关键环节包括:问题发现、问题分析、问题通告、问题解决指派、问题处理方法设计、审评、实施和问题总结。
指利用各种评估方法(如:直接评估法和间接评估法),根据数据质量问题影响程度的不同,以评估报告等形式,对数据质量的给以评价和改进建议。