国际数据管理协会(DAMA)认为:数据治理是对数据资产管理行使权力和控制的活动集合;
数据治理的概念并没有标准的界定,可从微观、中观和宏观的角度分别来理解。
(1)微观上,数据治理指的是个体的数据管理,即对数据的实用性、可用性、完整性和安全性的整体管理。
(2)中观上,数据治理是指公共治理,即区域和国家对其主权范围内的数据质量、权属、流动机制等方面的宏观管理。
(3)宏观上,数据治理指的是全球治理,即在大数据时代,以国家、国际组织、多利益攸关方等为主体,对数据权利、流通、管理等方面的治理
(1)数据标准管理是统一对数据的理解和使用,为数据的属性、业务规则、管理属性和技术属性制定统一的规范。通过数据标准管理,可以加强对业务的标准化工作,强化对业务的管理,完成对重点数据的统一管理。数据标准管理的原则:保证数据标准命名、编码的唯一性,维护数据标准的权威性和稳定性,保证数据标准的准确性和可执行性。
(2)数据质量管理是指通过一系列技术手段或者管理手段提高数据质量的过程。数据质量管理是循环管理的过程,目的是通过提升数据的使用价值,为系统赢得经济效益。
(4)数据生命周期管理是按照数据的业务属性划分数据的几个阶段:数据的创建、数据的使用、数据的归档和数据的销毁。数据生命周期管理的目的是为了满足对历史数据查询的要求,减少数据冗余,提高数据的一致性,并且提升系统的性能和响应速度。降低数据存储、运维等方面的基础设施投入[1]。
(一)DGI数据治理框架
从DGI数据治理框架整体的结构上看,数据治理的开展首先要明确治理的战略目标,建立完善数据治理的组织架构,通过制度建设明确数据治理的职责划分,建立统一的数据标准,根据企业的实际情况建立合适的数据治理流程规范。通过对DGI数据治理框架的分析,为本文后续数据治理问题分析、数据治理对策提供依据[2]。
(二)DAMA数据治理框架
国际数据管理协会(DAMAInternational)总结了数据管理的十大职能,指出数据治理处于核心位置
DAMA数据治理框架指出数据治理作为数据管理的核心内容,指导元数据管理等其他数据管理职能的执行。数据治理主要围绕其他9个方面的数据管理工作进行,其他9个数据管理职能是数据治理的核心领域。元数据管理是数据治理开展的基础,数据质量管理是数据治理的重点,数据安全管理是数据治理的前提保证。该数据治理框架为本文后续数据治理核心领域的分析提供理论支持。
(1)数据架构管理:定义企业数据需求,规划数据架构蓝图。架构管理主要活动包括设计企业数据架构,制定数据架构管理方案
(3)数据操作管理:针对关系型数据库而言,对数据进行统一计划和控制。
(4)数据安全管理:对数据的访问安全进行管理,保障数据使用合规。
(5)参考数据和主数据管理对企业各系统的参考数据和主数据进行管理,保障基础数据的准确性。
(6)数据仓库和商务智能管理:建立企业数据仓库,利用商务智能管理为业务部门提供数据和技术报告。
(7)文档和内容管理:对文本、视频、图像等非结构化数据进行统一规划、实施和控制。
(8)元数据管理:对企业元数据进行管理,包括元数据血缘分析等活动。
(三)IBM数据治理统一流程
(1)定义业务问题:企业需要以业务为导向,围绕解决业务上的痛点(例如某个领域的数据质量问题)来划定数据治理的范围。
(2)获取高层支持:通过业务经典案例来获得高层支持是比较快速有效的方式。
(3)执行成熟度评估:调研企业数据管理现状,执行成熟度评估。
(4)创建路线图:制定企业管理目标蓝图,根据短期、中期、长期战略制定数据治理的具体目标。
(5)建立组织蓝图:建立组织蓝图,建立数据组织体系。
(6)创建数据字典:建立数据字典,统一数据语言。
(7)理解数据:从业务、技术、管理三个方面理解数据,主要包括了解数据的业务、技术、管理属性,从而理解数据的业务含义、技术含义和管理含义。
(8)创建元数据存储库:元数据是关于数据的数据。元数据的建设对于数据资产管理、提升数据价值有着重要的意义。
(9)定义度量指标:制定数据治理考核指标,以便跟踪数据治理项目的进展。
(10)治理主数据:常见的主数据包括物料、单位、员工、客户、供应商等核心基础数据。企业治理主数据需要定标准、建平台、清数据、设体系。
(11)治理分析:对数据治理的效果进行彻底分析。
(13)治理信息生命周期:围绕数据的全生命周期进行数据治理。
(1)从微观上看,数据治理能够实现数据共享、数据准确和数据可用
①共享:知道公司有哪些数据。业务视角上来看,业务内部多载体(PRD、邮件、wiki、共享文档)知识记录,受入离调转的影响,“考古成本”高;公司视角:跨组织数据流通黑盒,数据不流通
③可用:数据质量需要保障。已经下线了文档还存在;不同数据健康状态监控;数据血缘追溯问题排查;不同数据格式导致下游消费解析成本过高;上游变更下游无感知
(2)从宏观上来看,数据治理能够优化数据质量、保障数据安全、维护数据主体权利、提高数据流通效率
①优化数据质量,发掘数据资产价值。大数据时代的数据具有5V特征(数据体量大(Volume)、数据类型多(Variety)、处理速度快(Velocity)、价值密度低(Value)准确性(Veracity))。数据治理能够压缩数据体量、提高价值密度,促进数据资产价值最大化。
②保障数据安全,确保国家社会稳定
③建立数据规则,维护数据主体权利。数据治理能够工业大数据、商业数据和公共数据流动保驾护航。
④降低边际成本,提高数据流通效率。日前数据掌握在诸多不同的主体中,各个主体之间信息不流通,数据无法真正得到重复利用,信息孤岛效应明显,数据治理能够有效改善这种状况。
(3)我国形成了相对完整的数据产业体系,并融合于各个领域形成新生业态,使得越来越多的产业领域需要实行数据治理策略。我国大数据产业体系主要包括核心产业、关联产业及融合产业,分别为数据治理提供了基础条件及体现了其实际应用,其中互联网、工业、金融、交通等领域发展态势较好。目前,我国格外重视大数据产业的发展,加大投资规模和研发投入,投资规模超过8000亿元[4]。
参考资料:
[1]侯睿.上市公司财务画像系统的数据治理研究——基于中航电子的实践[D].郑州航空工业管理学院,2021.
[2]杜昊锋.数字化转型下宁夏N城商行数据治理研究
[3]郑岩.城商行:强化数据质量管理提升信息科技价值[J].金融电子化,2014(05):5-6.