企业为什么要做数据治理,该怎么做?

自党的十八届五中全会提出“实施国家大数据战略”后,国家层面先后发布多项政策文件,以大数据赋能经济转型升级和政府治理能力提升,助力数字中国建设。经历多年发展,大数据应用场景不断深入,在很多方面取得了重要的作用。

中共中央、国务院相继发布《关于构建更加完善的要素市场化配置体制机制的意见》、《关于新时代加快完善社会主义市场经济体制的意见》,将“数据”与土地、劳动力、资本、技术并列为第五种生产要素,并提出“加快培育数据要素市场”。2020年,国务院首次明确了将数据中心作为“新基建”的七大重点领域之一。这一些列的政策指引,将数据提升到了前所未有的战略高度,全社会对数据的重视程度也不断提升。

数据作为推动经济社会发展及数字化转型的新动能已成为社会共识,数据治理作为基础性工作,受到越来越多企事业单位的重视,如何做好数据治理工作,成为企业数字化转型的新挑战。数据治理是一个需要长期投入的工作,涉及业务和技术等方方面面,影响范围及复杂度高,治理效率尤为重要,需要一套完善的体系和方法论支撑。

1.2数据治理

目前大家在讨论数据治理的概念时,主要存在两种趋势。一种是偏数据管理的狭义数据治理,侧重于数据资产管控体系;另一种是偏数据工厂的广义数据治理,对狭义数据治理的概念进行了延伸,侧重于技术支撑平台的研究。

另外,相对于数据治理,还存在大数据治理的概念。大数据治理相比与数据治理,在治理对象、数据处理架构、治理组织职能、数据管理措施、数据应用范围等方面呈现多层次、多形式、大范围等特点。

数据治理的最终目标是提升数据的价值,是组织推动战略落实的基础,它由管理体系和技术体系共同组成,包括组织、制度、流程及技术以及支撑工具等。

1.3数据治理工具

数据治理工具指为数据治理项目而开发,以满足数据治理规划、设计、实施、常态化运营工作的一系列应用程序系统集成和其他技术。数据治理工具根据数据治理需求及其技术架构,可以包含一个或多个程序系统或技术,每个程序系统或技术都有其独立的试用场景和价值。

数据治理工具体现在以下三点:

1.4数据治理整体应用情况

1.5重点行业应用

数据治理应用主要在以下这些行业应用广泛,且取得了很好的应用效果:

金融行业、政务行业、电力行业、交通行业、医疗行业、互联网行业等。当然,其他行业也有在数据治理方面取得不错成绩的企业,在此,不再一一列举。

——2数据治理工具图谱——

2.1数据治理工具全景图

(一)治理战略层

为提供数据治理战略规划、评估、指导、监控的工具或功能。主要包括五大过程域:

1.组织与职责:对数据治理组织及其职责进行规划、管理的工具或功能。

3.团队与文化:提供数据治理文化发布、查询、学习培训等工具或功能。

4.计划与监控:提供数据治理项目管理及监控的工具或功能。

5.成效与评估:对数据治理成效提供评估依据及评估行为的工具或功能。

受企业的业务架构和技术架构的影响,治理战略的工具形态会有差异。但无论哪种形态或工具,满足过程域能力要求即可。

(二)数据管理层

为落实数据治理战略而进行的数据管理活动的工具或功能。主要包括八大过程域:

3.数据标准管理:提供统一的指标数据技术标准、业务标准、管理标准的视图,具备基本的增删改查及废止功能,可进行标准符合性检测。

4.主数据管理:提供对企业主数据、参考数据统一管理,支持主数据模型定义、数据约束及分发策略的管理。

5.数据质量管理:支持对数据质量建立质量规则,支持数据治理评估,并生成质量报告,提供治理整改机制。

6.数据资产管理:提供企业以资产价值视角的数据管理能力,包括资产索引、资产开发、资产服务等功能。

7.数据安全管理:提供企业以资产价值视角的数据管理功能,包括资产索引、资产开发、资产服务等功能。

8.数据生命周期管理:对数据进行生命周期管理,定期监督和检查数据归档和销毁策略执行情况。

(三)数据操作层

为基于治理战略目标要求,以满足数据管理需要,对数据进行操作的工具或功能,主要有以下六大过程域:

1.数据存储工具:基于数据治理战略及数据架构、数据标准、元数据、质量等管理要求,对数据进行存储。包括分布式存储、传统关系型存储、文件存储及图数据存储。

3.数据处理工具:基于数据质量、标准、数据架构等要求,对数据进行加工、转换、清洗、集中等工作。

4.数据共享交换工具:基于业务之间的数据共享需求,对不同异构数据执行交换或服务。包括文件、库表、接口、实时流等。

5.AI计算支撑工具:将人工智能技术运用到数据采集、处理、共享、评估、质量活动中。

6.数据分析应用工具:通过数据可视化、报表等工具完成数据治理的报告、诊断分析、监控图表等的开发制作。

2.2战略层工具

(一)组织与保障工具能力图谱

数据治理是一项全组织性的工作,有效的组织架构是数据治理成功的有力保证,为达到数据战略目标,建立体系化组织架构、明确职责的分工是非常必要的。

(二)体系与制度工具能力图谱

(三)团队与文化工具能力图谱

数据治理要下成功,离不开团队的积极配合,离不开团队对于数据治理的认知和认可。通常来讲,数据治理团队与文化建设分为团队建设、文化建设和反馈机制。

(四)计划与监控工具能力图谱

数据治理是一项长期的工作,对数据治理过程进行计划监控是很有必要的。数据治理计划监控分为目标计划管理、实施监控管理以及指导和改进。

(五)成效与评估工具能力图谱

数据治理成效评估是数据治理工作的必须环节,可以有效的发现数据治理过程中不足的地方,及时调整方向与策略,有利于总结经验和教训,为后续工作提供参考。

2.2管理层工具

(一)数据架构管理工具能力图谱

数据架构是企业架构的组成部分,用于定义数据需求、整合和控制,以获得数据资产蓝图,是匹配企业战略、企业业务架构的一套数据视角下的企业业务实体及其重要特征的术语规范集合。

(二)元数据管理工具能力图谱

元数据管理通过对元数据自动化的采集、探查、帮助企业绘制数据地图、标明数据方位、分析数据关系、管理模型变更,从而有效的发掘和利用信息资产的价值,辅助实现精准高效的分析和决策,推动实现企业级元数据管理能力。

(三)数据标准管理工具能力图谱

数据标准管理是依托标准体系管理进行顶层设计,提供基础标准管理、指标标准管理、代码集管理以及编码规则的数据标准能力,为组织提供数据标准应用和数据标准API等应用服务。

(四)主数据管理工具能力图谱

主数据管理工具用来定义、管理和共享组织的主数据信息,保证主数据在各个信息系统间的准确性、一致性、完整性。

(五)数据质量管理工具能力图谱

数据质量管理工具主要提供对不符合规则的数据进行探查、发现、修复、报告的闭环管理,实现组织数据质量管理体系线上全流程闭环,持续不断提升数据质量,满足业务需求,辅助业务决策。

(六)数据资产管理工具能力图谱

数据资产管理包括数据资产的目录管理、生命周期管理、价值管理、接口管理、知识管理和安全管理。

(七)数据安全管理工具能力图谱

数据安全规范管理是针对数据安全管理、技术流程进行规范化的管理部分。

(八)数据生命周期管理工具能力图谱

数据生命周期管理工具可以协助数据管理组织和人员,在数据从产生、应用、归档到销毁的整个生命周期全过程进行有效的自动化管理,针对不同生命周期阶段的数据建立多层次的数据自动存储体系,既有效管控系统整体在线数据规模,降低系统运营成本,又满足最终用户的数据访问和应用的需求。

2.3操作层工具

(一)数据存储工具能力图谱

数据存储工具主要用于业务产生的海量数据的存储以及管理,大规模、多元化数据管理提供数据融合存储于实时计算的功能,帮助用户打通不同业务类型、不同数据类型之间的技术壁垒,实现处理分析一体化、多模数据一体化,降低数据流动带来的开发成本及技术存储开销,为上层数据分析提供数据查询访问接口。

(二)数据采集工具能力图谱

数据采集工具负责各类数据源之间的数据同步,比如将各种业务关系型数据库的全量、增量地导入到数据仓库系统,给后续的数据处理流程提供数据基础。

(三)数据处理工具能力图谱

数据处理将分散建设的若干业务系统进行整合,以实现若干个业务子系统之间数据或文件的传输和共享,提高信息资源的利用率,保证了分布在异构系统之间的信息互联互通,完成数据的采集、集中处理、分发、加载、传输,构造统一的数据及文件的传输交换,用于全面支撑数据服务平台、数据中心、数据中台、数据湖、数据中心建设。

(四)数据共享交换工具能力图谱

数据共享交换工具面向数据交换全生命周期管理,提供多类型的资源共享通道,打通各交换节点的数据壁垒,保证各个交换节点业务系统之间互联互通,实现跨部门、跨层级、跨地域的信息资源交换共享。

(五)AI计算支撑工具能力图谱

AI计算工具是针对自然语言处理、文字识别、语音识别、人脸识别、智能视觉和对话机器人等AI场景,提供数据标准、模型训练、模型管理和模型服务能力的计算平台。通过多种模型体系可快速赋能社会治理、制造制造、决策智能、管理效率优化、视觉解析与分析等各种智能场景。

(六)数据分析应用工具能力图谱

数据分析工具是数据产生价值的首要方式,主要完成数据的价值呈现,围绕业务人员,通过提供自助式的数据访问、探索、展现工具,快速搭建报表、报告、大屏、管理驾驶舱等数据分析应用。通过敏捷化自助式数据分析工具,可大幅降低数据分析门槛,让普通业务人员也能够完成数据分析;无门槛的数据分析,支撑有关机构和组织由经验驱动决策向数据驱动决策转型。

本文参考:中国电子技术标准化研究所《数据治理研究报告》

推荐阅读

数据治理角度如何对数据资产进行分类?

一、前言想要做好数据治理,数据分类是必不可少的一步,因为不同分类的数据,其治理方法有很大差异。找了10多本数据治理的书,发现只有《华为数据之道》和《工业企…

4,132

企业为什么要上云?

今年,工业和信息化部印发《推动企业上云实施指南(2018-2020年)》,全面部署推进企业上云的指导意见和保障措施。提出到2020年行业企业上云意识和积极性明显…

1,534

企业债券筹资怎么做?

发行债券方式筹资的,应当合理选择债券种类,对还本付息进行系统统筹安排

THE END
1.数据治理工作如何精准高效趋利避害?在追求数据治理卓越的路上,我们不仅要关注机制的建设,更要激发每一位员工的潜能。鼓励员工学习考取DAMA-CDGA/CDGP数据管理知识体系证书,就是为他们提供了一把开启数据治理智慧之门的钥匙。通过系统的学习与实践,员工们能够不断提升自己的专业素养,为数据治理工作注入https://mp.weixin.qq.com/s?__biz=MzA4NDA0MDkyOA==&mid=2650893321&idx=1&sn=4ec20c941076608047a46494f447f37a&chksm=8532632dcd888043e315658688bcd2b494a015815365158e0a7e24f8231c8fa351513c2bd2c2&scene=27
2.数据治理的8种方法建立有效的数据治理架构是实现数据治理目标的前提。企业需要构建清晰的数据治理组织结构,明确各层级的职责和权限。例如,设立数据治理委员会、数据管理团队及数据管理员等角色,确保数据治理策略和流程能够高效地执行。还需制定详细的数据治理政策和流程,以指导日常的数据管理工作。 https://www.fanruan.com/bw/doc/179021
3.数据治理数据治理是指从使用零散数据变为使用统一主数据、从具有很少或没有组织和流程治理到企业范围内的综合数据治理、从尝试处理主数据混乱状况到主数据井井有条的一个过程。数据治理是一种数据管理概念,涉及使组织能够确保在数据的整个生命周期中存在高数据质量的能力。一个数据管家是确保数据治理流程遵循,指导执行,并建议改https://baike.sogou.com/v71808167.htm
4.数据治理是什么?企业应如何进行数据治理工作的开展?数据治理就是指在一定的组织范围内,依托制度法规、标准规范、应用实践和支撑技术对数据进行全生命周期的https://www.zhihu.com/question/526956747/answer/56731188614
5.数据治理招聘招聘数据治理人才猎聘数据治理招聘网为您提供大量的数据治理招聘信息,有超过10000多数据治理招聘信息任你选寻,招聘数据治理人才就来猎聘数据治理招聘网!https://www.liepin.com/career/shujuzhili/
6.数据治理人人都是产品经理数据治理:一个聚餐故事讲明白 “数据治理迷雾重重,聚餐故事巧解其中。” 数据治理概念抽象,难以落地,让人摸不着头脑。如何将其清晰阐释?本文将以一场聚餐为喻,深入浅出地剖析数据治理的流程与要点,让你轻松领悟。 风姑娘的数字视角 数据治理数据资产权限管理 https://www.woshipm.com/tag/%E6%95%B0%E6%8D%AE%E6%B2%BB%E7%90%86
7.数据治理(豆瓣)《数据治理——理论、方法与实践》关注以数据为关键要素的数字经济时代背景下的数据治理问题,分为 8 章。第 1 、2 章以数据治 理基础概念作为铺垫,重点对数据、数据治理以及数据治理体系所涵盖的内容进行全面梳理,明晰数据治理的现状、趋势,并进行国内外数据治理理念与体系的比较;第3~ 7章是数据治理核心问题探讨https://book.douban.com/subject/36811154/
8.数据治理入门干货:是什么,如何做澎湃号·湃客澎湃新闻在大数据时代,企业积累的数据量不断增长,如何有效地管理和利用这些数据成为了企业成功的关键。数据治理(Data Governance)是确保数据的可用性、完整性、安全性和一致性的一系列管理流程和方法。它不仅涵盖了数据的管理,还涉及到数据的战略规划、政策制定、责任分配和数据生命周期管理。 https://www.thepaper.cn/newsDetail_forward_29177343
9.数据治理实践第十五期:“管”“用”结合的数据才管用德勤据中共中央国务院2020年3月30日《关于构建更加完善的要素市场和配置体制机制的意见》中第二十二条提及“加强数据资源整合和安全保护,探索建立统一规范的数据管理制度,提高数据质量和规范性,丰富数据产品”,将数据治理与应用的提到了新的政策高度。 回顾上期文章,我们介绍了如何通过“以用促治,以治促建https://www2.deloitte.com/cn/zh/pages/financial-services/articles/data-only-works-when-manage-and-use-combined.html
10.数据治理数据治理8种方法数据治理今天给大家推荐的是数据治理套路8法,个人觉得这8种方法中监管驱动法和利益驱动法是最常见的,也是一直在治,但只能局部治理的方法,未来是数字时代,必须体系构建(顶层设计)+价值驱动(利益驱动法)+技术支撑(技术推动法)+如果再有监管强制治理,就更完美了。 https://download.csdn.net/blog/column/11650811/123924221
11.什么是数据治理?数据治理到底治什么?(数据治理哪些方面?)定义:数据治理是指一套用于确保数据质量、安全性、合规性和有效利用的管理机制、流程和标准。它涉及数据的全生命周期管理,从数据的产生、收集、存储、处理、分析、应用到最终的销毁或归档,通过制定并执行一系列政策、流程、标准和角色职责,确保数据成为组织可信赖的资产。 https://www.hypers.com/content/archives/5299
12.数据治理的10个基本特征数据谱系:数据谱系是跟踪数据从其源头到其目的地的移动的能力。数据治理平台应具有数据谱系功能,允许用户了解数据的来源、如何转换以及它去哪里。 数据质量管理:数据质量对于有效的数据管理至关重要。数据治理平台应具有数据质量管理功能,允许用户衡量、监测和改进其数据质量。 https://www.ppmis.cn/a/zhishi/yingxiaotuiguang/189.html
13.数据治理“三字经”,伴君摘得“满天星”随着我国数字经济的蓬勃发展,大数据已经成为推动社会发展和企业竞争的重要资源,数据要素也被提升到了前所未有的高度。然而,面对海量的数据资源,如何高效管理和有效利用,成为众多企业亟待解决的一道难题。 数据治理“三字经”概要 数据治理“三字经”解读 《数据治理“三字经”》这首短诗虽然精炼,但却包含了大量的信息,每一https://nic.hnuu.edu.cn/10043/2023/0029384.html
14.什么是数据治理?一文介绍数据治理的意义,内容和框架数据治理是指通过合理的组织、管理和控制,确保数据的准确性、可靠性、可用性和一致性的过程。在当今数据驱动的时代,数据治理的意义越来越被人们所重视。数据治理可以帮助组织有效管理大量的数据资源,加强数据的安全性和合规性,提高数据的质量和价值,从而在竞争中取得优势。 https://www.jiandaoyun.com/fe/sjzlsjzldy/