数据中台即服务——数据中台的四大支柱 作者丨石秀峰 全文共4416个字,建议阅读10分钟 中台概念,2015年诞生,2019年爆火,在最火的时候被很多人当成了... 

中台概念,2015年诞生,2019年爆火,在最火的时候被很多人当成了“无所不能”的“万能药”,只要是IT的问题,就一个药方——上“中台”!于是乎,很多企业都争先恐后,纷纷走上了上中台的路。

—01—

我们在谈「数据中台」的时候,

到底在谈论什么?

有人认为:数据中台是一个方法论,用来指导企业实现“业务数据化、数据业务化”;

有人认为:数据中台是一个管理和使用数据的思维模式,核心是数据资产的沉淀;

有人认为:数据中台是大数据平台的延伸,是大数据的下一站;

有人认为:数据中台是对内进行数据共享,对外提供数据开放的数据服务平台;

也有的人将数据中台当做一个产品,常常拿它与数据仓库进行功能比较。

以上对于说法各有各的道理,可以说都正确,只是在不同的场景下的不同理解而已。当我们设计和构建数据中台时,我们致力于提供其他团队开发项目所需的能力和工具。但是,要想让数据中台真正发挥价值,单纯理念、产品、技术或方法论某一个方面去理解和定义它,是不行的。

现在看来,说数据中台是一个解决方案没问题,但太过笼统,笔者试着对这个定义做一个细化和优化。笔者认为:数据中台更像是一个数据产品或数据服务的数据能力工厂,它由“产品导向、数据服务、敏捷团队、赋能中心”四大支柱支撑,提供数据资产加工,数据分析和应用,数据服务输出等能力——数据中台即服务。

图:谈数据原创

产品导向:这是提供给用户的数据平台、所有特性和功能,是工具和技术层面的内容,负责管理、加工、处理、运营数据。敏捷团队:这是最重要的、确保数据中台成功最大的支柱,是实现新的数据运营模式——DataOps的关键。数据服务:这是数据中台的灵魂,通过数据中台让用户在不付出大量努力和成本的情况下实现的结果,为用户提供价值。培训赋能:这是让数据用起来的重要手段,它也是一项服务可以独立突显价值。

—02—

数据中台支柱一:产品导向

数据中台是在数据仓库、大数据平台基础之上发展起来的,都想“去其糟粕取其精华”形成一个理想的数据中台架构。但“理想很丰满,现实很骨干”,在不同公司中,存在不同的现状和需求,没有一个数据中台可以匹配所有的业务需求。

从产品侧看,数据中台应包含的能力和特性有:数据资产化、数据目录、数据质量、DataOps、数据服务、系统监控等。在企业环境中,提供这些特性的唯一方法是:产品导向。即,以用户为中心,采用敏捷方法,通过MVP——最小可行的产品,定期获得用户反馈,快速迭代,持续改进,构建和沉淀数据服务能力。

我们提供了基于产品导向的数据中台架构设计的9个最佳实践,供参考:

1、倾听用户(含潜在用户)的声音并尝试了解他们的需求及用户体验。

2、定义数据中台的定位和长期目标,数据中台一定不是一个通用的工具,每个企业的数据中台都应该有自己的“使命”。

3、全面的数据中台架构设计,定义哪些是常用功能,哪些是重要功能,定义尽量简化的业务场景,方便客户实现目标。

5、循序敏捷开发,不断优化改进。

6、清晰的产品路标设计,让老板和关键用户能够看到你现在在哪儿,要到哪去,以及定期获得用户的反馈。

7、数据中台的规划设计,MVP的开发都要一开始就致力于为用户提供价值,同时获取用户的反馈。用户需求不是一成不变的,数据中台必须不断变化,变化是数据中台生命周期的一部分。

8、数据中台技术路线最好选择云原生架构,微服务、DevOps、容器云等将使得数据产品的开发变得敏捷。

9、最后也是最重要的是要记住:数据平台也好,数据中台也罢,拥有最好的架构并不重要,再好的产品如果没有人使用它或者晚了两年用,那样就失去意义了。

—03—

数据中台支柱二:数据服务

在笔者看来,数据中台最重要的不是中台而是数据,但“纯粹”的源数据严格来说还也不是数据中台的一部分,需要将其加工、处理、标准化形成数据服务和数据产品。数据即服务——这是数据中台的灵魂。从这个角度讲,数据服务是数据中台的核心,并直接为用户提供价值。

数据中台提供的能力包括:数据资产管理,公共数据服务,垂直数据服务,数据服务开放共享,数据运营,中台管理等。数据中台即服务,每一项中台的能力都是为服务用户而生!

1、公共数据服务

数据整合化,以范式化的主题模型整合异构数据源数据,形成一数一源(OneData);数据服务化,屏蔽上游数据结构变化对下游的影响;数据标准化,统一业务和技术对数据的理解和认知。

2、垂直数据服务

整合内外部数据源,提供单线条垂直数据服务能力;提供贴源的数据存储和服务,基于批处理或流媒体创建和自动化数据可靠管道。

3、数据萃取服务标

统一ID,提供跨系统、跨设备、统一的数据标识(OneID);统一标签体系,支持加工和提炼数据标签;统一指标体系,支持加工和存储并提供统一指标数据;一般不建议将复杂的加工萃取数据方式放在数据中台,如计算引擎,那是数据平台该干的活儿。

4、数据开放共享服务

提供多样的数据服务方式,将数据中台的数据提供给数据应用方使用;提供定制化模板服务,数据以约定的格式或复杂加工后,提供数据应用方使用。

5、数据资产管理

提供统一的数据资产地图,数据目录和自助数据服务能力;提供数据治理能力,统一数据标准和用数规范。

6、数据中台运营

支持数据资产日常运营,提升数据资产价值;提升需求响应效率,加速应用研发迭代效率。

7、数据中台管理

提供数据管理、项目管理、开发管理、运营管理等支撑能力,为数据中台的持续化数据服务保驾护航。

—04—

数据中台支柱三:敏捷团队

如今市场需求千变万化,“及时性”比以往任何时候都更加重要,数据中台需要将合适的数据及时送达用户,要做到这一点实际上并不容易。

我们知道,中台是一种“中心化”的组织模式,“中心化”意味着极强的管控能力,标准化能力、统一调度和复用能力。但“中心化”也有个很大缺点:这个“中心”一旦建的过大,就会陷入瓶颈,公司所有部门集中向一个团队提交用数需求,更多的任务将超出数据中台团队的能力范围,从而让“数据中台”变得臃肿而效率低下。

数据中台需要更加自动化的平台能力和更加敏捷的团队,以用户需求为中心,以协同协作的方式,支持业务与技术的团队融合(混合团队),鼓励团队协作和知识共享。对传统企业而言,建立敏捷的协作团队并不容易,一开始需要很多努力,但从长远来看对企业会有很大帮助!

数据中台敏捷团队的角色构成:

产品经理:负责定义业务目标,维护和执行数据愿景、战略等。

解决方案架构师:负责定义的需求和要求一致的整体技术蓝图。

数据工程师:数据中台的核心技术团队,负责构建整个数据“供应链”,了解Hadoop、Spark、Kafka等技术体系架构,创建数据模型,实现数据采集、流转和存储,为数据集成提供支持。

数据治理团队:负责数据质量和安全的处理和预防,确保业务目标的完成。有时候,也会将数据治理团队作为DataOps的一个分支。

BI团队、数据科学家团队是实现“DataOps”关键组成,负责数据的探索、挖掘、分析以及数据的可视化。为业务问题提供支持,帮助理解业务问题、梳理数据结构、优化数据质量等。

业务用户:提供用数需求是数据中台服务的最终用户。业务用户基于数据中台的自助服务能力,进行数据的探查、探索,以及自助式数据分析。

—05—

数据中台支柱四:培训赋能

在传统企业,数据中台对于大部分人员来说还是个新事物,要让各部门、各团队习惯使用数据中台,其实是个并不容易的事情。除了有了新的技术要求,更重要的是数据中台有一套新的流程和方法。有效的沟通和培训十分重要,有利于提高数据中台的使用率。

在数字化转型的大背景下,培训赋能是一个被广泛提及的话题,即,通过培训的方式赋予人或团队的某些能力,主要包括:技术赋能、数据赋能、工具赋能等。

培训是赋能的一个重要手段,但在实际的操作过程,往往也存在一些问题,导致培训赋能的效果并不理想,例如:

参与培训的学员,往往将培训当成为一个临时的任务,他们中的一部分还有很多工作,所以他们并没有完全专注于培训的课程。

一部分学员在培训过程中,经常受到其他事项的干扰,导致没有完成完整的课程。

即使部分学员完成了完整的课程,可一旦正式使用还是不会用。

那么,这些培训是不必要的吗?当然不是,但您可能需要调整一下培训的方法和内容。实战例子、参考代码、练习,全程的支持,将传统“授课式”培训转变为“实战式”培训,并及时获得反馈。

让业务用户真正参与到数据团队中来,参与意味着帮助设计、开发和数据中台运营。这种方法能够业务团队能够巩固专业的数据中台知识,并让自己也成为知识的生成者。数据中台团队也会受益,因为他们更加能够切身了解业务用户的实际需求。

写在最后的话

黑色箭头表示典型的数据管道,源数据通过管道逐步移动到三个阶段(数据采集,数据工程和数据分析)。这些管道代表了一个数据供应链,这个数据供应链可以处理,优化和丰富数据,以供各种业务用户和应用程序使用。一个管道可能会填充财务使用的OLAP多维数据集;另一个可能将集成的客户数据传递到实时Web应用程序;另一个可能会为建立活动响应模型的数据科学家创建一个细分的原始数据池。

THE END
1.数据中台有哪些层帆软数字化转型知识库数据中台通常包括数据接入层、数据存储层、数据处理层、数据服务层、数据治理层、数据应用层等。数据接入层负责将各种数据源的数据接入中台,数据存储层则存储和管理这些数据,数据处理层对数据进行清洗、转换和加工,数据服务层提供数据查询和分析接口,数据治理层负责数据的质量和安全管理,数据应用层将数据应用于具体业务场景https://www.fanruan.com/blog/article/659389/
2.数据中台到底包括什么内容一文详解架构设计与组成01数据中台功能架构 数据中台建设是一个宏大的工程,涉及整体规划、组织搭建、中台落地与运营等方方面面的工作,本节重点从物理形态上讲述企业的数据中台应该如何搭建。一般来讲,企业的数据中台在物理形态上分为三个大层:工具平台层、数据资产层和数据应用层(见图4-2)。▲图4-2数据中台功能架构 1.工具平台层 工具https://baijiahao.baidu.com/s?id=1683679836117359447&wfr=spider&for=pc
3.大数据学习笔记1:数仓数据湖数据中台狗哥的专栏大数据数据仓库数据湖数据中台 赞6收藏5 分享 阅读8.2k更新于2021-06-18 泊浮目 4.9k声望1.3k粉丝 ? 上一篇 大数据学习笔记0:大数据基本框架 下一篇 ? 大数据学习笔记2:现代数据湖之Iceberg 引用和评论https://segmentfault.com/a/1190000039970684/
4.马蜂窝大数据架构详解:小白都能懂的数据仓库与数据中台马蜂窝数据仓库遵循标准的三层架构,对数据分层的定位主要采取维度模型设计,不会对数据进行抽象打散处理,更多注重业务过程数据整合。现有数仓主要以离线为主,整体架构如下: 如图所示,共分为 3 层:业务数据层、公共数据层与应用数据层,每层定位、目标以及建设原则各不相同。 https://www.51cto.com/article/607919.html
5.数据中台管理系统数据中台 了解更多 立即咨询 星环数据中台解决方案聚合跨域数据,对数据进行清洗、转换、整合,实现数据标准化、集成化、标签化,沉淀共性数据服务能力,以快速响应业务需求,支撑数据融通共享、分析挖掘和数据运营,创造业务价值。 数据中台管理系统更多内容 行业资讯 https://www.transwarp.cn/keyword-detail/9432-37
6.数据中台到底是什么?说来也奇怪,网上很难找到数据中台的更科学解释,能找到的大多也不够清晰,与大数据平台有千丝万缕的关系,笔者最近正好在思考这个问题,特此分享于你,当然仁者见仁,智者见智了。 所谓数据中台,即实现数据的分层与水平解耦,沉淀公共的数据能力,笔者认为可分为三层,数据模型、数据服务与数据开发,通过数据建模实现跨域数据整https://www.jianshu.com/p/f8a7c33709b3
7.百度爱番番实时CDP建设实践随着营销3.0时代的到来,以爱番番私域产品来说,主要是借助强大的CDP为企业提供线上、线下数据的打通管理的同时,企业可以使用精细化的客户分群,进行多场景的增育活动(比如自动化营销的手段,节假日促销通知,生日祝福短信,直播活动等等)。更重要的是,企业可以基于纯实时的用户行为进行更加个性、准确、及时的二次实时营销,https://www.imooc.com/article/323371
8.数仓到底要分多少层?彭文华特意放上实时数仓的架构图,就是想说明一下无论是实时数仓还是离线数仓,架构都是一样的,该分几层分几层。只不过实时数仓用的是Kafka等MQ作为实时存储介质。 搜狐5层数据仓库架构: 来源于搜狐公开PPT 这是搜狐的5层数据仓库架构。之所以放搜狐的案例,是因为这里有一个STG层。这边把ODS细分为STG和ODS。STG是数据缓https://www.niaogebiji.com/article-71735-1.html
9.企业级大数据中台架构实战3为了面向业务服务服务建模,为了整合资源,为了让数据复用,为了让数据的价值得到更好的分析挖掘,为了,我们设计了下面大数据中台分层架构。 大数据中台总体分层架构耦合性比较低,分为PAAS(platform as a service)层、 DAAS (data as a service)层、DA(data application)层共三层架构。 数据https://blog.itpub.net/69925873/viewspace-2889139/
10.收藏!数据建模最全知识体系解读在业务系统中,通常面对业务库的随机读写,目前主要是采用三范式(3NF)模型存储数据。 而在数据仓库的建模过程中,由于主要是数据的批量读取操作,但是事物并不是我们所关心的,主要是关注数据的整合以及查询处理性能,因此会采用其他的建模方法,以Kimball维度建模最为经典。 六、Kimball和Inmon架构 6.1 Inmon架构 辐射状企业https://zhuanlan.zhihu.com/p/300643260
11.超全面的数据可视化设计指南:风格篇优设网总结了商业项目中遇到的一些可视化案例以及科幻可视化风格,大体的将其分为三个大类:传统风格、HUD 风格、FUI 风格。 传统酷炫风格 传统狭义上的数据可视化, 更多是纯图形去代表数据,通过图形去展示数据,直观的展示所需要表现的指标。数据可视化也有很多分类, 不过也许你也懒得了解了。 https://www.uisdc.com/visual-design-style
12.王伟:“城市大脑”让城市更智慧新华访谈合肥的“城市大脑”三层架构比较明确,所有的基础设施由第一层政务云提供,第二层是数据共享交换、能力提供层,第三层应用层,鼓励所有委办局百花齐放,建设各种应用。“城市大脑”目前运行情况良好,支持了合肥市营商环境的改善、政务服务的改善,城市中台目前已经建设了1627个应用能力,为全市各个委办局的便民系统http://www.ah.xinhuanet.com/fangtan/sjww.htm
13.中台再「升温」,下一站是哪?2、云徙是双中台(业务中台与数据中台)模式,更偏重行业解决方案。 3、数澜偏重解决方案,近年来又与金蝶合作密切,金蝶认为企业数字化正在从ERP(企业资源系统)向以数据中台为核心的EBC(企业业务能力)转型,因此双方的合作是在向未来发出邀请。 4、奇点云发力零售等领域,其数据中台更偏重零售的行业产品。 https://36kr.com/p/1416543565485698
14.数据中台建设五步法系统都是为应用而生的,数据中台也不例外。要构建一套数据中台服务于企业内部和外部运营,需要有成熟的建设方法论作为指导。数据中台建设方法论可分为高阶规划、系统设计、开发实施、试运行和持续运营 5 个阶段。 1、高阶规划 数据中台规划阶段可细分为业务架构师主导的业务规划和数据架构师主导的数据规划。由业务规划https://www.esensoft.com/industry-news/dx-29423.html
15.数据中台演进的四个阶段奇点云 CEO 张金银是阿里巴巴第一个数据仓库的创建者,他认为数据中台的意义在于降本增效。最近,他基于阿里巴巴的数据处理过程分享了数据中台演进的四个阶段,以下为重点内容。 阿里巴巴的数据处理经历了四个阶段,分别是: 数据库阶段,主要是 OLTP(联机事务处理)的需求; https://time.geekbang.org/column/article/119907
16.5分钟看懂数据中台的典型架构数据中台架构数据转换工具也是关键组成部分之一,负责将数据从一种格式转变为另一种格式,以便后续的处理和分析。常见的数据转换工具有ApacheNifi、Talend 等。这些工具通常具备高效的处理性能和灵活的转换规则,能够应对复杂的数据转换需求。 四、数据服务层 数据服务层在数据中台当中占据重要地位,主要负责以 API、数据接口等方式将处理https://blog.csdn.net/oOBubbleX/article/details/142819951