平安人寿数据中台建设实践

近年来,数据中台建设已成为各行各业瞩目的焦点。平安人寿作为寿险行业的先锋,积极探索数据中台的实践之路,为业界提供实践参考。同时,中国信通院作为国家高端专业智库和产业创新发展平台,通过深入行业研究和产业合作,为大数据产业的发展贡献着深刻的洞察和建设性的方案。在2023年大数据产业发展大会——数据中台高质量发展论坛上,平安人寿数据管理团队总经理朱晟发表了题为《平安人寿数据中台建设实践》的主题演讲。

各位信通院的领导、数据专家,大家下午好!我的演讲主题是《平安人寿数据中台建设实践》。

演讲内容主要分为四个部分

第一部分——数据能力:数字化转型的基石

我国2019年把数据作为第五生产要素,人民银行也发布了《金融科技发展规划(2022-2025年)》,对银行和保险业数字化转型提出了明确的要求。平安人寿依此成立了专门的数字化转型项目组,由公司领导挂帅,并制定了平安人寿数字化转型战略——4+3+1战略,1是用数字化驱动产品和渠道转型升级。

实现数字化的核心路径就是通过数据驱动企业,把原有的能力(包括产品创新能力、经营管理能力、客户服务能力、风险控制能力、对外合作能力等)进行一次升级。我们用数据中台来承载数据能力的建设,分为三个部分:数据产品、数据底座、数据治理。

第二部分——数据中台:数据能力建设方案

平安人寿早在2005年已经建立了数据仓库,我们按需进行了数据集中和建立集市,以加快报表生成速度。2016年,面对传统Oracle数据库的性能瓶颈,我们引入了Hadoop平台,并进行了技术升级,实现更高效的数据处理。在2020年逐步引入并迭代数据中台持续至今。

数据治理是业务和数据团队共同的事情,所有的数据战略都需要满足业务战略。

数据治理需要形成事前、事中、事后的管理闭环。事前约束就是把DAMA体系变成实际管理办法,需要制定一系列规章制度确保每次需要使用数据时能够顺利申请,就像生命周期管理,明确哪些数据需要永久保存以及保存的时长,会有一系列生命周期管理确保事前约束达成一致。事中约束,我们分三步进行,数据分析师梳理并记录业务指标、业务目标,数据设计环节对指标需求进一步拆分成为原子指标或者派生指标需求并定义数据模型,数据开发环节将逻辑模型变成物理模型,可保证口径的一致性和数据的准确性。事后监督是为了解决20%无法事前事中管控的情况,按月进行质量监控,一般低于85分,数据治理就会督促改进。

数据底座采用三横六纵数据架构,横向分为ODS、CDM、ADS层,纵向分域,分为代理人的域、客户的域、投资的域、财务的域、产品的域。

ODS通过低代码平台配置实现数据处理。多数情况下采用T+1更新策略,选择源数据库和表,设定更新频率,即可一键发布。数据以结构化数据为主,由200个数据库支持,以确保数据一致性和系统稳定。

CDM即公共模型层,尽量固化稳定,主要分为两个部分:公共维度层就是公司统一维度,或者DWS和DWD。我们会有一致性的总线矩阵,因为该层审核非常严,除了有数据架构师,还有数据治理专员专门审核,以确保这一层不重复且稳固合理。

在ADS指标体系中,我们依据业务需求,以指标为例,梳理业务过程,包括确定要素、抽象属性定义和派生指标。通过一系列体制确保指标尽可能精简共用,派生指标更加灵活。

我们搭建了北斗产品矩阵,覆盖数据开发、数据应用、数据管理三个场景,并向用户提供一站式数据门户,输出中台能力。

数据开发场景:DataOps平台基于“设计即开发”的理念,研发覆盖数据接入、维度模型/指标/标签设计、数据服务设计全链路的数据开发工具。其中数据服务平台类似于OneService,解决原来数据仓库

数据应用:MIS平台,自主可控的敏捷型BI应用,替换并超越Oracle+IBMCognos。采用Hadoop平台替代Oracle,引入开源druid替代Cube功能,自主开发前端替代Cognos。在并发性能方面取得显著提升,报表打开速度大幅缩短,整个平台也获得了金信通最佳案例奖项。

数据管理:资产管理平台,统一管理元数据资产。资产管理平台可以直观地看到数据全景。业务和数据分析人员能够迅速定位指标和标签的定义,下一步计划实现类似聊天一样的搜索体验,无需选择检索模式。

第三部分——价值输出:业务场景应用

我们在产品创新、客户服务和经营管理方面包括四个主要案例。产品创新能力将重新定位产品设计,从按公司设计销售转变为根据客户需求设计,实现有温度的保险服务。在经营管理层面,实现了经营管理数字化的转变。

基于海量指标划分了‘三好五星’模式——行为好、质量好、业绩好,划分为五级,强化了经营评价标准和管理过程。

保险的核心服务是理赔,为客户提供抵御风险的能力。现在,我们在数十分钟内就能完成理赔,为客户提供极致的服务体验,力求为客户提供最优质的理赔服务,确保他们在风险发生时得到应有的支持。

第四部分——持续运营:人才&文化的思考

公司于去年启动了数聚菁英荟,鼓励让各方积极参与数据文化的建设和传播。

以上是我们数据中台的建设实践,欢迎大家交流。

中国信息通信研究院(简称“中国信通院”)自2021年起开始搭建数据中台工作体系,核心围绕已经成为企业数据能力引擎的数据中台领域,包括技术产品、供给侧企业服务能力、应用侧企业应用实践过程,从而指导各企业数据中台高质量建设、高效能应用。

中国信通院数据中台工作体系

《数据中台能力成熟度模型》系列标准由中国信通院牵头,工商银行、中国移动、浦发银行、中国联通、平安银行等数十家企业共同编制。基于该系列标准,中国信通院启动数据中台能力成熟度评估,共分为技术工具、架构管理、数据开发、数据服务、数据管理、数据资产运营六大能力域,面向企业数据中台建设应用方开展成熟度评估。2023年下半年,第二批数据中台能力成熟度评估已经启动,欢迎各数据中台应用单位前来咨询。

THE END
1.数据中台有哪些层帆软数字化转型知识库数据中台通常包括数据接入层、数据存储层、数据处理层、数据服务层、数据治理层、数据应用层等。数据接入层负责将各种数据源的数据接入中台,数据存储层则存储和管理这些数据,数据处理层对数据进行清洗、转换和加工,数据服务层提供数据查询和分析接口,数据治理层负责数据的质量和安全管理,数据应用层将数据应用于具体业务场景https://www.fanruan.com/blog/article/659389/
2.数据中台到底包括什么内容一文详解架构设计与组成01数据中台功能架构 数据中台建设是一个宏大的工程,涉及整体规划、组织搭建、中台落地与运营等方方面面的工作,本节重点从物理形态上讲述企业的数据中台应该如何搭建。一般来讲,企业的数据中台在物理形态上分为三个大层:工具平台层、数据资产层和数据应用层(见图4-2)。▲图4-2数据中台功能架构 1.工具平台层 工具https://baijiahao.baidu.com/s?id=1683679836117359447&wfr=spider&for=pc
3.大数据学习笔记1:数仓数据湖数据中台狗哥的专栏大数据数据仓库数据湖数据中台 赞6收藏5 分享 阅读8.2k更新于2021-06-18 泊浮目 4.9k声望1.3k粉丝 ? 上一篇 大数据学习笔记0:大数据基本框架 下一篇 ? 大数据学习笔记2:现代数据湖之Iceberg 引用和评论https://segmentfault.com/a/1190000039970684/
4.马蜂窝大数据架构详解:小白都能懂的数据仓库与数据中台马蜂窝数据仓库遵循标准的三层架构,对数据分层的定位主要采取维度模型设计,不会对数据进行抽象打散处理,更多注重业务过程数据整合。现有数仓主要以离线为主,整体架构如下: 如图所示,共分为 3 层:业务数据层、公共数据层与应用数据层,每层定位、目标以及建设原则各不相同。 https://www.51cto.com/article/607919.html
5.数据中台管理系统数据中台 了解更多 立即咨询 星环数据中台解决方案聚合跨域数据,对数据进行清洗、转换、整合,实现数据标准化、集成化、标签化,沉淀共性数据服务能力,以快速响应业务需求,支撑数据融通共享、分析挖掘和数据运营,创造业务价值。 数据中台管理系统更多内容 行业资讯 https://www.transwarp.cn/keyword-detail/9432-37
6.数据中台到底是什么?说来也奇怪,网上很难找到数据中台的更科学解释,能找到的大多也不够清晰,与大数据平台有千丝万缕的关系,笔者最近正好在思考这个问题,特此分享于你,当然仁者见仁,智者见智了。 所谓数据中台,即实现数据的分层与水平解耦,沉淀公共的数据能力,笔者认为可分为三层,数据模型、数据服务与数据开发,通过数据建模实现跨域数据整https://www.jianshu.com/p/f8a7c33709b3
7.百度爱番番实时CDP建设实践随着营销3.0时代的到来,以爱番番私域产品来说,主要是借助强大的CDP为企业提供线上、线下数据的打通管理的同时,企业可以使用精细化的客户分群,进行多场景的增育活动(比如自动化营销的手段,节假日促销通知,生日祝福短信,直播活动等等)。更重要的是,企业可以基于纯实时的用户行为进行更加个性、准确、及时的二次实时营销,https://www.imooc.com/article/323371
8.数仓到底要分多少层?彭文华特意放上实时数仓的架构图,就是想说明一下无论是实时数仓还是离线数仓,架构都是一样的,该分几层分几层。只不过实时数仓用的是Kafka等MQ作为实时存储介质。 搜狐5层数据仓库架构: 来源于搜狐公开PPT 这是搜狐的5层数据仓库架构。之所以放搜狐的案例,是因为这里有一个STG层。这边把ODS细分为STG和ODS。STG是数据缓https://www.niaogebiji.com/article-71735-1.html
9.企业级大数据中台架构实战3为了面向业务服务服务建模,为了整合资源,为了让数据复用,为了让数据的价值得到更好的分析挖掘,为了,我们设计了下面大数据中台分层架构。 大数据中台总体分层架构耦合性比较低,分为PAAS(platform as a service)层、 DAAS (data as a service)层、DA(data application)层共三层架构。 数据https://blog.itpub.net/69925873/viewspace-2889139/
10.收藏!数据建模最全知识体系解读在业务系统中,通常面对业务库的随机读写,目前主要是采用三范式(3NF)模型存储数据。 而在数据仓库的建模过程中,由于主要是数据的批量读取操作,但是事物并不是我们所关心的,主要是关注数据的整合以及查询处理性能,因此会采用其他的建模方法,以Kimball维度建模最为经典。 六、Kimball和Inmon架构 6.1 Inmon架构 辐射状企业https://zhuanlan.zhihu.com/p/300643260
11.超全面的数据可视化设计指南:风格篇优设网总结了商业项目中遇到的一些可视化案例以及科幻可视化风格,大体的将其分为三个大类:传统风格、HUD 风格、FUI 风格。 传统酷炫风格 传统狭义上的数据可视化, 更多是纯图形去代表数据,通过图形去展示数据,直观的展示所需要表现的指标。数据可视化也有很多分类, 不过也许你也懒得了解了。 https://www.uisdc.com/visual-design-style
12.王伟:“城市大脑”让城市更智慧新华访谈合肥的“城市大脑”三层架构比较明确,所有的基础设施由第一层政务云提供,第二层是数据共享交换、能力提供层,第三层应用层,鼓励所有委办局百花齐放,建设各种应用。“城市大脑”目前运行情况良好,支持了合肥市营商环境的改善、政务服务的改善,城市中台目前已经建设了1627个应用能力,为全市各个委办局的便民系统http://www.ah.xinhuanet.com/fangtan/sjww.htm
13.中台再「升温」,下一站是哪?2、云徙是双中台(业务中台与数据中台)模式,更偏重行业解决方案。 3、数澜偏重解决方案,近年来又与金蝶合作密切,金蝶认为企业数字化正在从ERP(企业资源系统)向以数据中台为核心的EBC(企业业务能力)转型,因此双方的合作是在向未来发出邀请。 4、奇点云发力零售等领域,其数据中台更偏重零售的行业产品。 https://36kr.com/p/1416543565485698
14.数据中台建设五步法系统都是为应用而生的,数据中台也不例外。要构建一套数据中台服务于企业内部和外部运营,需要有成熟的建设方法论作为指导。数据中台建设方法论可分为高阶规划、系统设计、开发实施、试运行和持续运营 5 个阶段。 1、高阶规划 数据中台规划阶段可细分为业务架构师主导的业务规划和数据架构师主导的数据规划。由业务规划https://www.esensoft.com/industry-news/dx-29423.html
15.数据中台演进的四个阶段奇点云 CEO 张金银是阿里巴巴第一个数据仓库的创建者,他认为数据中台的意义在于降本增效。最近,他基于阿里巴巴的数据处理过程分享了数据中台演进的四个阶段,以下为重点内容。 阿里巴巴的数据处理经历了四个阶段,分别是: 数据库阶段,主要是 OLTP(联机事务处理)的需求; https://time.geekbang.org/column/article/119907
16.5分钟看懂数据中台的典型架构数据中台架构数据转换工具也是关键组成部分之一,负责将数据从一种格式转变为另一种格式,以便后续的处理和分析。常见的数据转换工具有ApacheNifi、Talend 等。这些工具通常具备高效的处理性能和灵活的转换规则,能够应对复杂的数据转换需求。 四、数据服务层 数据服务层在数据中台当中占据重要地位,主要负责以 API、数据接口等方式将处理https://blog.csdn.net/oOBubbleX/article/details/142819951