2、台！首先它不是一个平台，也不是一个系统，如果有厂商说他们有个数据中台卖给你，对不起，它是个骗子。要回答数据中台是什么，首先要探讨一下中台到底是什么。虽然没有明确的定义，但是作为理工直男，我们可以先把中台看作是一种中间层。既然是一种中间层，那么中台确实是一种十足技术用语，我们可以完全从技术角度来探讨了。我们可以应用Gartner的PaceLayer来理解为什么要有中间层，这样可以更好地理解中台的定位和价值。PaceLayer里提到，可以按照事物变化的速度来分层，这样可以逐层分析并设计合理的边界与服务。SystemsofDifferentiationSystemsatInn
4、差不多，但因为是别的项目组维护的，所以数据还是要自己再开发一遍。能力问题：数据的处理和维护是一个相对独立的技术，需要相当专业的人来完成，但是很多时候，我们有一大把的应用开发人员，而数据开发人员很少。这三类问题都会导致应用开发团队变慢。这就是中台的关键一一让前台开发团队的开发速度不受后台数据开发的影响。史凯总结说，“数据中台是聚合和治理跨域数据，将数据抽象封装成服务，提供给前台以业务价值的逻辑概念”。如下图所示：前台敏捷开发，战略创新数据中台Thor快速提供服务高性能高安全DataAPI优化数据模型提升数据质量后台散据开发，稳步前进DDataAPI是数据中台的核心，它是连接前台和后台
5、的桥梁，通过API的方式提供数据服务，而不是直接把数据库给前台、让前台开发自行使用数据。至于产生DataAPI的过程，怎么样让DataAPI产生得更快，怎么样让DATAAPI更加清晰，怎么样让DATAAPI的数据质量更好，这些是要围绕数据中台去构建的能力。数据中台和数据仓库、数据平台的关键区别这是现在数据行业大家经常讨论的问题，到底数据仓库、数据平台和数据中台的区别是什么。数据仓库数据平台数据中台eb分析报表即服务数据集即服务数据API即服务数据中台、数据仓库和数据湖没有直接的关系在某个维度上他们为业务产生价值的形式有不同的侧重数据中台距离业务更近，能更快速的晌应业务和应用开发的需
6、求，可追溯，更精准概括地说，三者的关键区别有以下几方面：数据中台是企业级的逻辑概念，体现企业D2V(DatatoValue)的能力，为业务提供服务的主要方式是数据API；数据仓库是一个相对具体的功能概念，是存储和管理一个或多个主题数据的集合，为业务提供服务的方式主要是分析报表；数据平台是在大数据基础上出现的融合了结构化和非结构化数据的数据基础平台，为业务提供服务的方式主要是直接提供数据集；数据中台距离业务更近，为业务提供速度更快的服务；数据仓库是为了支持管理决策分析，而数据中台则是将数据服务化之后提供给业务系统，不仅限于分析型场景，也适用于交易型场景；数据中台可以建立在数据仓库和
7、数据平台之上，是加速企业从数据到业务价值的过程的中间层。数据仓库具有历史性，其中存储的数据大多是结构化数据，这些数据并非企业全量数据，而是根据需求针对性抽取的，因此数据仓库对于业务的价值是各种各样的报表，但这些报表又无法实时产生。数据仓库报表虽然能够提供部分业务价值，但不能直接影响业务。数据平台的出现是为了解决数据仓库不能处理非结构化数据和报表开发周期长的问题，所以先撇开业务需求、把企业所有的数据都抽取出来放到一起，成为一个大的数据集，其中有结构化数据、非结构化数据等。当业务方有需求的时候，再把他们需要的若干个小数据集单独提取出来，以数据集的形式提供给数据应用。而数据中台是在数
8、据仓库和数据平台的基础上，将数据生产为为一个个数据API服务，以更高效的方式提供给业务。数据中台应该具备什么能力？大数据和人工智能大火之后这几年，很多人一直在提一个说法，那就是“数据是新的石油”。但史凯的观点却有些不同，在他看来，数据不等于数据资产，如果没有从业务的角度对数据进行规划，再多的数据也无法产生价值。史凯认为数据中台最核心的一个关键组件是数据资产目录。“我们认为，一个企业的数据要能够充分发挥价值，很重要的一个前提条件就是这个企业的数据结构和数据资产目录是对整个企业开放的。所有人都能够通过这个资产目录了解公司有哪些类别的数据、包含什么属性、源数据由谁管理，这样就可以快速搞
10、相当于把企业的业务从数据层面做了一个梳理，用数据的语言把企业的业务模型还原出来。数据资产目录做好之后，后面才是用什么技术手段、从哪里提取数据来映射到这个数据资产目录。除了开放，数据资产目录还应该具有标签描述、可检索，这样才能最大程度地方便真正使用数据的人，以最快的速度找到他们需要的东西。在ThoughtWorks提出的精益数据创新体系中将企业所需要具备的数据能力概括为以下六种，具备了这六种能力，企业才具备成为数据驱动的智能企业的基础，而这些能力的承载平台，就是数据中台：数据驱动的智能企业殷据资产的规划和佰理散裾疑产的就取和存储散据疑产的共享和协作业鳄忻俏的探索和分析靓据服务的构嵯和治
12、能适用于多个场景了。数据治理是数据中台很重要的一个领域，ThoughtWorks认为在现在业务边界消失、需求快速变化的情况下，企业需要具备精益数据治理的能力LeanDataGovernance。传统的中心化、事前控制式的数据治理方式，要改变为去中心化、事后服务式的治理方式。数据中台的数据治理应该如何做从“管控式”到“服务式”治理“轻”标准，“重”场景元数据驱动，从事前到事后tk$-数据资产的获取和存储数据中台要为企业提供强大的数据资产的获取和存储的能力。数据的共享和协作企业的数据中台一定是跨域的，需要让所有的人都知道数据资产目录在哪里。不能因为数据安全，就不让大家知道企业有什么数据
15、台、调用了十次，下午他不用了，原因是什么，调用了这些数据服务的人通常还会调用哪些其他的数据服务。这些都需要相应地做记录、做日志、做分析，要把数据当做像电商平台一样去经营，然后实时地根据这些业务行为数据去提醒数据服务提供方，调整、改变、优化数据服务，这才是可经营的数据中台，也只有这样业务部门才能得到最快的支持和响应。为什么人人都需要数据中台？数据中台并非只有大公司才需要的高大上的玩意。ThoughtWorks从2017年到现在，已经帮助多家大型国内外企业建设数据中台，其中有体量巨大的企业级数据中台，也有部门级的小数据中台。“未来所有的企业核心都会变成加工数据的企业，而数据中台是数据价值
16、化的加工厂，所以所有的企业都需要数据中台的能力，数据中台一定是未来每个企业的标准配置。”在史凯看来，数据中台并不意味着“大而全”的数据平台。根据企业的规模和业务的不同，数据中台可大可小，规模、复杂度可能都不相同，但它对业务产生的价值是一样的。当企业评估自己是否应该建设数据中台时，应该从哪些方面来考虑？史凯认为，从战略角度来说，每个企业都需要建立自己的数据中台；从战术角度来说，当企业发现自己的数据开发利用的速度和应用开发的速度不匹配的时候，就需要考虑构建数据中台。原来很多企业在做应用系统的时候，什么都不考虑直接上单体架构，一上来就先做数据库，然后在上面建应用。ThoughtWor
17、ks建议现在的企业，即使不做数据中台、不去立一个叫做“数据中台”的项目，但是在做应用的时候，最好把这个应用分成三层，业务层、数据中台层、源数据层，在一开始做应用的时候就把三个层次抽象出来。数据质量差所以做不了数据中台？No！历史遗留的数据质量问题经常让大家对数据的利用和价值产生质疑。2018年，史凯在与不同企业沟通过程中经常听到的一句话就是，“我们现在还没有到利用数据这一步，因为(应用系统中的)数据质量太差”。每次听到这句话，史凯脑子里就好像听到了另外一句话，“还没到培养孩子的时候啊，孩子太小了”。不能因为数据质量差，就不去利用数据。恰恰是因为没有去做后面的事情，所以数据质量才
18、差。而且也不能因为数据质量差就抛开业务场景、试图全面解决数据质量的问题，这样得不到业务部门的支持，也无法从数据工作中产生业务价值。所以ThoughtWorks建议的恰恰是利用做应用、做业务的需求，同步解决数据质量问题。史凯认为，数据质量问题，根本上是在构建应用之初缺乏整体数据规划和数据思维导致的问题。原来的流程类应用构建之初，只考虑了如何让流程跑起来，缺乏对这个应用在整个企业的数据全景图(DataLandscape)中的定位的分析，没有从源头上优化数据的存储、流转，从而更好地与其他的系统中的数据去对齐口径、统一语言，将流程问题抽象成领域模型问题，再将领域模型抽象成数据模型。建
19、设数据中台的挑战及应对策略建设数据中台最大的挑战在于前期能否从业务层面梳理清楚有业务价值的场景，以及数据全景图，而不仅在于后期的技术建设。数据中台建设面临的挑战包括：梳理业务场景：搞清楚数据中台如何对业务产生价值。建设数据中台的优先级策略：需求可能大而全，但我们不能直接建大而全的数据中台，应该根据业务重要性来排需求的优先级。数据治理问题：和业务独立开的数据治理少有成功的，大的数据标准要有（数据资产目录），通过数据资产目录将共有的纬度、共性的业务模型提炼出来，在此基础之上数据治理需要跟业务场景紧密结合。数据中台的建设需要两个战略耐心数据中台是为了加快从数据到业务价值的产生速度，但是它的生
21、设方来讲，要充分认识到数据中台建设的复杂度，不要操之过急，不要期待毕其功于一役。史凯的建议是要从小中台做起，围绕具体有价值的业务场景去建设，尽量不脱离场景去搞周期长、大而全的纯工具平台建设。数据中台也可以小而美建设数据中台的关键考量包括两方面。首先数据中台一定要与业务价值对齐。构建数据中台，最重要的不是技术，也不是数据质量好不好，而是数据思维和数据文化。数据思维就是要建立起从数据的视角去思考问题的方式；数据文化就是要把数据和业务当成一体去看，而不是只将数据当作一个支持工具。想清楚业务对于数据的诉求是构建数据中台的第一步，哪怕暂时不能想的太细，也要去想，想不清楚就先不要做。不要在业务场
23、的时候需要顶层设计，面向业务愿景制定中台的整体规划，全面的梳理数据创新全景蓝图，这就是上图左边的黑色框架部分，通过业务愿景驱动出所有的业务场景探索，从而推导出数据中台的全景架构、技术支撑。但是在实施的时候，要从具体的业务场景出发。从高价值数据集场景做起，然后顺着这个场景竖切，找到数据全景图中的一个或多个数据集合，从小数据场景落地，这样才能快速验证价值。大处思考，全局拉通，避免后续的数据孤岛，但是从小数据集切入，从可实现性高的场景启动。然后一个个的场景做起来，业务价值和中台能力也就同步建立起来了。总的来讲就是，“设计阶段横着走，落地阶段竖着切。”数据中台团队和技术选型数据中台团队通常
24、需要包含以下角色：业务专家团队：了解业务、梳理业务场景，确定数据资产与业务场景的一一对应关系，确定业务场景的优先级，为数据中台的建设提供依据。数据工程团队：建设和维护数据中台，包括ETL、数据采集，以及数据中台性能和稳定性保证，利用中台的工具采集、存储、加工、处理数据。数据分析团队：分析数据价值、探索场景，生产更多的数据服务。数据治理团队：梳理数据标准、构件数据安全和隐私规范，利用开源去中心化的数据治理工具（比如atlas、wherehows）来围绕业务场景解决数据质量和安全问题。智能算法团队：为数据分析、业务探索提供智能和算法工具。而这样的一个团队的工作就构成了一个数据生产线，一个从
25、数据到业务服务的数据服务工厂，这个工厂有生产车间（DataPipeline）、研发中心（数据实验室）、管理办公室（数据治理），还有产品展示中心（数据服务商店）。M只取据源Lum数据服务工厂利用散据作为原材料来生产新的散据产品，最终在数据服务商店中销售这些数据产品e数据工厂是一个逻辑概念，不是一个大而全的产品，ThoughtWorks结合过去几年的实践给出了一个数据工厂组件选型的参考架构，这些推荐的架构和组件，很多都体现在过去ThoughtWorks推出的技术雷达中并进行了详细解释，如下：数据中台的出现对于现有数据团队的挑战前面已经提到，数据中台是企业的DataAPI工厂，用
26、更高效、更协同的方式加快从数据到业务的价值，能够给业务提供更高的响应力。所以数据中台距离业务更近，这对于传统企业的数据业务来讲，是一个重大的变化，同时给原来的数据团队也会带来巨大的挑战。对数据分析人员的业务要求提高了企业传统的数据工作和业务工作分工明确、界限清晰，业务人员负责业务需求，提出业务问题，并将业务问题拆解成一个个清晰的数据问题，然后数据工程师和数据分析师在这个清晰的问题下解题。但是，在数据中台出现后，数据中台是一个赋能平台，它会沉淀、提供很多数据分析工具和数据服务，能够让不具备专业数据能力的业务人员也可以进行一些简单的数据分析，产生业务的洞察。这就意味着在数据中台的支持
27、下，相对简单清晰的业务问题会更多的由业务人员自己解决掉，那么传递到专业数据人员的问题，都会是更加复杂的问题。这对于数据人员的业务理解能力就加强了，他/她们必须具备快速理解业务的能力，才能够体现出专业性和优势。对于数据人员的工程能力要求提高了原来的数据分析工作属于个体工作方式，每一个数据科学家、数据分析师就是一个独立的工作单元，业务部门给出业务问题，他们通过自己擅长熟悉的工具和方法给出结果。但是在数据中台出现后，他们一方面获得了更多数据分析的武器和工具，能够站在前人的基础上工作，提高了效率和准确度，另外一方面，他们也需要掌握更多的平台化的数据分析工具，比如JupyterNoteb
30、的角度来考虑，把个人信息和数据保护放在优先地位。”很多人将这解读为腾讯不做数据中台，史凯却不这么认为。在他看来，腾讯的回应并不是说他们不做数据中台，而是强调要在数据隐私上做更多的工作。其实所有的数据安全和隐私的保护都需要从场景出发。史凯认为，“不能从纯数据层面来看数据隐私，数据隐私是不能脱离场景的”。如果纯粹从数据层面，而不从业务场景层面去管理数据隐私，就会带来两方面的问题，要么数据被管理的非常死，阻碍了业务价值的产生；要么数据隐私管理就会有漏洞。史凯举了一个例子，比如我们讲的用户交易数据，如果不关联用户基本信息，交易数据本身对于用户来说是不具备隐私风险的，因为它不关联到任何一
31、个用户个体。所以，是可以对脱敏后的用户交易数据进行分析和利用的。另一方面，如果脱离场景谈数据隐私，也可能会导致忽略了潜在的安全问题。有时候如果不把场景关联起来，可能两个数据看上去没有安全问题，但其实外人把这两个数据关联起来就产生价值了。这也是为什么在一开始的时候就要把所有的场景，尽可能地全部分析出来。另外，设置权限、数据分级审核、库级数据脱敏等都是可以提升数据安全的手段。现代数据中台必须具备数据调用行为的监控和记录机制，反过来也能增强对数据安全和隐私的保护。数据中台的下一步当前国内外已经有不少公司开始投资建设数据中台，大家比较熟悉的包括阿里、华为、联想、海航、上汽、壳牌等。在史凯看
35、。依稀记得80后是垮掉的一代”的说法的你，现在看到的却是被10后毁掉的90后父母”的感叹。主流用户的变化，不会因为某个年代人的话语权高低而稳定下来。而即便是同年代的用户，在随着现代社会发展和各行各业互联网服务的滋养中又进化细分成了出不同的支流，需求全然不同，呈现场景化、碎片化的特征。为了不被善变的用户所抛弃，企业不得不跟随着用户；为了满足用户而尽可能积极地响应用户需求的变化，发展新业务、提供新服务。这就给企业的前方业务端提出了挑战：必须做到快速响应、灵活运转。但要作为一个能承接大量新业务和新服务的大体量企业，业务想要做到量大又灵活，必定需要靠企业内部科学有序体系的稳定支撑。所以，企