数字化时代,数据仓库是什么?有什么用?

所有的原始数据都会进入数据仓库,再由数据仓库统一分发给下游的数据使用者。这样的结构实现了原始数据与数据分析工作的解耦,让业务活动可以专注于生产,也让数据价值挖掘可以专注于分析。

数据仓库架构

通常情况下,为了把一个复杂的工作拆成了多个简单的工作,一般将数据仓库架构分为三层,即数据操作层、数据仓库层和应用数据层(数据集市层)。

(1)ODS(OperationDataStore数据准备区)

业务数据库:可使用DataX、Sqoop等工具来抽取,每天定时抽取一次;在实时应用中,可用Canal监听MySQL的Binlog,实时接入变更的数据。

埋点日志:线上系统会打入各种日志,这些日志一般以文件的形式保存,可以用Flume定时抽取。

其他数据源:从第三方购买的数据、或是网络爬虫抓取的数据。

(2)DW(DataWarehouse数据仓库层)

该层包含DWD、DWS、DIM层,由ODS层数据加工而成,主要是完成数据加工与整合,建立一致性的维度,构建可复用的面向分析和统计的明细事实表,以及汇总公共粒度的指标。

DWD(DataWarehouseDetail细节数据层),是业务层与数据仓库的隔离层。以业务过程作为建模驱动,基于每个具体的业务过程特点,构建细粒度的明细层事实表。可以结合企业的数据使用特点,将明细事实表的某些重要维度属性字段做适当冗余,也即宽表化处理。

该层是基于DW层的数据,整合汇总成主题域的服务数据,用于提供后续的业务查询等。

数据中台、数据仓库、大数据平台、数据湖傻傻分不清楚

1)基础能力上的区别

数据平台:提供的是计算和存储能力

数据仓库:利用数据平台提供的计算和存储能力,在一套方法论的指导下建设的一整套的数据表

数据中台:包含了数据平台和数据仓库的所有内容,将其打包,并且以更加整合以及更加产品化的方式对外提供服务和价值

数据湖:一个存储企业各种各样原始数据的大型仓库,包括结构化和非结构化数据,其中湖里的数据可供存取、处理、分析和传输

2)业务能力上的区别

数据平台:为业务提供数据主要方式是提供数据集

数据仓库:相对具体的功能概念是存储和管理一个或多个主题数据的集合,为业务提供服务的方式主要是分析报表

数据中台:企业级的逻辑概念,体现企业数据产生价值的能力,为业务提供服务的主要方式是数据API

总的来说,数据中台距离业务更近,数据复用能力更强,能为业务提供速度更快的服务,数据中台在数据仓库和数据平台的基础上,将数据生产为一个个数据API服务,以更高效的方式提供给业务。数据中台可以建立在数据仓库和数据平台之上,是加速企业从数据到业务价值的过程的中间层。

THE END
1.数据库和数据仓库的本质区别是什么?数据仓库和数据库的具体区别关于数据库和数据仓库的本质区别到底是什么?我们先来看一个例子。 拿电商行业来说好了。基本每家电商公司都会经历,从只需要业务数据库到要数据仓库的阶段。 电商早期启动非常容易,入行门槛低。找个外包团队,做了一个可以下单的网页前端 + 几台服务器 + 一个MySQL,就能开门迎客了。这好比手工作坊时期。 https://blog.csdn.net/u014593570/article/details/77524956
2.什么是数据仓库?数据仓库简介什么是数据仓库? 数据仓库是信息(对其进行分析可做出更明智的决策)的中央存储库。通常,数据定期从事务系统、关系数据库和其他来源流入数据仓库。业务分析师、数据工程师、数据科学家和决策者通过商业智能(BI)工具、SQL 客户端和其他分析应用程序访问数据。 http://aws.amazon.com/cn/data-warehouse/
3.数据库与数据仓库的本质区别是什么?我看了下目前的答案,大家从理论层面把数据库和数据仓库的本质区别解释的很全面了。数据库:传统的关系https://www.zhihu.com/question/20623931
4.10分钟了解啥是数仓腾讯云开发者社区业务元数据为管理层和业务分析人员服务,从业务角度描述数据,包括商务术语、数据仓库中有什么数据、数据的位置和数据的可用性等,帮助业务人员更好地理解数据仓库中哪些数据是可用的以及如何使用。 由上可见,元数据不仅定义了数据仓库中数据的模式、来源、抽取和转换规则等,而且是整个数据仓库系统运行的基础,元数据把数据https://cloud.tencent.com/developer/article/2113852
5.什么是数据仓库?Oracle中国什么是数据仓库? 数据仓库的定义 数据仓库是一种面向商务智能 (BI) 活动(尤其是分析)的数据管理系统,它仅适用于查询和分析,通常涉及大量的历史数据。在实际应用中,数据仓库中的数据一般来自应用日志文件和事务应用等广泛来源。 数据仓库能够集中、整合多个来源的大量数据,借助数据仓库的分析功能,企业可从数据中获得https://www.oracle.com/cn/database/what-is-a-data-warehouse/
6.什么是数据仓库?MicrosoftAzure开始跨多个数据源获取有价值的见解。了解如何使用最重要的企业工具和资源构建数据仓库。https://azure.microsoft.com/zh-cn/resources/cloud-computing-dictionary/what-is-a-data-warehouse/
7.什么是数据仓库什么是数据仓库 一、数据仓库概念 数据仓库(Data Warehouse)可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境,为企业所有决策定制过程,提供所有系统数据支持的战略计划。它出于分析性报告和决策支持的目的而创建。 数据仓库本身并不“生产数据”,同时自身也不需要“消费”任何数据,数据来源于外部,并且https://www.jianshu.com/p/e0b832ffe002
8.什么是数据仓库?数据库是一个装数据(信息的原材料)的地方。 数据仓库是一种系统,这种系统也是用数据库装东西。(这有点没说清楚:个人理解数据库和数据仓库当然都是装数据的地方,关键的区别是装的什么样的数据,数据库装的原始数据,没经过任何加工;而数据仓库是为了满足分析需要,对源数据进行了Transform过程,具体https://zhidao.baidu.com/question/634207585226758404.html
9.什么是数据仓库数据仓库的定义?IBM数据仓库或企业数据仓库 (EDW) 是一种系统,它可将来自不同来源的数据汇聚到一个集中、统一的数据存储中,从而为数据分析、数据挖掘、人工智能 (AI)和机器学习提供支持。 通过数据仓库系统,组织能以标准数据库无法企及的方式对大量数据(TB 级和 PB 级)运行强大的分析。 https://www.ibm.com/cn-zh/topics/data-warehouse
10.什么是数据仓库数据仓库是为企业所有级别的决策制定过程提供各类数据支持的战略集合,被认为是商业智能的核心组件。数据进入数据仓库前需要抽取、清洗、筛选、归类,以保证数据质量,也易于后期查找、分析。数据管理是指企业将数据作为组织资产并对其管理的一系列具体化的管理。数据治理从https://www.dongao.com/cma/zy/202106283472427.shtml
11.数据仓库服务DWS什么是数据仓库服务什么是数据仓库服务 数据仓库服务GaussDB(DWS)是一种基于云基础架构和平台的在线数据分析处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务,兼容ANSI/ISO标准的SQL92、SQL99和SQL 2003语法,同时兼容PostgreSQL/Oracle/Teradata/MySQL等数据库生态,为各行业PB级海量大数据分析提供有竞争力的解决方案。https://ecloud.10086.cn/op-help-center/doc/article/32102
12.什么是数据仓库?数据仓库的定义什么是数据仓库? Table of Contents 数据仓库的定义 数据仓库的构成要素与视频解析 数据仓库的独特优势 数据仓库的架构设计与进化历程 数据仓库的现代化进程与云技术融合 数据仓库的设计与实施策略 数据湖与数据仓库的选择策略 数据仓库与OLTP系统的对比 自治数据仓库的未来展望https://www.hypers.com/content/archives/4546
13.什么是数据仓库?数据仓库的特点主要有哪些?王利头什么是数据仓库? 数据仓库是一个集中式数据库,其中存储了从多个来源提取的经过转换、整合和组织的各种业务数据。它为企业提供了单一的真理来源,用于分析、报告和决策制定。数据仓库不同于事务数据库,后者设计用于快速处理日常交易。 数据仓库的特点 数据仓库具有以下主要特点: https://www.wanglitou.cn/article_25538.html
14.什么是数据仓库数据仓库的特点和作用星云联动在经济全球化背景下,企业间市场竞争越发激烈,数据的价值也越发凸显,如今,单纯的数据处理已开始无法满足商业信息系统的需求,依托大量数据信息为企业相关决策提供支持已成了企业信息系统建设的必要阶段。本文星云联动主要介绍什么是数据仓库,数据仓库的特点和作用。 https://www.istarscloud.com/new/3297.html
15.数据仓库和数据中心的区别数据仓库的核心是什么数据仓库和数据中心的区别 数据仓库的核心是什么 数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。 关于其定义,数据仓库之父比尔·恩门(Bill Inmon)在1991年出版的“Building the Data Warehouse”(《建立数据仓库》)一书中所提出的定义https://blog.51cto.com/u_12192/6808881
16.4分钟带你看懂究竟什么是数据仓库?但是,如果你是该领域的新手,你可能想知道什么是数据仓库?为什么我们需要它,它是怎么运行的? 别担心,因为在接下来的4分钟,你将知晓这所有问题的答案。 好的,首先让我们看到定义。 唯一数据源——这个词是什么意思? 在信息系统理论中,唯一数据源是在一个地方构造全部最佳质量数据的实践。 http://528045.com/article/0d6202ad13.html
17.数据仓库是什么?数据仓库建设的三种思路是什么?要研究数据价值,就必须要先做好数据的治理、管理工作,因为数据挖掘、OLAP等数据分析技术都是建立在数据仓库的基础上的,数仓的一大作用就是数据的整合与治理。 一、数据仓库的基本概念 数据仓库是一个面向主题的、集成的、相对稳定性的、反映历史变化的数据集合。它是一种新的数据处理体系结构,对企业内部各部门业务数https://www.fanruan.com/bw/dw-sjcsd
18.数据仓库是什么,数据仓库的优势以及应用嘲有哪些在数字化转型的大潮中,数据已成为企业最宝贵的资产之一。如何高效、安全地存储、管理和分析这些数据,成为企业提升竞争力、实现精准决策的关键。数据仓库,作为这一过程中的核心组件,正发挥着不可替代的作用。本文将深入探讨数据仓库的定义、优势以及丰富的应用场景,旨在帮助读者全面了解这一重要概念,并为企业在数据管理的https://www.selectdb.com/blog/1045
19.一文读懂什么是数据仓库(DataWarehouse)数据仓库(Data Warehouse,简称DW或DWH)是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,主要用于支持企业的管理决策过程。 定义与特点 数据仓库是为企业所有级别的决策制定过程提供各类数据支持的战略集合,被认为是商业智能(BI)的核心组件,通常具备以下特点: https://www.qzad.com/?m=home&c=View&a=index&aid=7693
20.什么是数据仓库数据集市和数据湖?袋鼠社区博客 什么是数据仓库、数据集市和数据湖? 什么是数据仓库、数据集市和数据湖? 小美 发表于 2023-03-23 10:16 120 0 数据仓库 湖仓一体 数据分析 大数据 数据中台 数字化转型 数据治理 流批一体 0条评论 上一篇:从头梳理现代数据架构湖仓一体的历史 下一篇:一文讲明白,数据湖+数据仓=湖仓一体?https://www.dtstack.com/bbs/article/1291
21.数据仓库是什么数据仓库的特点数据仓库与数据库区别数据仓库是什么 数据仓库,英文名称为DataWarehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而创建。为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。 https://www.elecfans.com/d/634427.html
22.什么是数据仓库服务数据仓库服务GaussDB(DWS)数据仓库服务GaussDB(DWS)是一种基于华为云基础架构和平台的在线数据分析处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务,兼容ANSI/ISO标准的SQL92、SQL99和SQL 2003语法,同时兼容PostgreSQL/Oracle/Teradata/MySQL等数据库生态,为各行业PB级海量大数据分https://support.huaweicloud.com/productdesc-dws/dws_01_0002.html
23.数据仓库的基本概念是什么?(数据仓库的主要功能)服务器技术数据仓库与数据库的主要区别在于:(1)数据库是面向事务的设计,数据仓库是面向主题设计的。(2)数据库一般存储在线交易数据,数据仓库存储的一般是历史数据。(3)数据库设计是尽量避免冗余,数据仓库在设计是有意引入冗余。(4)数据库是为捕获数据而设计,数据仓库是为分析数据而设计。 https://www.kangle.im/post/117894.html
24.数据仓库是什么?·Hadoop2.x·看云粒度之所以是数据仓库环境的关键设计问题,是因为它极大地影响数据仓库的数据量和可以进行的查询类型。粒度级别越低,数据量越大,查询的细节程度越高,查询范围越广泛,反之亦然。 例:下面的系统中提取的主题: 采购子系统:订单(订单号,供应商号,总金额,日期)订单细则(订单号,商品号,类别,单价,数量)供应商(供应商号https://www.kancloud.cn/king_om/h_001/2188615
25.数据仓库是什么(为什么要建立数据仓库)、什么是数据仓库? 数据仓库 (Data Warehouse) 简称DW,存储大量数据的集成中心。数据仓库的目的是构建面向分析的集成化数据环境,为企业提供决策支持(Decision-Support)。它为企业提供一定的BI(商业智能)能力,指导业务流程改进、监视时间、成本、质量以及控制。 https://www.marketup.cn/marketupblog/yxzx/12436.html
26.数据仓库是什么意思?详细讲述数据仓库架构特点类型在当今快速变化的企业环境中,组织正在转向基于云的技术来方便地收集、报告和分析。这就是数据仓库作为商业智能的核心组件发挥作用的地方,它使企业能够提高绩效。了解什么是数据仓库以及它为何在全球市场中不断发展非常重要。 在本文中,我们将概述数据仓库 – 探索数据仓库架构、数据仓库的特点、什么是数据管理、数据仓库https://www.ecscoupon.com/1436.html
27.数据中台和数据仓库的区别是什么数据中台和数据仓库都是企业数据管理领域中的重要概念,两者虽然有些相似之处,但其实还是有一些明显的区别的,具体表现在于:1.目的不同;2.数据结构不同;3.数据使用方式不同;4.业务价值不同。 1.目的不同 数据中台的主要目的是将企业中的数据资源整合起来,形成一个能够被各个业务应用程序所共享的数据中心。数据中台https://www.linkflowtech.com/news/277