数据仓库理论(一)Frankdeng

1)年度销售目标的指定,需要根据以往的历史报表进行决策,不能拍脑袋。

2)如何优化业务流程

1)数据仓库的数据是面向主题的

与传统数据库面向应用进行数据组织的特点相对应,数据仓库中的数据是面向主题进行组织的。什么是主题呢?首先,主题是一个抽象的概念,是较高层次上企业信息系统中的数据综合、归类并进行分析利用的抽象。在逻辑意义上,它是对应企业中某一宏观分析领域所涉及的分析对象。面向主题的数据组织方式,就是在较高层次上对分析对象的数据的一个完整、一致的描述,能完整、统一地刻划各个分析对象所涉及的企业的各项数据,以及数据之间的联系。所谓较高层次是相对面向应用的数据组织方式而言的,是指按照主题进行数据组织的方式具有更高的数据抽象级别。

2)数据仓库的数据是集成的

(1)要统一源数据中所有矛盾之处,如字段的同名异义、异名同义、单位不统一、字长不一致等。

(2)进行数据综合和计算。数据仓库中的数据综合工作可以在从原有数据库抽取数据时生成,但许多是在数据仓库内部生成的,即进入数据仓库以后进行综合生成的。

3)数据仓库的数据是不可更新的

数据仓库中的数据不可更新是针对应用来说的,也就是说,数据仓库的用户进行分析处理时是不进行数据更新操作的。但并不是说,在从数据集成输入数据仓库开始到最终被删除的整个数据生存周期中,所有的数据仓库数据都是永远不变的。

数据仓库的发展大致经历了这样的三个过程:

这个阶段,系统的主要目标是解决一些日常的工作中业务人员需要的报表,以及生成一些简单的能够帮助领导进行决策所需要的汇总数据。这个阶段的大部分表现形式为数据库和前端报表工具。

这个阶段,主要是根据某个业务部门的需要,进行一定的数据的采集,整理,按照业务人员的需要,进行多维报表的展现,能够提供对特定业务指导的数据,并且能够提供特定的领导决策数据。

这个阶段,主要是按照一定的数据模型,对整个企业的数据进行采集,整理,并且能够按照各个业务部门的需要,提供跨部门的,完全一致的业务报表数据,能够通过数据仓库生成对对业务具有指导性的数据,同时,为领导决策提供全面的数据支持。

通过数据仓库建设的发展阶段,我们能够看出,数据仓库的建设和数据集市的建设的重要区别就在于数据模型的支持。因此,数据模型的建设,对于我们数据仓库的建设,有着决定性的意义。

了解数据库与数据仓库的区别之前,首先掌握三个概念。数据库软件、数据库、数据仓库。

是一种软件,可以看得见,可以操作。用来实现数据库逻辑功能。属于物理层。

是一种逻辑概念,用来存放数据的仓库。通过数据库软件来实现。数据库由很多表组成,表是二维的,一张表里可以有很多字段。字段一字排开,对应的数据就一行一行写入表中。数据库的表,在于能够用二维表现多维关系。目前市面上流行的数据库都是二维数据库。如:Oracle、DB2、MySQL、Sybase、MSSQLServer等。

是数据库概念的升级。从逻辑上理解,数据库和数据仓库没有区别,都是通过数据库软件实现的存放数据的地方,只不过从数据量来说,数据仓库要比数据库更庞大得多。数据仓库主要用于数据挖掘和数据分析,辅助领导做决策。

数据库与数据仓库的区别实际讲的是OLTP与OLAP的区别。

分析型处理,叫联机分析处理OLAP(On-LineAnalyticalProcessing)一般针对某些主题的历史数据进行分析,支持管理决策。

表操作型处理与分析型处理的比较

操作型处理

分析型处理

细节的

综合的或提炼的

实体——关系(E-R)模型

星型模型或雪花模型

存取瞬间数据

存储历史数据,不包含最近的数据

可更新的

只读、只追加

一次操作一个单元

一次操作一个集合

性能要求宽松

面向事务

面向分析

一次操作数据量小

一次操作数据量大

支持日常操作

支持决策需求

数据量小

数据量大

客户订单、库存水平和银行账户查询等

客户收益分析、市场细分等

数据仓库标准上可以分为四层:ODS(临时存储层)、PDW(数据仓库层)、DM(数据集市层)、APP(应用层)。

1)ODS层:

2)PDW层:

为数据仓库层,PDW层的数据应该是一致的、准确的、干净的数据,即对源系统数据进行了清洗(去除了杂质)后的数据。这一层的数据一般是遵循数据库第三范式的,其数据粒度通常和ODS的粒度相同。在PDW层会保存BI系统中所有的历史数据,例如保存10年的数据。

3)DM层:

4)APP层:

2)如果不分层的话,如果源业务系统的业务规则发生变化将会影响整个数据清洗过程,工作量巨大。

3)通过数据分层管理可以简化数据清洗的过程,因为把原来一步的工作分到了多个步骤去完成,相当于把一个复杂的工作拆成了多个简单的工作,把一个大的黑盒变成了一个白盒,每一层的处理逻辑都相对简单和容易理解,这样我们比较容易保证每一个步骤的正确性,当数据发生错误的时候,往往我们只需要局部调整某个步骤即可。

数据仓库的元数据是关于数据仓库中数据的数据。它的作用类似于数据库管理系统的数据字典,保存了逻辑数据结构、文件、地址和索引等信息。广义上讲,在数据仓库中,元数据描述了数据仓库内数据的结构和建立方法的数据。

元数据是数据仓库管理系统的重要组成部分,元数据管理器是企业级数据仓库中的关键组件,贯穿数据仓库构建的整个过程,直接影响着数据仓库的构建、使用和维护。

(2)用户在使用数据仓库时,通过元数据访问数据,明确数据项的含义以及定制报表。

(3)数据仓库的规模及其复杂性离不开正确的元数据管理,包括增加或移除外部数据源,改变数据清洗方法,控制出错的查询以及安排备份等。

元数据有两种常见存储方式:一种是以数据集为基础,每一个数据集有对应的元数据文件,每一个元数据文件包含对应数据集的元数据内容;另一种存储方式是以数据库为基础,即元数据库。其中元数据文件由若干项组成,每一项表示元数据的一个要素,每条记录为数据集的元数据内容。上述存储方式各有优缺点,第一种存储方式的优点是调用数据时相应的元数据也作为一个独立的文件被传输,相对数据库有较强的独立性,在对元数据进行检索时可以利用数据库的功能实现,也可以把元数据文件调到其他数据库系统中操作;不足是如果每一数据集都对应一个元数据文档,在规模巨大的数据库中则会有大量的元数据文件,管理不方便。第二种存储方式下,元数据库中只有一个元数据文件,管理比较方便,添加或删除数据集,只要在该文件中添加或删除相应的记录项即可。在获取某数据集的元数据时,因为实际得到的只是关系表格数据的一条记录,所以要求用户系统可以接受这种特定形式的数据。因此推荐使用元数据库的方式。

元数据库用于存储元数据,因此元数据库最好选用主流的关系数据库管理系统。元数据库还包含用于操作和查询元数据的机制。建立元数据库的主要好处是提供统一的数据结构和业务规则,易于把企业内部的多个数据集市有机地集成起来。目前,一些企业倾向建立多个数据集市,而不是一个集中的数据仓库,这时可以考虑在建立数据仓库(或数据集市)之前,先建立一个用于描述数据、服务应用集成的元数据库,做好数据仓库实施的初期支持工作,对后续开发和维护有很大的帮助。元数据库保证了数据仓库数据的一致性和准确性,为企业进行数据质量管理提供基础。

在数据仓库中,元数据的主要作用如下。

(1)描述哪些数据在数据仓库中,帮助决策分析者对数据仓库的内容定位。

(2)定义数据进入数据仓库的方式,作为数据汇总、映射和清洗的指南。

(4)记录并检测系统数据一致性的要求和执行情况。

(5)评估数据质量。

在多维分析的商业智能解决方案中,根据事实表和维度表的关系,又可将常见的模型分为星型模型和雪花型模型。在设计逻辑型数据的模型的时候,就应考虑数据是按照星型模型还是雪花型模型进行组织。

当所有维表都直接连接到“事实表”上时,整个图解就像星星一样,故将该模型称为星型模型。

星型架构是一种非正规化的结构,多维数据集的每一个维度都直接与事实表相连接,不存在渐变维度,所以数据有一定的冗余,如在地域维度表中,存在国家A省B的城市C以及国家A省B的城市D两条记录,那么国家A和省B的信息分别存储了两次,即存在冗余。

当有一个或多个维表没有直接连接到事实表上,而是通过其他维表连接到事实表上时,其图解就像多个雪花连接在一起,故称雪花模型。雪花模型是对星型模型的扩展。它对星型模型的维表进一步层次化,原有的各维表可能被扩展为小的事实表,形成一些局部的"层次"区域,这些被分解的表都连接到主维度表而不是事实表。如图所示,将地域维表又分解为国家,省份,城市等维表。它的优点是:通过最大限度地减少数据存储量以及联合较小的维表来改善查询性能。雪花型结构去除了数据冗余。

星型模型因为数据的冗余所以很多统计查询不需要做外部的连接,因此一般情况下效率比雪花型模型要高。星型结构不用考虑很多正规化的因素,设计与实现都比较简单。雪花型模型由于去除了冗余,有些统计就需要通过表的联接才能产生,所以效率不一定有星型模型高。正规化也是一种比较复杂的过程,相应的数据库结构设计、数据的ETL、以及后期的维护都要复杂一些。因此在冗余可以接受的前提下,实际运用中星型模型使用更多,也更有效率。

星形模型和雪花模型是数据仓库中常用到的两种方式,而它们之间的对比要从四个角度来进行讨论。

1)数据优化

雪花模型使用的是规范化数据,也就是说数据在数据库内部是组织好的,以便消除冗余,因此它能够有效地减少数据量。通过引用完整性,其业务层级和维度都将存储在数据模型之中。

雪花模型

相比较而言,星形模型使用的是反规范化数据。在星形模型中,维度直接指的是事实表,业务层级不会通过维度之间的参照完整性来部署。

星形模型

2)业务模型

主键是一个单独的唯一键(数据属性),为特殊数据所选择。在上面的例子中,Advertiser_ID就将是一个主键。外键(参考属性)仅仅是一个表中的字段,用来匹配其他维度表中的主键。在我们所引用的例子中,Advertiser_ID将是Account_dimension的一个外键。

在雪花模型中,数据模型的业务层级是由一个不同维度表主键-外键的关系来代表的。而在星形模型中,所有必要的维度表在事实表中都只拥有外键。

3)性能

而星形模型的连接就少的多,在这个模型中,如果你需要上述信息,你只要将Advertiser的维度表和事实表连接即可。

4)ETL

雪花模型加载数据集市,因此ETL操作在设计上更加复杂,而且由于附属模型的限制,不能并行化。

星形模型加载维度表,不需要再维度之间添加附属模型,因此ETL就相对简单,而且可以实现高度的并行化。

THE END
1.数据库和数据仓库的本质区别是什么?数据仓库和数据库的具体区别关于数据库和数据仓库的本质区别到底是什么?我们先来看一个例子。 拿电商行业来说好了。基本每家电商公司都会经历,从只需要业务数据库到要数据仓库的阶段。 电商早期启动非常容易,入行门槛低。找个外包团队,做了一个可以下单的网页前端 + 几台服务器 + 一个MySQL,就能开门迎客了。这好比手工作坊时期。 https://blog.csdn.net/u014593570/article/details/77524956
2.什么是数据仓库?数据仓库简介什么是数据仓库? 数据仓库是信息(对其进行分析可做出更明智的决策)的中央存储库。通常,数据定期从事务系统、关系数据库和其他来源流入数据仓库。业务分析师、数据工程师、数据科学家和决策者通过商业智能(BI)工具、SQL 客户端和其他分析应用程序访问数据。 http://aws.amazon.com/cn/data-warehouse/
3.数据库与数据仓库的本质区别是什么?我看了下目前的答案,大家从理论层面把数据库和数据仓库的本质区别解释的很全面了。数据库:传统的关系https://www.zhihu.com/question/20623931
4.10分钟了解啥是数仓腾讯云开发者社区业务元数据为管理层和业务分析人员服务,从业务角度描述数据,包括商务术语、数据仓库中有什么数据、数据的位置和数据的可用性等,帮助业务人员更好地理解数据仓库中哪些数据是可用的以及如何使用。 由上可见,元数据不仅定义了数据仓库中数据的模式、来源、抽取和转换规则等,而且是整个数据仓库系统运行的基础,元数据把数据https://cloud.tencent.com/developer/article/2113852
5.什么是数据仓库?Oracle中国什么是数据仓库? 数据仓库的定义 数据仓库是一种面向商务智能 (BI) 活动(尤其是分析)的数据管理系统,它仅适用于查询和分析,通常涉及大量的历史数据。在实际应用中,数据仓库中的数据一般来自应用日志文件和事务应用等广泛来源。 数据仓库能够集中、整合多个来源的大量数据,借助数据仓库的分析功能,企业可从数据中获得https://www.oracle.com/cn/database/what-is-a-data-warehouse/
6.什么是数据仓库?MicrosoftAzure开始跨多个数据源获取有价值的见解。了解如何使用最重要的企业工具和资源构建数据仓库。https://azure.microsoft.com/zh-cn/resources/cloud-computing-dictionary/what-is-a-data-warehouse/
7.什么是数据仓库什么是数据仓库 一、数据仓库概念 数据仓库(Data Warehouse)可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境,为企业所有决策定制过程,提供所有系统数据支持的战略计划。它出于分析性报告和决策支持的目的而创建。 数据仓库本身并不“生产数据”,同时自身也不需要“消费”任何数据,数据来源于外部,并且https://www.jianshu.com/p/e0b832ffe002
8.什么是数据仓库?数据库是一个装数据(信息的原材料)的地方。 数据仓库是一种系统,这种系统也是用数据库装东西。(这有点没说清楚:个人理解数据库和数据仓库当然都是装数据的地方,关键的区别是装的什么样的数据,数据库装的原始数据,没经过任何加工;而数据仓库是为了满足分析需要,对源数据进行了Transform过程,具体https://zhidao.baidu.com/question/634207585226758404.html
9.什么是数据仓库数据仓库的定义?IBM数据仓库或企业数据仓库 (EDW) 是一种系统,它可将来自不同来源的数据汇聚到一个集中、统一的数据存储中,从而为数据分析、数据挖掘、人工智能 (AI)和机器学习提供支持。 通过数据仓库系统,组织能以标准数据库无法企及的方式对大量数据(TB 级和 PB 级)运行强大的分析。 https://www.ibm.com/cn-zh/topics/data-warehouse
10.什么是数据仓库数据仓库是为企业所有级别的决策制定过程提供各类数据支持的战略集合,被认为是商业智能的核心组件。数据进入数据仓库前需要抽取、清洗、筛选、归类,以保证数据质量,也易于后期查找、分析。数据管理是指企业将数据作为组织资产并对其管理的一系列具体化的管理。数据治理从https://www.dongao.com/cma/zy/202106283472427.shtml
11.数据仓库服务DWS什么是数据仓库服务什么是数据仓库服务 数据仓库服务GaussDB(DWS)是一种基于云基础架构和平台的在线数据分析处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务,兼容ANSI/ISO标准的SQL92、SQL99和SQL 2003语法,同时兼容PostgreSQL/Oracle/Teradata/MySQL等数据库生态,为各行业PB级海量大数据分析提供有竞争力的解决方案。https://ecloud.10086.cn/op-help-center/doc/article/32102
12.什么是数据仓库?数据仓库的定义什么是数据仓库? Table of Contents 数据仓库的定义 数据仓库的构成要素与视频解析 数据仓库的独特优势 数据仓库的架构设计与进化历程 数据仓库的现代化进程与云技术融合 数据仓库的设计与实施策略 数据湖与数据仓库的选择策略 数据仓库与OLTP系统的对比 自治数据仓库的未来展望https://www.hypers.com/content/archives/4546
13.什么是数据仓库?数据仓库的特点主要有哪些?王利头什么是数据仓库? 数据仓库是一个集中式数据库,其中存储了从多个来源提取的经过转换、整合和组织的各种业务数据。它为企业提供了单一的真理来源,用于分析、报告和决策制定。数据仓库不同于事务数据库,后者设计用于快速处理日常交易。 数据仓库的特点 数据仓库具有以下主要特点: https://www.wanglitou.cn/article_25538.html
14.什么是数据仓库数据仓库的特点和作用星云联动在经济全球化背景下,企业间市场竞争越发激烈,数据的价值也越发凸显,如今,单纯的数据处理已开始无法满足商业信息系统的需求,依托大量数据信息为企业相关决策提供支持已成了企业信息系统建设的必要阶段。本文星云联动主要介绍什么是数据仓库,数据仓库的特点和作用。 https://www.istarscloud.com/new/3297.html
15.数据仓库和数据中心的区别数据仓库的核心是什么数据仓库和数据中心的区别 数据仓库的核心是什么 数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。 关于其定义,数据仓库之父比尔·恩门(Bill Inmon)在1991年出版的“Building the Data Warehouse”(《建立数据仓库》)一书中所提出的定义https://blog.51cto.com/u_12192/6808881
16.4分钟带你看懂究竟什么是数据仓库?但是,如果你是该领域的新手,你可能想知道什么是数据仓库?为什么我们需要它,它是怎么运行的? 别担心,因为在接下来的4分钟,你将知晓这所有问题的答案。 好的,首先让我们看到定义。 唯一数据源——这个词是什么意思? 在信息系统理论中,唯一数据源是在一个地方构造全部最佳质量数据的实践。 http://528045.com/article/0d6202ad13.html
17.数据仓库是什么?数据仓库建设的三种思路是什么?要研究数据价值,就必须要先做好数据的治理、管理工作,因为数据挖掘、OLAP等数据分析技术都是建立在数据仓库的基础上的,数仓的一大作用就是数据的整合与治理。 一、数据仓库的基本概念 数据仓库是一个面向主题的、集成的、相对稳定性的、反映历史变化的数据集合。它是一种新的数据处理体系结构,对企业内部各部门业务数https://www.fanruan.com/bw/dw-sjcsd
18.数据仓库是什么,数据仓库的优势以及应用嘲有哪些在数字化转型的大潮中,数据已成为企业最宝贵的资产之一。如何高效、安全地存储、管理和分析这些数据,成为企业提升竞争力、实现精准决策的关键。数据仓库,作为这一过程中的核心组件,正发挥着不可替代的作用。本文将深入探讨数据仓库的定义、优势以及丰富的应用场景,旨在帮助读者全面了解这一重要概念,并为企业在数据管理的https://www.selectdb.com/blog/1045
19.一文读懂什么是数据仓库(DataWarehouse)数据仓库(Data Warehouse,简称DW或DWH)是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,主要用于支持企业的管理决策过程。 定义与特点 数据仓库是为企业所有级别的决策制定过程提供各类数据支持的战略集合,被认为是商业智能(BI)的核心组件,通常具备以下特点: https://www.qzad.com/?m=home&c=View&a=index&aid=7693
20.什么是数据仓库数据集市和数据湖?袋鼠社区博客 什么是数据仓库、数据集市和数据湖? 什么是数据仓库、数据集市和数据湖? 小美 发表于 2023-03-23 10:16 120 0 数据仓库 湖仓一体 数据分析 大数据 数据中台 数字化转型 数据治理 流批一体 0条评论 上一篇:从头梳理现代数据架构湖仓一体的历史 下一篇:一文讲明白,数据湖+数据仓=湖仓一体?https://www.dtstack.com/bbs/article/1291
21.数据仓库是什么数据仓库的特点数据仓库与数据库区别数据仓库是什么 数据仓库,英文名称为DataWarehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而创建。为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。 https://www.elecfans.com/d/634427.html
22.什么是数据仓库服务数据仓库服务GaussDB(DWS)数据仓库服务GaussDB(DWS)是一种基于华为云基础架构和平台的在线数据分析处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务,兼容ANSI/ISO标准的SQL92、SQL99和SQL 2003语法,同时兼容PostgreSQL/Oracle/Teradata/MySQL等数据库生态,为各行业PB级海量大数据分https://support.huaweicloud.com/productdesc-dws/dws_01_0002.html
23.数据仓库的基本概念是什么?(数据仓库的主要功能)服务器技术数据仓库与数据库的主要区别在于:(1)数据库是面向事务的设计,数据仓库是面向主题设计的。(2)数据库一般存储在线交易数据,数据仓库存储的一般是历史数据。(3)数据库设计是尽量避免冗余,数据仓库在设计是有意引入冗余。(4)数据库是为捕获数据而设计,数据仓库是为分析数据而设计。 https://www.kangle.im/post/117894.html
24.数据仓库是什么?·Hadoop2.x·看云粒度之所以是数据仓库环境的关键设计问题,是因为它极大地影响数据仓库的数据量和可以进行的查询类型。粒度级别越低,数据量越大,查询的细节程度越高,查询范围越广泛,反之亦然。 例:下面的系统中提取的主题: 采购子系统:订单(订单号,供应商号,总金额,日期)订单细则(订单号,商品号,类别,单价,数量)供应商(供应商号https://www.kancloud.cn/king_om/h_001/2188615
25.数据仓库是什么(为什么要建立数据仓库)、什么是数据仓库? 数据仓库 (Data Warehouse) 简称DW,存储大量数据的集成中心。数据仓库的目的是构建面向分析的集成化数据环境,为企业提供决策支持(Decision-Support)。它为企业提供一定的BI(商业智能)能力,指导业务流程改进、监视时间、成本、质量以及控制。 https://www.marketup.cn/marketupblog/yxzx/12436.html
26.数据仓库是什么意思?详细讲述数据仓库架构特点类型在当今快速变化的企业环境中,组织正在转向基于云的技术来方便地收集、报告和分析。这就是数据仓库作为商业智能的核心组件发挥作用的地方,它使企业能够提高绩效。了解什么是数据仓库以及它为何在全球市场中不断发展非常重要。 在本文中,我们将概述数据仓库 – 探索数据仓库架构、数据仓库的特点、什么是数据管理、数据仓库https://www.ecscoupon.com/1436.html
27.数据中台和数据仓库的区别是什么数据中台和数据仓库都是企业数据管理领域中的重要概念,两者虽然有些相似之处,但其实还是有一些明显的区别的,具体表现在于:1.目的不同;2.数据结构不同;3.数据使用方式不同;4.业务价值不同。 1.目的不同 数据中台的主要目的是将企业中的数据资源整合起来,形成一个能够被各个业务应用程序所共享的数据中心。数据中台https://www.linkflowtech.com/news/277