1.1什么是数据仓库创新互联

分析数据以更好地了解业务并改善业务

除了关系数据库之外,数据仓库环境还可以包括提取,传输,转换和加载(ETL)解决方案,统计分析,报告,数据挖掘功能,客户端分析工具以及管理数据收集过程的其他应用程序。,将其转化为有用的,可操作的信息,并将其交付给业务用户。

数据仓库通常存储数月或数年的数据以支持历史分析。数据仓库中的数据通常通过来自多个数据源的提取,转换和加载(ETL)过程加载。现代数据仓库正朝着提取,加载,转换(ELT)架构发展,其中所有或大多数数据转换都在托管数据仓库的数据库上执行。重要的是要注意,定义ETL过程是数据仓库设计工作的很大一部分。同样,ETL操作的速度和可靠性是数据仓库启动和运行后的基础。

虽然上面的讨论集中在术语“数据仓库”上,但还有两个重要的术语需要提及。这些是数据集市和操作数据存储(ODS)。

数据集市与数据仓库具有相同的作用,但其范围有限。它可以服务于某个特定部门或业务线。数据集市与数据仓库的优势在于,由于其有限的覆盖范围,它可以更快地创建。但是,数据集市也会产生不一致的问题。在数据集市中保持数据和计算定义一致需要严格的纪律。这个问题已被广泛认可,因此数据集市有两种风格。独立数据集市是直接从源数据馈送的数据集市。他们可以变成信息不一致的岛屿。从属数据集市从现有数据仓库提供。依赖数据集市可以避免不一致的问题,但它们要求已经存在企业级数据仓库。

存在操作数据存储以支持日常操作。ODS数据被清理和验证,但它在历史上并不深刻:它可能只是当天的数据。ODS不是支持数据仓库可以处理的历史丰富的查询,而是为数据仓库提供了访问最新数据的位置,这些数据尚未加载到数据仓库中。ODS还可以用作加载数据仓库的源。随着数据仓库加载技术变得更加先进,数据仓库可能不再需要ODS作为加载数据的源。相反,恒定的涓流进给系统可以近乎实时地加载数据仓库。

引入数据仓库的常用方法是参考WilliamInmon提出的数据仓库的特征:

主题导向

集成

非易失

数据仓库旨在帮助您分析数据。例如,要了解有关公司销售数据的更多信息,您可以构建专注于销售的数据仓库。使用此数据仓库,您可以回答诸如“去年谁是我们这个项目的最佳客户?”之类的问题。或“明年谁有可能成为我们最好的客户?”这种按主题定义数据仓库的能力,在这种情况下是销售,使数据仓库面向主题。

非易失性意味着,一旦进入数据仓库,数据就不应该改变。这是合乎逻辑的,因为数据仓库的目的是使您能够分析发生的情况。

1.1.1数据仓库的主要特征

凯数据仓库的特征如下:

数据的结构简化了访问和高速查询性能。

使用大量历史数据。

查询通常会检索大量数据,可能是数千行。

预定义和即席查询都很常见。

数据加载涉及多个源和转换。

通常,具有高数据吞吐量的快速查询性能是成功数据仓库的关键。

1.2对比OLTP和数据仓库环境OLTP系统和数据仓库之间存在重要差异。系统类型之间的一个主要区别是数据仓库不仅仅是第三范式(3NF),这是OLTP环境中常见的一种数据规范化。

数据仓库和OLTP系统有着非常不同的要求。以下是典型数据仓库和OLTP系统之间差异的一些示例:

工作量

数据仓库旨在适应即席查询和数据分析。您可能不会提前知道数据仓库的工作负载,因此应优化数据仓库以便在各种可能的查询和分析操作中良好运行。

OLTP系统仅支持预定义的操作。您的应用程序可能经过专门调整或设计为仅支持这些操作。

数据修改

在OLTP系统中,最终用户会定期向数据库发出单独的数据修改语句。OLTP数据库始终是最新的,并反映每个业务事务的当前状态。

架构设计

数据仓库通常使用部分非规范化模式来优化查询和分析性能。

OLTP系统通常使用完全规范化的模式来优化更新/插入/删除性能,并保证数据的一致性。

典型的操作

典型的数据仓库查询扫描数千或数百万行。例如,“查找上个月所有客户的总销售额”。

典型的OLTP操作只访问少数记录。例如,“检索此客户的当前订单”。

历史数据

数据仓库通常存储数月或数年的数据。这是为了支持历史分析和报告。

OLTP系统通常只存储数周或数月的数据。OLTP系统仅根据需要存储历史数据,以成功满足当前事务的要求。

1.3通用数据仓库任务作为一个O.racle数据仓库管理员或设计人员,您可以期望参与以下任务:

配置Oracle数据库以用作数据仓库

设计数据仓库

将数据库和数据仓库软件升级到新版本

管理模式对象,例如表,索引和物化视图

管理用户和安全性

开发用于提取,转换和加载(ETL)过程的例程

根据数据仓库中的数据创建报告

备份数据仓库并在必要时执行恢复

监控数据仓库的性能并根据需要采取预防或纠正措施

在中小型数据仓库环境中,您可能是执行这些任务的唯一人员。在大型企业环境中,作业通常分为几个DBA和设计人员,每个人都有自己的专长,例如数据库安全性或数据库调优

THE END
1.数据库和数据仓库的本质区别是什么?数据仓库和数据库的具体区别关于数据库和数据仓库的本质区别到底是什么?我们先来看一个例子。 拿电商行业来说好了。基本每家电商公司都会经历,从只需要业务数据库到要数据仓库的阶段。 电商早期启动非常容易,入行门槛低。找个外包团队,做了一个可以下单的网页前端 + 几台服务器 + 一个MySQL,就能开门迎客了。这好比手工作坊时期。 https://blog.csdn.net/u014593570/article/details/77524956
2.什么是数据仓库?数据仓库简介什么是数据仓库? 数据仓库是信息(对其进行分析可做出更明智的决策)的中央存储库。通常,数据定期从事务系统、关系数据库和其他来源流入数据仓库。业务分析师、数据工程师、数据科学家和决策者通过商业智能(BI)工具、SQL 客户端和其他分析应用程序访问数据。 http://aws.amazon.com/cn/data-warehouse/
3.数据库与数据仓库的本质区别是什么?我看了下目前的答案,大家从理论层面把数据库和数据仓库的本质区别解释的很全面了。数据库:传统的关系https://www.zhihu.com/question/20623931
4.10分钟了解啥是数仓腾讯云开发者社区业务元数据为管理层和业务分析人员服务,从业务角度描述数据,包括商务术语、数据仓库中有什么数据、数据的位置和数据的可用性等,帮助业务人员更好地理解数据仓库中哪些数据是可用的以及如何使用。 由上可见,元数据不仅定义了数据仓库中数据的模式、来源、抽取和转换规则等,而且是整个数据仓库系统运行的基础,元数据把数据https://cloud.tencent.com/developer/article/2113852
5.什么是数据仓库?Oracle中国什么是数据仓库? 数据仓库的定义 数据仓库是一种面向商务智能 (BI) 活动(尤其是分析)的数据管理系统,它仅适用于查询和分析,通常涉及大量的历史数据。在实际应用中,数据仓库中的数据一般来自应用日志文件和事务应用等广泛来源。 数据仓库能够集中、整合多个来源的大量数据,借助数据仓库的分析功能,企业可从数据中获得https://www.oracle.com/cn/database/what-is-a-data-warehouse/
6.什么是数据仓库?MicrosoftAzure开始跨多个数据源获取有价值的见解。了解如何使用最重要的企业工具和资源构建数据仓库。https://azure.microsoft.com/zh-cn/resources/cloud-computing-dictionary/what-is-a-data-warehouse/
7.什么是数据仓库什么是数据仓库 一、数据仓库概念 数据仓库(Data Warehouse)可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境,为企业所有决策定制过程,提供所有系统数据支持的战略计划。它出于分析性报告和决策支持的目的而创建。 数据仓库本身并不“生产数据”,同时自身也不需要“消费”任何数据,数据来源于外部,并且https://www.jianshu.com/p/e0b832ffe002
8.什么是数据仓库?数据库是一个装数据(信息的原材料)的地方。 数据仓库是一种系统,这种系统也是用数据库装东西。(这有点没说清楚:个人理解数据库和数据仓库当然都是装数据的地方,关键的区别是装的什么样的数据,数据库装的原始数据,没经过任何加工;而数据仓库是为了满足分析需要,对源数据进行了Transform过程,具体https://zhidao.baidu.com/question/634207585226758404.html
9.什么是数据仓库数据仓库的定义?IBM数据仓库或企业数据仓库 (EDW) 是一种系统,它可将来自不同来源的数据汇聚到一个集中、统一的数据存储中,从而为数据分析、数据挖掘、人工智能 (AI)和机器学习提供支持。 通过数据仓库系统,组织能以标准数据库无法企及的方式对大量数据(TB 级和 PB 级)运行强大的分析。 https://www.ibm.com/cn-zh/topics/data-warehouse
10.什么是数据仓库数据仓库是为企业所有级别的决策制定过程提供各类数据支持的战略集合,被认为是商业智能的核心组件。数据进入数据仓库前需要抽取、清洗、筛选、归类,以保证数据质量,也易于后期查找、分析。数据管理是指企业将数据作为组织资产并对其管理的一系列具体化的管理。数据治理从https://www.dongao.com/cma/zy/202106283472427.shtml
11.数据仓库服务DWS什么是数据仓库服务什么是数据仓库服务 数据仓库服务GaussDB(DWS)是一种基于云基础架构和平台的在线数据分析处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务,兼容ANSI/ISO标准的SQL92、SQL99和SQL 2003语法,同时兼容PostgreSQL/Oracle/Teradata/MySQL等数据库生态,为各行业PB级海量大数据分析提供有竞争力的解决方案。https://ecloud.10086.cn/op-help-center/doc/article/32102
12.什么是数据仓库?数据仓库的定义什么是数据仓库? Table of Contents 数据仓库的定义 数据仓库的构成要素与视频解析 数据仓库的独特优势 数据仓库的架构设计与进化历程 数据仓库的现代化进程与云技术融合 数据仓库的设计与实施策略 数据湖与数据仓库的选择策略 数据仓库与OLTP系统的对比 自治数据仓库的未来展望https://www.hypers.com/content/archives/4546
13.什么是数据仓库?数据仓库的特点主要有哪些?王利头什么是数据仓库? 数据仓库是一个集中式数据库,其中存储了从多个来源提取的经过转换、整合和组织的各种业务数据。它为企业提供了单一的真理来源,用于分析、报告和决策制定。数据仓库不同于事务数据库,后者设计用于快速处理日常交易。 数据仓库的特点 数据仓库具有以下主要特点: https://www.wanglitou.cn/article_25538.html
14.什么是数据仓库数据仓库的特点和作用星云联动在经济全球化背景下,企业间市场竞争越发激烈,数据的价值也越发凸显,如今,单纯的数据处理已开始无法满足商业信息系统的需求,依托大量数据信息为企业相关决策提供支持已成了企业信息系统建设的必要阶段。本文星云联动主要介绍什么是数据仓库,数据仓库的特点和作用。 https://www.istarscloud.com/new/3297.html
15.数据仓库和数据中心的区别数据仓库的核心是什么数据仓库和数据中心的区别 数据仓库的核心是什么 数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。 关于其定义,数据仓库之父比尔·恩门(Bill Inmon)在1991年出版的“Building the Data Warehouse”(《建立数据仓库》)一书中所提出的定义https://blog.51cto.com/u_12192/6808881
16.4分钟带你看懂究竟什么是数据仓库?但是,如果你是该领域的新手,你可能想知道什么是数据仓库?为什么我们需要它,它是怎么运行的? 别担心,因为在接下来的4分钟,你将知晓这所有问题的答案。 好的,首先让我们看到定义。 唯一数据源——这个词是什么意思? 在信息系统理论中,唯一数据源是在一个地方构造全部最佳质量数据的实践。 http://528045.com/article/0d6202ad13.html
17.数据仓库是什么?数据仓库建设的三种思路是什么?要研究数据价值,就必须要先做好数据的治理、管理工作,因为数据挖掘、OLAP等数据分析技术都是建立在数据仓库的基础上的,数仓的一大作用就是数据的整合与治理。 一、数据仓库的基本概念 数据仓库是一个面向主题的、集成的、相对稳定性的、反映历史变化的数据集合。它是一种新的数据处理体系结构,对企业内部各部门业务数https://www.fanruan.com/bw/dw-sjcsd
18.数据仓库是什么,数据仓库的优势以及应用嘲有哪些在数字化转型的大潮中,数据已成为企业最宝贵的资产之一。如何高效、安全地存储、管理和分析这些数据,成为企业提升竞争力、实现精准决策的关键。数据仓库,作为这一过程中的核心组件,正发挥着不可替代的作用。本文将深入探讨数据仓库的定义、优势以及丰富的应用场景,旨在帮助读者全面了解这一重要概念,并为企业在数据管理的https://www.selectdb.com/blog/1045
19.一文读懂什么是数据仓库(DataWarehouse)数据仓库(Data Warehouse,简称DW或DWH)是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,主要用于支持企业的管理决策过程。 定义与特点 数据仓库是为企业所有级别的决策制定过程提供各类数据支持的战略集合,被认为是商业智能(BI)的核心组件,通常具备以下特点: https://www.qzad.com/?m=home&c=View&a=index&aid=7693
20.什么是数据仓库数据集市和数据湖?袋鼠社区博客 什么是数据仓库、数据集市和数据湖? 什么是数据仓库、数据集市和数据湖? 小美 发表于 2023-03-23 10:16 120 0 数据仓库 湖仓一体 数据分析 大数据 数据中台 数字化转型 数据治理 流批一体 0条评论 上一篇:从头梳理现代数据架构湖仓一体的历史 下一篇:一文讲明白,数据湖+数据仓=湖仓一体?https://www.dtstack.com/bbs/article/1291
21.数据仓库是什么数据仓库的特点数据仓库与数据库区别数据仓库是什么 数据仓库,英文名称为DataWarehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而创建。为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。 https://www.elecfans.com/d/634427.html
22.什么是数据仓库服务数据仓库服务GaussDB(DWS)数据仓库服务GaussDB(DWS)是一种基于华为云基础架构和平台的在线数据分析处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务,兼容ANSI/ISO标准的SQL92、SQL99和SQL 2003语法,同时兼容PostgreSQL/Oracle/Teradata/MySQL等数据库生态,为各行业PB级海量大数据分https://support.huaweicloud.com/productdesc-dws/dws_01_0002.html
23.数据仓库的基本概念是什么?(数据仓库的主要功能)服务器技术数据仓库与数据库的主要区别在于:(1)数据库是面向事务的设计,数据仓库是面向主题设计的。(2)数据库一般存储在线交易数据,数据仓库存储的一般是历史数据。(3)数据库设计是尽量避免冗余,数据仓库在设计是有意引入冗余。(4)数据库是为捕获数据而设计,数据仓库是为分析数据而设计。 https://www.kangle.im/post/117894.html
24.数据仓库是什么?·Hadoop2.x·看云粒度之所以是数据仓库环境的关键设计问题,是因为它极大地影响数据仓库的数据量和可以进行的查询类型。粒度级别越低,数据量越大,查询的细节程度越高,查询范围越广泛,反之亦然。 例:下面的系统中提取的主题: 采购子系统:订单(订单号,供应商号,总金额,日期)订单细则(订单号,商品号,类别,单价,数量)供应商(供应商号https://www.kancloud.cn/king_om/h_001/2188615
25.数据仓库是什么(为什么要建立数据仓库)、什么是数据仓库? 数据仓库 (Data Warehouse) 简称DW,存储大量数据的集成中心。数据仓库的目的是构建面向分析的集成化数据环境,为企业提供决策支持(Decision-Support)。它为企业提供一定的BI(商业智能)能力,指导业务流程改进、监视时间、成本、质量以及控制。 https://www.marketup.cn/marketupblog/yxzx/12436.html
26.数据仓库是什么意思?详细讲述数据仓库架构特点类型在当今快速变化的企业环境中,组织正在转向基于云的技术来方便地收集、报告和分析。这就是数据仓库作为商业智能的核心组件发挥作用的地方,它使企业能够提高绩效。了解什么是数据仓库以及它为何在全球市场中不断发展非常重要。 在本文中,我们将概述数据仓库 – 探索数据仓库架构、数据仓库的特点、什么是数据管理、数据仓库https://www.ecscoupon.com/1436.html
27.数据中台和数据仓库的区别是什么数据中台和数据仓库都是企业数据管理领域中的重要概念,两者虽然有些相似之处,但其实还是有一些明显的区别的,具体表现在于:1.目的不同;2.数据结构不同;3.数据使用方式不同;4.业务价值不同。 1.目的不同 数据中台的主要目的是将企业中的数据资源整合起来,形成一个能够被各个业务应用程序所共享的数据中心。数据中台https://www.linkflowtech.com/news/277