数据治理的基石——元数据术语详解数据仓库视图

元数据最简单的定义是描述数据的数据。这里有两个关键点,一个是数据,一个是描述数据。企业中一般的可进行管理的数据如下表:

2.主要作用

在数据治理中,元数据是对数据的描述,存储着数据的描述信息。我们可以通过元数据管理和检索我们想要的“书”。可见元数据是用来描述数据的数据,让数据更容易理解、查找、管理和使用。

元数据是建设数据仓库的基础,是构建企业数据资源全景视图的基础,清晰的血缘分析、影响分析、差异分析、关联分析、指标一致性分析等是数据资产管理的重要一环。

如果说数据是物料,那么元数据就是仓库里的物料卡片;如果说数据是文件夹,那么元数据就是夹子的标签;如果说数据是书,那么元数据就是图书馆中的图书卡。

02

元模型

比如,表模型里定义了表的属性有“注释”、“是否系统表”、“是否临时表”、“所有者”等(图1);定义了表由索引、外键、表分区、字段等组成(图2);定义了表受表输出组件、存储过程、表等的影响(图3)。

图1

图2

图3

有了元模型,就能根据元模型来采集元数据信息。要实现企业元数据管理,需要定义一个符合存储企业数据现状的元数据模型,且这个模型有不同粒度和层次的元模型,有了层次和粒度的划分,未来元数据进行批量管理后就可以灵活的从不同维度进行元数据分析,如企业的数据地图、数据血统都是基于此实现的。

将以上梳理出的信息通过UML建模处理就得到了元模型,在元模型中有包、类、属性、继承、关系。创建元模型的时候也可以参考CWM(公共仓库元模型),CWM定义了一套完整的元模型体系结构,用于数据仓库构建和应用的元数据建模。

03

父子关系

子类元模型可继承父类元模型所有的属性,是将所有一类元模型将相同的属性抽取出来,形成一个父类元模型。例如:父类为哺乳动物,而人、猫、狗都是子类。

元模型中的父子关系可帮助我们快速建立元数据间的关联,便于元数据的维护;有父子关系的元数据之间的映射,可确保查询时的高性能。

04

组合关系

描述组合端模型由被组合端模型所组成,如:物理表模型是由字段模型组成,报表是由报表字段组成,主题域由维表和主题集组成。元数据的组合关系其实就是包含关系,比如表下面有字段、主键,那么表就是包含字段和主键的。

在元数据采集的过程中,会根据采集挂载点的元数据对应元模型的组合关系,将所有元模型对应的元数据都采集过来。在元数据分析时,元数据节点展开后显示的元数据由元模型的组合关系决定。

05

依赖关系

描述模型与模型之间的引用关联关系,如:报表用到了主题表,则报表依赖主题表;视图用户到表,则视图依赖于表。元数据的依赖关系类似于引用的关系,比如视图可以根据表和视图创建,那么视图就是依赖于表和视图的。

元数据的血缘、影响、全链分析都是基于依赖进行分析,主要是通过采集表、视图的创建、存储过程和主外键这些信息进行解析后来构建依赖关系,各种分析出来的效果会根据元数据之间的依赖关系来进行连线。

06

血缘分析

血缘分析是从某一个元数据作为起点,往回追溯数据处理过程。血缘分析是建立在元数据整合的基础上,记录数据治理过程中的血缘关系,基于这些血缘关系信息,可以往回追溯其数据处理过程,并通过图形化的方式展示数据从哪里来,经历了哪些加工。

比如,数据A经过ETL处理生成了数据B,那么我们就说数据A与B有着血缘关系,且数据A是数据B的上游数据,同时数据B是数据A的下游数据。按血缘对象来分,可分为系统级血缘、表级血缘、字段(列)级血缘。不管是结构化数据还是非结构化数据,都必定存在数据血缘关系。

数据血缘分析是元数据管理的重要应用之一,其梳理系统、表、视图、存储过程、ETL、程序代码、字段等之间的关系,并采用图数据库进行可视化展示。简单地说就是通过可视化展示数据是怎么来的,经过了哪些过程、阶段及计算逻辑。数据血缘分析可以提高数据应用的可信度,为数据质量问题的追溯提供了技术上的保障。

07

影响分析

影响分析是从某一个元数据出发,寻找依赖该元数据处理过程的元数据或者实体。

影响分析帮助用户迅速了解分析对象的下游数据信息,快速掌握元数据变更可能造成的影响,以便更有效的评估变化该元数据带来的风险,从而帮助用户高效准确地对数据资产进行清理、维护与使用。

08

全链分析

09

数据地图

以拓扑图的形式展现各类元数据或实体、数据处理过程元数据进行分层次的的图形化展现。

下图是一个数据地图,它显示企业有3个系统域,风险平台、内部管理平台和业务平台。“风险平台”系统域下有反洗钱系统、内控合规系统和全面风险管控三个系统;“内部管理平台”系统域下有财务系统、档案系统和运营管理三个系统;“业务平台”系统域下有贷记卡系统、担保系统和国结系统三个系统。档案系统会用到运营管理和担保系统的数据。财务系统会用到内控合规系统的数据,档案系统会用到担保系统的数据等等。

数据地图对数据的流转分布关系进行可视化展现,通过不同层次的图形展现粒度控制,满足业务使用、数据管理、开发运维不同应用场景的图形查询和辅助分析需求。

像睿治数据治理平台中的元数据库是分系统对系统各元数据进行展示,而数据地图则是从宏观层面展示各系统间关系。数据地图中的系统节点可以和元数据挂载点绑定。构建数据地图,首先我们可以将企业各个业务系统或从业务角度或从管理角度划分给不同的系统域,再通过实际的业务或者数据走向,来定义各系统之间的关系,最终形成企业级数据地图。

THE END
1.什么是组合关系和聚合关系,名词解释定义是?名词解释组合关系和聚合关系 参考答案:符号和符号组合起来的关系称为符号的组合关系。符号的组合关系是有条件的。符号和符号的组合形成语言的结构。在链条的某一环节上 点击查看完整答案 您可能感兴趣的试卷 你可能感兴趣的试题 1.问答题如何理解在对外汉语教学中要以学生为中心? http://www.ppkao.com/tiku/shiti/9136084.html
2.语言学概论三(精选6篇)5、组合关系聚合关系 6、重位、调位、时位 五、名词解释(每小题2分,共12分) 1、小学:中国传统的语文学,围绕阐释和解读先秦典籍来展开研究的。)(不可拆分区) ②词义对现实现象的概括具有模糊性 所谓词义的模糊性是指,通过概括而形成的一般的、简单的东西,本身往往带有一定的模糊性,词义的指称只有一个大致的https://www.360wenmi.com/f/filegu594kr4.html
3.语言学概论真题题库6篇(全文)1.名词解释:语言、语法范畴、混合语、谱系分类、义素分析 2.元音舌位图 见课本P60 3.归纳音位的原则 4.语言演变的内外因 5.组合、聚合关系在语音、语义、语法中的地位和作用 6.语系 7.语言和文字的关系 附:语言学纲要期中试卷 一、填空: 1、(历史比较语言学)的建立,标志着语言学开始走上独立发展的道路。(https://www.99xueshu.com/w/filez73uwt7n.html
4.语言学概论试题及答案一、名词解释 1、历时语言学——就各种语言的历史事实用比较的方法去研究它的“亲属”关系和历史发展的,叫历时语言学。 2、语言——语言是一种社会现象,是人类最重要的交际工具和进行思维的工具。就语言本身的结构来说,语言是由词汇和语法构成的系统。 https://www.ruiwen.com/shiti/1454394.html
5.语言学概论(2)语言这个分层装置的运转是组合和替换,即符号的组合关系和聚合关系。 作业形考答案2 第三章语音 一、名词解释 1、音素:是人类语言从音质角度划分出来的最小的语音单位。 2、元音:发音时气流不受阻的音叫元音,如汉语拼音方案中的字母a、e、o、i、u、ü。 http://www.360doc.com/content/12/1127/22/4530213_250646826.shtml
6.2018年10月自考00541语言学概论真题及答案自考二、名词解释题:本大题共 4 小题,每小题 4 分,共 16 分。 21.孤立语 22.语言借用 23.正迁移 24.串对 三、分析题:本大题共 2 小题,每小题 7 分,共 14 分。 25.分析下面这个对话中违反会话准则所产生的会话含义。 甲:我们下午去逛街吧 ? https://www.educity.cn/zikao/73836.html
7.2018年10月自考00541语言学概论考试真题自考二、名词解释题:本大题共 4 小题,每小题 4 分,共 16 分。 21.孤立语 22.语言借用 23.正迁移 24.串对 三、分析题:本大题共 2 小题,每小题 7 分,共 14 分。 25.分析下面这个对话中违反会话准则所产生的会话含义。 甲:我们下午去逛街吧 ? https://zikao.cwjedu.com/lnzt/5459
8.山东协和学院二、名词解释 1、正性肌力作用 2、负性频率作用 3、负性传导作用 三、问答题 1、强心甙的基本结构与药效关系。 2、强心甙的临床应用及影响疗效的因素。 3、强心甙的不良反应及防治。 4、用强心甙的作用机理解释其具有哪些药理作用? 选择题答案 1 C 2 E 3 D 4 E 5 B 6 C 7 A 8 D 9 C 10https://www.sdxiehe.edu.cn/m/view.php?id=13552
9.经济学:组织市场和购买必看考点(考试必看)考试题库44、名词解释 互生关系 点击查看答案 45、问答题 影响生产者购买决策的主要因素有哪些? 点击查看答案 46、名词解释 中间商市场 点击查看答案 47、 判断题 环境因素指生产者可控制的内部环境。() 点击查看答案 48、填空题 组织市场的购买者往往向供应方()采购。 点击查看答案 49、单项选择题 生产者用户自http://www.91exam.org/exam/87-2874/2874073.html
10.举例说明什么是组合关系,什么是聚合关系在“遗留物品处理流程”微课程中,除客房的客人经常会有“遗留物品”留在房间里,还有哪些地方是客人容易将遗留物品? (1)公共卫生间(2)大堂会客区 (3)楼层走廊(4)大堂沙发(5)商务区(6)酒店停车场(7)餐厅(8)电梯 https://www.shuashuati.com/ti/d43ab3e049d5449a9597e38d0439b797.html
11.《亲密关系》读后感(精选19篇)《亲密关系》读后感 4 1.宇宙中心呼唤爱 如果是以怀有发自内心的爱来面对问题,问题能够得到创造性地解决。 2.关系中的组合关系 一对关系中常常出现类似相反面的角色扮演,它们能够组合成一个整体,深处其间的人,是问题的制造者和参与者,拥有疗愈过去伤痛的机会。 https://www.unjs.com/zuowen/duhougan/20210713102256_3857273.html
12.企业管理介绍名词解释 企业管理文化,或称组织文化(corporate culture或organizational culture),是一个组织由其价值观、信念、仪式、符号、处事方式等组成的其特有的文化形象。 广义上说,文化是人类社会历史实践过程中所创造的物质财富与精神财富的总和;狭义上说,文化是社会的意识形态以及与之相适应的组织机构与制度。而企业文化则是https://m.11467.com/blog/d176137.htm