开通VIP，畅享免费电子书等14项超值服
首页
好书
留言交流
下载APP
联系客服
2024.05.18河南
01
什么是元数据？
元数据(Metadata)又称中介数据、中继数据，是描述数据的数据(dataaboutdata)，主要是描述数据属性的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。
概念通常是专业且难懂的，我们来看几个非常易懂的例子：
例子1：元数据相当于字典
以上图的矿字为例，“矿”字是数据本身，是真实数据，不是元数据。而其他红框标识出来的拼音、笔划、部首等对“矿”字描述的信息才是元数据。
例子2：图书馆中的元数据
图书馆都会用一个叫作“图书目录”的文件夹来管理图书，图书目录包含图书名称、编号、作者、主题、简介、摆放位置等信息，用来帮助图书管理员管理和快速查找图书。元数据就如同图书馆的图书目录一样，能够帮助数据管理员管理数据。
例子3：Excel表格中的元数据
其实对于了解数据库的人来说，元数据理解起来比较简单，元数据就是数据库表的表头、索引、主键、外键等信息。但是不了解数据库也没关系，Excel表格跟数据库是一样的道理。
上图表格中红色框标识出的信息是真实数据，而黄色框标识出的“手机号码”、“机主姓名”、“所属运营商”、“开通套餐”、“填写要求”等信息是对真实数据的描述和要求，这些信息都是元数据。
综合上面三个例子可以看出，元数据就是对真实数据的描述和要求，帮助数据的使用者理解、查找、规范和管理数据。
02
元数据的分类
元数据按用途不同分为技术元数据、业务元数据、操作元数据和管理元数据。
操作元数据（OperationalMetadata）：描述了数据的操作属性，比如管理部门、管理责任人等。数据操作属性的明确，有助于将数据管理责任落实到部门和个人，是数据安全管理的基础条件。
示例：比如175这个数字，它在特定场景下，有如下的元数据：
03
元数据的作用
元数据的作用主要体现在如下几个方面：
1.监控和监管生产数据的规则和标准是否发生变化。
如下图①部分所示，将业务系统生产数据的元数据进行采集、存储和管理，并能实时监控生产数据的规则和标准是否发生变更，以确保后续业务调用的数据与生产数据的一致性；
2.通过数据质量分析，提高数据质量。
如下图②部分所示，数据质量分析将生产数据与元数据进行比对分析，生成数据质量分析报告，可以发现生产数据的质量问题，提高数据质量。
3.帮助理解数据，提供各类业务应用的检索和调用需求。
如下图③部分所示，经过治理后的元数据，可以提供给元数据应用、数据挖掘分析（数据建模）、数据可视化大屏调用，还可以变成数据资产，形成数据目录、API，通过数据共享服务给业务端调用。
04
元数据的采集和管理
1.元数据采集
2.元数据管理
从技术的角度看，元数据管理一般包括元模型管理、元数据审核、元数据维护、元数据版本管理、元数据变更管理等功能。
05
元数据的应用场景
5.1数据资产地图
按数据域对企业数据资源进行全面盘点和分类，并根据元数据字典自动生成企业数据资产的全景地图。该地图可以告诉你有哪些数据，在哪里可以找到这些数据，能用这些数据干什么。数据资产地图支持以拓扑图的形式可视化展示各类元数据和数据处理过程，通过不同层次的图形展现粒度控制，满足业务上不同应用场景的图形查询和辅助分析需要。
5.2元数据血缘分析
5.3元数据影响分析
元数据影响分析会告诉你数据去了哪里，经过了哪些加工。其价值在于当发现数据问题时可以通过数据的关联关系向下追踪，快速找到有哪些应用或数据库使用了这个数据，从而最大限度地减小数据问题带来的影响。这个功能常用于数据源的元数据变更对下游ETL、ODS、DW等应用的影响分析。血缘分析是向上追溯，影响分析是向下追踪，这是这两个功能的区别。
5.4元数据冷热度分析
元数据冷热度分析会告诉你哪些数据是企业常用数据，哪些数据属于僵死数据。其价值在于让数据活跃程度可视化，让企业中的业务人员、管理人员都能够清晰地看到数据的活跃程度，以便他们更好地驾驭数据，处置或激活僵死数据，从而为数据的自助式分析提供支撑。
END
数据中台产品简介
数据智能平台是我们自研的一套数据中台产品，支持单节点和集群两种部署方式，可以对数据资产进行统一管理，把数据采集、汇聚、治理后形成数据仓库，并对数据进行统一编目，形成数据资产目录，在此基础上对数据进行共享、挖掘、分析及数据可视化，最大程度发挥数据的价值，进而为客户提供所需数据服务，发挥数据价值、盘活数据资产，助力企业数字化转型和数据资产入表等业务。