按数据来源分，可将数据分为如下几个类型

按数据类型可分为：结构化数据、半结构化数据、非结构化数据。

（1）结构化数据

一般是从内部数据库和外部开放数据库接口中获得，一般都是存储产品业务运营数据以及用户操作的结果数据，比如注册用户数、下单量、完单量等数据。这类数据格式规范，典型代表就是关系数据库中的数据，可以用二维表来存储，有固定字段数，每个字段有固定的数据类型（数字、字符、日期等），每个字节长度相对固定。这类数据易于维护管理，同时对于查询、展示和分析而言也是最为方便的一类数据格式。

（2）半结构化数据

应用的点击日志以及一些用户行为数据，通常指日志数据、xml、json等格式输出的数据，格式较为规范，一般是纯文本数据，需要对数据格式进行解析，才能用于查询或分析数据。每条记录预定义规范，但是每条记录包含信息不同，字段数不同，字段名和字段类型不同，或者还包含着嵌套的格式。

（3）非结构化数据

即ExtractTransformLoad，描述数据抽取、转换、加载的过程。

数据仓库从各数据源获取数据以及在数据仓库内的数据流转和流动都可以认为是ETL过程，ETL是数据仓库的流水线，也可以认为是数据仓库的血液，它维系着数据仓库中数据的新陈代谢，而数据仓库日常的管理和维护工作大部分精力是保持ETL的正常和稳定。

Kettle是常用的ETL处理开源免费工具，其中文名叫水壶，该项目的主程序员MATT希望把各种数据放到一个壶中，然后以指定的格式流出。Kettle是纯Java编写，可以在Windows、Linux、unix上运营，数据抽取效率高效稳定，开放源代码，便于二次开发包装。但其数据抽取速度和大数据处理方面的能力比起powercenter、informatica、datastage等商业软件要慢。

数据仓库基本架构包含数据流入/流出的过程，可以分为三层：源数据、数据仓库、数据应用。

（1）ODS（OperationalDataStore）数据操作层

用于原始数据在数据平台的落地，这些数据从数据结构、数据之间的逻辑关系上都与雨啊是数据层基本一致。在源数据进入这一层时，通常要进行数据清洗，如业务字段提取、去掉不用字段、脏数据处理等。默认保留近30天的数据，表命名规范为：ods_主题_原表名。

（2）DIM（DimensionDataLayer），数据维度层

（3）DWD（DataWarehouseDetail）数据明细层

用于源系统数据在数据平台中的永久存储，用以支持DWS层和DM层无法覆盖的需求。默认保留历史至今的所有数据，表命名规范为：dwd_主题域_描述，如dws_driver_detail司机个人信息表。

（4）DWS（DataWarehouseService），数据汇总层

主要包含两类汇总表，一是细粒度的宽表，二是粗粒度的汇总表。例如打车业务，包含基于订单、乘客、司机、车辆等细粒度的宽表和基于维度组合如（用户日下单量汇总、用户日完单量汇总、司机日接单量汇总）的粗粒度汇总表。DWS层的汇总数据目标时满足80%的业务计算，默认保留历史至今的所有数据，表命名规范为：dws_主题域_描述，如dws_订单_今日下单量。