数据预处理的流程和步骤是怎样的？

教育行业A股IPO第一股（股票代码003032）

全国咨询/投诉热线：400-618-4000

数据预处理针对各种数据问题提供了相应的解决方法，并将这些方法按照不同的功能划分到处理过程中的每个步骤，以逐步实现提高数据质量、整合多源数据、调整数据形式、保留重要数据的目标。数据预处理的一般流程如下所示。

上图所示的一般流程中各步骤的具体说明如下。

1.数据获取

数据获取是预处理的第一步，该步骤主要负责从文件、数据库、网页等众多渠道中获取数据，以得到预处理的初始数据，为后续的处理工作做好数据准备。

2.数据清理

数据清理主要是将“脏”数据变成“干净”数据的步骤。该步骤会通过一系列的方法对“脏”数据进行处理，包括删除重复数据、填充缺失数据、检测异常数据等，以达到清除冗余数据、规范数据、纠正错误数据的目的。数据清理的示意图如下。

3.数据集成

数据集成主要负责把多个数据源合并成一个数据源，以达到增大数据量的目的数据集成的示意图如下

值得一提的是，在合并多个数据源时，因为数据源对应的现实实体的表达形式不同，所以要考虑实体识别、属性冗余、数据值冲突等问题。

4.数据变换

数据变换主要负贵将数据转换成适当的形式，以降低数据的复杂度。数据变换的示意图如下所示。

5.数据规约

数据规约主要负责在尽可能保持数据原貌的前提下，最大限度地精简数据量，其方法包括降低数据的维度、删除与数据分析或数据挖掘主题无关的数据等。数据规约的示意图如下。

需要说明的是，数据清理、数据集成、数据变换、数据规约都是数据预处理的主要步骤,它们没有严格意义上的先后顺序，在实际应用时并非全部会被使用，具体要视业务需求而定。本节只简单地介绍了每个步骤的目的，每个步骤中涉及的处理方法会在后文展开介绍。