下载掌阅APP，畅读海量书库
立即打开
数据质量分析是数据挖掘中数据准备过程的重要一环，是数据预处理的前提，也是数据挖掘分析结论有效性和准确性的基础。没有可信的数据，数据挖掘构建的模型将是空中楼阁。
数据质量分析的主要任务是检查原始数据中是否存在脏数据。脏数据一般是指不符合要求以及不能直接进行相应分析的数据。在常见的数据挖掘工作中，脏数据包括缺失值、异常值、不一致的值、重复数据及含有特殊符号（如#、¥、*）的数据。
本节将主要对数据中的缺失值、异常值和数据的一致性进行分析。
数据的缺失主要包括记录的缺失和记录中某个字段信息的缺失，两者都会造成分析结果不准确。下面从缺失值产生的原因及影响等方面展开分析。
缺失值产生的原因主要有以下3点：
1）有些信息暂时无法获取，或者获取信息的代价太大。
2）有些信息是被遗漏的。可能是因为输入时认为该信息不重要、忘记填写或对数据理解错误等一些人为因素而遗漏，也可能是因为数据采集设备故障、存储介质故障、传输媒体故障等非人为因素而丢失。
3）属性值不存在。在某些情况下，缺失值并不意味着数据有错误。对一些对象来说某些属性值是不存在的，如一个未婚者的配偶姓名、一个儿童的固定收入等。
缺失值的影响主要有以下3点：
1）数据挖掘建模将丢失大量的有用信息。
2）数据挖掘模型所表现出的不确定性更加显著，模型中蕴含的规律更难把握。
3）包含空值的数据会使建模过程陷入混乱，导致不可靠的输出。
对缺失值的分析主要从以下两方面进行：
1）使用简单的统计分析，可以得到含有缺失值的属性的个数以及每个属性的未缺失数、缺失数与缺失率等。
2）对于缺失值的处理，从总体上来说分为删除存在缺失值的记录、对可能值进行插补和不处理3种情况，这些将在4.1.1节详细介绍。
异常值分析是检验数据是否有录入错误，是否含有不合常理的数据。忽视异常值的存在是十分危险的，不加剔除地将异常值放入数据的计算分析过程中，会对结果造成不良影响。重视异常值，分析其产生的原因，常常成为发现问题进而改进决策的契机。
异常值是指样本中的个别值明显偏离其他的观测值。异常值也称为离群点，异常值分析也称为离群点分析。
在进行异常值分析时，可以先对变量做一个描述性统计，进而查看哪些数据是不合理的。最常用的统计量是最大值和最小值，用来判断这个变量的取值是否超出了合理范围。如客户年龄的最大值为199岁，则可判断该变量的取值存在异常。
如果数据服从正态分布，在3 σ 原则下，异常值被定义为一组测定值中与平均值的偏差超过3倍标准差的值。在正态分布的假设下，距离平均值3 σ 之外的值出现的概率为 P （| x-μ |＞3 σ ）≤0.003，属于极个别的小概率事件。
如果数据不服从正态分布，也可以用远离平均值的标准差倍数来描述。
箱形图提供了识别异常值的一个标准：异常值通常被定义为小于 Q L -1.5IQR或大于 Q U +1.5IQR的值。 Q L 称为下四分位数，表示全部观察值中有四分之一的数据取值比它小； Q U 称为上四分位数，表示全部观察值中有四分之一的数据取值比它大；IQR称为四分位数间距，是上四分位数 Q U 与下四分位数 Q L 之差，其间包含了全部观察值的一半。
箱形图依据实际数据绘制，对数据没有任何限制性要求，如服从某种特定的分布形式，它只是真实直观地表现数据分布的本来面貌。同时，箱形图判断异常值的标准以四分位数和四分位距为基础，四分位数具有一定的鲁棒性：多达25%的数据可以变得任意远而不会严重扰动四分位数，所以异常值不能对这个标准施加影响。由此可见，箱形图识别异常值的结果比较客观，在识别异常值方面有一定的优越性，如图3-1所示。
图3-1 箱形图检测异常值
某中型超市的销售额数据可能出现缺失值和异常值，如表3-1所示。
表3-1 某中型超市销售额数据示例
*数据详见：demo/data/sales_data.csv。
分析某中型超市销售额数据可以发现，其中有部分数据是缺失的，但是如果数据记录和属性较多，使用人工分辨的方法就不切实际，所以这里需要编写程序来检测出含有缺失值的记录和属性以及缺失值个数和缺失率等。
在Python的pandas库中，只需要读入数据，然后使用describe()方法即可查看数据的基本情况，如代码清单3-1所示。
代码清单3-1 使用describe()方法查看数据的基本情况
*代码详见：demo/code/01-abnormal_check.py。
代码清单3-1的运行结果如下：
其中count是非空值数，通过len（data）可以知道数据记录为147条，因此缺失值数为1。另外，提供的基本参数还有平均值（mean）、标准差（std）、最小值（min）、最大值（max）以及1/4、1/2、3/4分位数（25%、50%、75%）。更直观地展示这些数据并检测异常值的方法是使用箱形图。它的Python检测代码如代码清单3-2所示。
代码清单3-2 超市日销售额数据异常值检测
*代码详见：demo/code/01-abnormal_check.py。
运行代码清单3-2，可以得到如图3-2所示的箱形图。
图3-2 异常值检测箱形图
从图3-2可以看出，箱形图中超过上下界的9个日销售额数据可能为异常值。结合具体业务可以把33306.0、34293.0、36039.0、37887.0、39886.0、42961.0归为正常值，把47929.0、55931.0、57592.0归为异常值。最后确定过滤规则为日销额在10000元以下或45000元以上则属于异常数据，编写过滤程序，进行后续处理。
数据不一致性是指数据的矛盾性、不相容性。直接对不一致的数据进行挖掘，可能会产生与实际相违背的挖掘结果。
在数据挖掘过程中，不一致的数据主要发生在数据集成的过程中，可能是由于被挖掘数据来自不同的数据源、对于重复存放的数据未能进行一致性更新造成的。例如，两张表中都存储了用户的电话号码，但在用户的电话号码发生改变时只更新了一张表中的数据，那么这两张表中就有了不一致的数据。