Question

数据清洗需清理哪些数据

Answer 1

数据清洗需要清理的数据，是输入数据后需要对数据进行预处理，只有处理得当的数据才能进到数据挖掘的步骤。而处理数据包括对数据数量和质量的处理。

包括对缺失的数据有添补或删除相关行列方法，具体步骤自己判断，如果数据量本来就很少还坚持删除，那就是自己的问题了。

添补:常用拉格朗日插值或牛顿插值法，也蛮好理解，属于数理基础知识。(pandas库里自带拉格朗日插值函数，而且这个好处是还可以在插值前对数据进行异常值检测，如果异常那么该数据就也被视为需要进行插值的对象)。

删除:这个也好理解，就是对结果分析没有直接影响的数据删除。

异常值
这个是否剔除需要视情况而定
像问题1中视为缺失值重新插值
删除含有异常值的记录(可能会造成样本量不足，改变原有分布)
平均值修正(用前后两个观测值平均值)
综上，还是方案一靠谱。
人生苦短，学好python
3 数据量太多，有三种方法:集成，规约，变换
(1)数据是分散的时，这个就是指要从多个分散的数据仓库中抽取数据，此时可能会造成冗余的情况。此时要做的是【数据集成】。
数据集成有两方面内容:
①冗余属性识别②矛盾实体识别
属性:
对于冗余属性个人理解是具有相关性的属性分别从不同的仓库中被调出整合到新表中，而新表中由于属性太多造成冗余，这时可以靠相关性分析来分析属性a和属性b的相关系数，来度量一个属性在多大程度上蕴含另一个属性。等等。

数据清洗时预处理阶段主要做两件事情：

一是将数据导入处理工具。通常来说，建议使用数据库，单机跑数搭建MySQL环境即可。如果数据量大（千万级以上），可以使用文本文件存储+Python操作的方式。

二是看数据。这里包含两个部分：一是看元数据，包括字段解释、数据来源、代码表等等一切描述数据的信息；二是抽取一部分数据，使用人工查看方式，对数据本身有一个直观的了解，并且初步发现一些问题，为之后的处理做准备。

数据清洗是整个数据分析过程中不可缺少的一个环节，其结果质量直接关系到模型效果和最终结论。在实际操作中，数据清洗通常会占据分析过程的50%—80%的时间。

Answer 2

数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。