Question

数据挖掘的主要过程

Answer 1

问：数据挖掘的主要过程

答：亲，您好，很高兴为您解答，数据挖掘的主要过程？1. 数据采集，数据采集工作可能是使用像传感器网络这样的专门硬件、手工录入的用户调查，或者如Web爬虫那样的软件工具来收集文档。虽然这个阶段与具体应用息息相关，但常常落在数据挖掘分析师们所考虑的范围之外，而这个阶段对数据挖掘过程也是至关重要的，因为这一阶段所做的选择会明显地影响整个数据挖掘过程。采集阶段产生的数据通常会先存入数据库，广义上称为数据仓库，然后进行处理。2. 特征提取和数据清洗，上述采集阶段得到的数据，其格式往往不适合直接进行处理。例如，采集来的数据可能是使用复杂编码的日志或自由格式的文档，并在许多情况下，各种类型的数据又任意地混合在一起，形成自由格式的文档。要使这样的数据适合进一步加工，有必要把它们转化为对数据挖掘算法较为合适的格式，比如多维数据、时序数据或者半结构化数据等。多维数据是最常见的格式，其不同的字段对应于可以称为特征、属性或维度的各种测量属性。抽取这些特征是数据挖掘的一个至关重要的阶段，而特征提取阶段通常与数据清洗阶段并行进行，以便估计或校正丢失的数据以及错误的数据。另外，在许多情况下，数据可能从多个来源聚集而成，进行处理时需要把它们转换为统一的格式。上述过程的最终结果是一个有较好结构的数据集，可以由计算机程序有效地使用。在特征提取阶段之后，数据可以存回到数据库中用于进一步的处理。3. 分析处理和算法，数据挖掘过程的最后一步是为处理过的数据设计有效的分析方法。在许多情况下，不太可能将手头的应用直接转化成一个标准的数据挖掘问题，比如转化成关联模式挖掘、聚类、分类以及异常检测这四个“超级问题”中的某一个。希望本次服务能够帮助到您，感谢您的咨询，祝您万事如意！