Question

数据处理经历了哪几个阶段？

Answer 1

1.数据采集\x0d\x0a了解数据采集的意义在于真正了解数据的原始面貌，包括数据产生的时间、条件、格式、内容、长度、限制条件等。这会帮助数据分析师更有针对性的控制数据生产和采集过程，避免由于违反数据采集规则导致的数据问题;同时，对数据采集逻辑的认识增加了数据分析师对数据的理解程度，尤其是数据中的异常变化。\x0d\x0a在数据采集阶段，数据分析师需要更多的了解数据生产和采集过程中的异常情况，如此才能更好的追本溯源。另外，这也能很大程度上避免“垃圾数据进导致垃圾数据出”的问题。\x0d\x0a2.数据的加工整理\x0d\x0a在明确数据分析目标基础上收集到的数据，往往还需要进行必要的加工整理后才能真正用于分析建模。数据的加工整理通常包括数据缺失值处理、数据的分组、基本描述统计量的计算、基本统计图形的绘制、数据取值的转换、数据的正态化处理等，它能够帮助人们掌握数据的分布特征，是进一步深入分析和建模的基础。\x0d\x0a3.数据分析\x0d\x0a数据分析相对于数据挖掘更多的是偏向业务应用和解读，当数据挖掘算法得出结论后，如何解释算法在结果、可信度、显著程度等方面对于业务的实际意义，如何将挖掘结果反馈到业务操作过程中便于业务理解和实施是关键。\x0d\x0a4.数据展现\x0d\x0a数据展现即数据可视化的部分，数据分析师如何把数据观点展示给业务的过程。数据展现除遵循各公司统一规范原则外，具体形式还要根据实际需求和场景而定。基本素质要求如下：\x0d\x0a工具：PPT、Excel、Word甚至邮件都是不错的展现工具，任意一个工具用好都很强大。\x0d\x0a形式：图文并茂的基本原则更易于理解，生动、有趣、互动、讲故事都是加分项。\x0d\x0a原则：领导层喜欢读图、看趋势、要结论，执行层欢看数、读文字、看过程。\x0d\x0a场景：大型会议PPT最合适，汇报说明Word最实用，数据较多时Excel更方便。\x0d\x0a最重要一点，数据展现永远辅助于数据内容，有价值的数据报告才是关键。

Answer 2

数据治理流程是从数据规划、数据采集、数据储存管理到数据应用整个流程的无序到有序的过程，也是标准化流程的构建过程。

根据每一个过程的特点，我们可以将数据治理流程总结为四个字，即“理”、“采”、“存”、“用”。

1.理：梳理业务流程，规划数据资源

对于企业来说，每天的实时数据都会超过TB级别，需要采集用户的哪些数据，这么多的数据放在哪里，如何放，以什么样的方式放？

这些问题都是需要事先进行规划的，需要有一套从无序变为有序的流程，这个过程需要跨部门的协作，包括了前端、后端、数据工程师、数据分析师、项目经理等角色的参与。

2.采：ETL采集、去重、脱敏、转换、关联、去除异常值

前后端将采集到的数据给到数据部门，数据部门通过ETL工具将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程，目的是将散落和零乱的数据集中存储起来。

3.存：大数据高性能存储及管理

这么多的业务数据存在哪里？这需要有一高性能的大数据存储系统，在这套系统里面将数据进行分门别类放到其对应的库里面，为后续的管理及使用提供最大的便利。

4.用：即时查询、报表监控、智能分析、模型预测

数据的最终目的就是辅助业务进行决策，前面的几个流程都是为最终的查询、分析、监控做铺垫。

这个阶段就是数据分析师的主场，分析师们运用这些标准化的数据可以进行即时的查询、指标体系和报表体系的建立、业务问题的分析，甚至是模型的预测。

Answer 3

1.数据采集
了解数据采集的意义在于真正了解数据的原始面貌，包括数据产生的时间、条件、格式、内容、长度、限制条件等。这会帮助数据分析师更有针对性的控制数据生产和采集过程，避免由于违反数据采集规则导致的数据问题;同时，对数据采集逻辑的认识增加了数据分析师对数据的理解程度，尤其是数据中的异常变化。
在数据采集阶段，数据分析师需要更多的了解数据生产和采集过程中的异常情况，如此才能更好的追本溯源。另外，这也能很大程度上避免“垃圾数据进导致垃圾数据出”的问题。
2.数据的加工整理
在明确数据分析目标基础上收集到的数据，往往还需要进行必要的加工整理后才能真正用于分析建模。数据的加工整理通常包括数据缺失值处理、数据的分组、基本描述统计量的计算、基本统计图形的绘制、数据取值的转换、数据的正态化处理等，它能够帮助人们掌握数据的分布特征，是进一步深入分析和建模的基础。
3.数据分析
数据分析相对于数据挖掘更多的是偏向业务应用和解读，当数据挖掘算法得出结论后，如何解释算法在结果、可信度、显著程度等方面对于业务的实际意义，如何将挖掘结果反馈到业务操作过程中便于业务理解和实施是关键。
4.数据展现
数据展现即数据可视化的部分，数据分析师如何把数据观点展示给业务的过程。数据展现除遵循各公司统一规范原则外，具体形式还要根据实际需求和场景而定。基本素质要求如下：
工具：PPT、Excel、Word甚至邮件都是不错的展现工具，任意一个工具用好都很强大。
形式：图文并茂的基本原则更易于理解，生动、有趣、互动、讲故事都是加分项。
原则：领导层喜欢读图、看趋势、要结论，执行层欢看数、读文字、看过程。
场景：大型会议PPT最合适，汇报说明Word最实用，数据较多时Excel更方便。
最重要一点，数据展现永远辅助于数据内容，有价值的数据报告才是关键。

Answer 4

1.人工管理阶段。特点：（1）数据不保存；(2)应用程序管理数据；（3）数据不共享；（4）数据不具有独立性
2.文件系统阶段。特点：（1）数据可以长期保存；（2）由文件系统管理数据；（3）数据共享性差，冗余度大；（4）数据独立性差
3.数据库系统阶段。特点：（1）数据结构化；（2）数据的共享性高，冗余度低，易扩充；（3）数据独立性高；（4）数据由DBMS统一管理和控制

Answer 5

数据库的产生
计算机管理数据随着计算机的发展而不断发展，利用计算机对数据进行处理经历了4个阶段：即人工管理阶段、文件系统阶段、数据库系统阶段和分布式数据库系统阶段。