大数据是什么，干什么用的？包含哪些内容？哪些技术？解决什么问题？
壹寰（深圳）科技文化有限公司
2021-03-27 广告
很多初学者，对大数据分析的概念都是模糊不清的，大数据分析是什么，能做什么，学的时候，该按照什么线路去学习，学完往哪方面发展，很多人对于大数据分析师的印象就是坐在办公室对着电脑噼里啪啦的敲键盘，跟程序员差不多，这种想法是错误的，其实大数据分析师是一个很高大上的职业，大数据分析师通过获取必要的数据，分析这些数据，然后从数据中发现一些问题提出自己的想法，这就是一个大数据分析师的基本工作内容。
大数据工程师工作内容取决于你工作在数据流的哪一个环节。从数据上游到数据下游，大致可以分为：
数据采集 -> 数据清洗 -> 数据存储 -> 数据分析统计 -> 数据可视化 等几个方面
大数据分析工作内容当然就是使用工具组件(Spark、Flume、Kafka等)或者代码(Java、Scala等)来实现上面几个方面的功能。具体说说如下：
一、数据采集
业务系统的埋点代码时刻会产生一些分散的原始日志，可以用Flume监控接收这些分散的日志，实现分散日志的聚合，即采集。
二、数据清洗
原始的日志，数据是千奇百怪的
一些字段可能会有异常取值，即脏数据。为了保证数据下游的"数据分析统计"能拿到比较高质量的数据，需要对这些记录进行过滤或者字段数据回填。
一些日志的字段信息可能是多余的，下游不需要使用到这些字段做分析，同时也为了节省存储开销，需要删除这些多余的字段信息。
一些日志的字段信息可能包含用户敏感信息，需要做脱敏处理。如用户姓名只保留姓，名字用'*'字符替换。
三、数据存储
清洗后的数据可以落地入到数据仓库(Hive)，供下游做离线分析。如果下游的"数据分析统计"对实时性要求比较高，则可以把日志记录入到kafka。
四、大数据分析统计
大数据分析是数据流的下游，消费来自上游的数据。其实就是从日志记录里头统计出各种各样的报表数据，简单的报表统计可以用sql在kylin或者hive统计，复杂的报表就需要在代码层面用Spark、Storm做统计分析。一些公司好像会有个叫BI的岗位是专门做这一块的。
五、数据可视化
用数据表格、数据图等直观的形式展示上游"大数据分析统计"的数据。一般公司的某些决策会参考这些图表里头的数据。当然，大数据平台(如CDH、FusionInsight等)搭建与维护，也可能是大数据工程师工作内容的一部分。
大数据分析师工作的流程简单分为两部分，第一部分就是获取数据，第二部分就是对数据进行处理。那么怎么获得数据呢?首先，我们要知道，获取相关的数据，是数据分析的前提。每个企业，都有自己的一套存储机制。因此，基础的SQL语言是必须的。具备基本SQL基础，再学习下其中细节的语法，基本就可以到很多数据了。当每个需求明确以后，都要根据需要，把相关的数据获取到，做基础数据。
获得了数据以后，才能够进行数据处理工作。获取数据，把数据处理成自己想要的东西，是一个关键点。很多时候，有了数据不是完成，而是分析的开始。大数据分析师最重要的工作就是把数据根据需求处理好，只有数据跟需求结合起来，才能发挥数据的价值，看到需求的问题和本质所在。如果连数据都没处理好，何谈从数据中发现问题呢?
就目前而言，大数据分析日益成为研究行业的重要研究目标。面对其高数据量、多维度与异构化的特点，以及分析方法思路的扩展，传统统计工具已经难以应对。所以我们要使用专业的大数据分析工具。大数据分析工具都有Excel、SPSS、SAS等工具。Excel、SPSS、SAS 这三者对于大数据分析师来说并不陌生。但是这三种大数据分析工具应对的数据分析的场景并不是相同的，一般来说，SPSS 轻量、易于使用，但功能相对较少，适合常规基本统计分析。而SPSS和SAS作为商业统计软件，提供研究常用的经典统计分析处理。由于SAS 功能丰富而强大，且支持编程扩展其分析能力，适合复杂与高要求的统计性分析。
以上的内容就是小编为大家讲解的大数据分析师的工作内容了，大数据分析师的工作是比较繁琐的，但是也是比较高大上的。大家在了解大数据分析工作内容的时候可以参考这篇文章，这样可以更好的理解大数据分析行业，最后感谢大家的阅读。
相关推荐：
《大数据分析师工作内容》、《转行大数据分析师后悔了》、《零基础学大数据分析现实吗》、《大数据分析培训课程内容有哪些》、《大数据分析方法》、《大数据分析培训课程大纲》、《大数据分析流程是什么》、《大数据分析十八般工具》、《大数据分析12大就业方向》、《剖析大数据分析就业前景》、《大数据分析是什么》
