数据分析师的日常工作内容是什么？
2019-03-19 · 大数据人才培养的机构
加米谷大数据科技
数据分析是指用统计分析方法对收集的数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结并指导实际工作和生活。
（1）获取数据
获取相关的数据，是数据分析的前提。
（2）数据处理
获取数据，把数据处理成自己想要的东西。
（3）形成报告
把数据分析的结果可视化，展现出来。
北京北龙超级云计算有限责任公司
2020-03-02 广告
明确了数据分析师的工作范围，大概也就清楚了每天要做些什么，比如：
产品和运营的数据提供(正常分析师工作)
基础数据采集和处理(类似ETL工作)
数据产品的思考和搭建(类似数据产品经理工作)
数据价值的挖掘(类似数据挖掘工程师工作)
大数据工程师工作内容取决于你工作在数据流的哪一个环节。
从数据上游到数据下游，大致可以分为：
数据采集 -> 数据清洗 -> 数据存储 -> 数据分析统计 -> 数据可视化 等几个方面
工作内容当然就是使用工具组件(Spark、Flume、Kafka等)或者代码(Java、Scala等)来实现上面几个方面的功能。
具体说说吧，
数据采集：
业务系统的埋点代码时刻会产生一些分散的原始日志，可以用Flume监控接收这些分散的日志，实现分散日志的聚合，即采集。
数据清洗：
原始的日志，数据是千奇百怪的
一些字段可能会有异常取值，即脏数据。为了保证数据下游的"数据分析统计"能拿到比较高质量的数据，需要对这些记录进行过滤或者字段数据回填。
一些日志的字段信息可能是多余的，下游不需要使用到这些字段做分析，同时也为了节省存储开销，需要删除这些多余的字段信息。
一些日志的字段信息可能包含用户敏感信息，需要做脱敏处理。如用户姓名只保留姓，名字用'*'字符替换。
数据存储：
清洗后的数据可以落地入到数据仓库(Hive)，供下游做离线分析。如果下游的"数据分析统计"对实时性要求比较高，则可以把日志记录入到kafka。
数据分析统计：
数据分析是数据流的下游，消费来自上游的数据。其实就是从日志记录里头统计出各种各样的报表数据，简单的报表统计可以用sql在kylin或者hive统计，复杂的报表就需要在代码层面用Spark、Storm做统计分析。一些公司好像会有个叫BI的岗位是专门做这一块的。
数据可视化：
用数据表格、数据图等直观的形式展示上游"数据分析统计"的数据。一般公司的某些决策会参考这些图表里头的数据~
当然，大数据平台(如CDH、FusionInsight等)搭建与维护，也可能是大数据工程师工作内容的一部分喔~
希望对您有所帮助！~
分析师可以参与分析过程任何部分的工作内容。作为一名数据分析师，可以参与从建立分析系统到基于收集数据提供见解的所有工作，甚至可能在数据收集系统中培训其他人。
常见的数据分析师工作职责：
1、制作报告
作为一名分析师，需要花了大量时间来制作内部报告和对外客户报告。这些报告为管理层提供趋势以及公司需要改进见解。
编写报告并不是将数字汇总发送给领导那么简单。数据分析师需要了解如何用数据创建叙述，为了保持价值，数据分析报告要一目了然，简单易懂的方式展现答案和见解，因为决策者或者上级领导不一定也是数据分析师。
2、发现重点
“成功的数据分析师了解如何用数据创建叙述。”为了生成那些有意义的报告，数据分析师首先必须能够看到数据中的重要部分和模式。定期递增报告（例如每周，每月或每季度）很重要，因为它有助于分析师注意到重要的部分是什么。
3、收集数据并设置基础设施
也许分析师工作中最技术性的方面是收集数据本身。但通常这也意味着数据分析师要与网络开发人员合作并优化数据收集。
挖掘数据是数据分析师的基本工作职责之一，简化数据收集同样也数据分析师的关键。因此分析人员需要一些专门的软件和工具来帮助完成工作任务。
想要了解更多关于数据挖掘工程师的信息可以咨询一下CDA认证机构，CDA是大数据和人工智能时代面向国际范围全行业的数据分析专业人才职业简称。全球CDA持证者秉承着先进商业数据分析的新理念，遵循着《CDA职业道德和行为准则》新规范，发挥着自身数据专业能力，推动科技创新进步，助力经济持续发展。
|
广告 您可能关注的内容 |
