数据分析师和数据挖掘工程师的区别
数据分析师岗位重在“分析”,数据挖掘工程师岗位重点是要“挖掘”。
1、【数据分析师】:基于业务,通过数据分析手段发现和分析业务问题,为决策作支持。一般招聘这类岗位的公司规模都不会太小,人数可能不是一个唯一的衡量指标,但是业务规模肯定比较大,反而言之,业务规模太小的公司就没什么可分析的了。
2、此岗位重在“分析”,首先要有一定的数据灵敏度和数学底子,知道在什么样的数据规模下,需要看什么样的数据指标。了解常规的数据挖掘算法,可以使用一些工具得到预期的结果。当然用工具的话是需要公司系统支持一些数据分析软件的,SPSS啊,Clementine什么的,如果没有,说句难听的,弄个Excel表格在有些公司也叫数据分析师。当然有些数据分析师Excel玩儿的可以很溜,可以用Excel模拟一个CTR预估算法的迭代过程。
3、【数据挖掘工程师】:偏技术,通过建立模型、算法、预测等提供一些通用的解决方案,当然也有针对某业务的。岗位重点是要“挖掘”,所以对于人的要求就是要熟悉挖掘的方法,挖掘的工具,或者至少知道在什么平台应该用什么工具,面对什么样的需求应该怎么解。
4、简单来说就是负责接收需求然后产出结果,大部分公司的数据挖掘工程师都比较被动,比如BI找你说“我要100年内的明星数据,而且要知道他们每个人在什么年代拍过什么类型的片子”,这时候你就需要做数据采集,加工整理,结果产出。中间可能会加一些数据可视化或者算法工作,但都要求不高。
5、编程底子不错的,适宜做数据挖掘工程师。数学不错有商业头脑的,适宜做数据分析师。
2022-03-14 广告
联系:都是搞数据的
区别:数据分析偏统计,可视化,出报表和报告,需要较强的表达能力。数据挖掘偏算法,重模型,需要很深的代码功底,要码代码,很多。
2.用什么语言
数据分析:excel是必须,R是基本,python是进阶。SAS和Matlab给土豪去玩吧。
数据挖掘:python是必须,java/c/c++是基础,hadoop/mapreduce/spark先掌握一点,因为并不是所有公司都有这么大的数据量。
3.需要学数学吗
数据分析:统计学,概率论,
数据挖掘:高数/数学分析,数值分析,线性代数,凸优化,运筹学(这些是基本)数字信号处理,模式识别,矩阵论(进阶)
4.要不要读研究生
一般来说,只有应届生去找工作会比较看重学历,因为你没有其他可以展示你能力的。但是随着工作时间久了(两年+),你的能力远超于你所在的学校,学历就不重要了。如果要读,建议读计算数学/概率论/模式识别/计算机 方面的研究生,争取发论文(高质量),否则应聘的时候并没有什么影响,当然,有些公司可能会在初筛的时候根据学历筛选人,正常,真想进就多工作几年再社招进去呗,学历不好也不能怪别人对不对。
工作几年后,如果觉得到瓶颈了,可以再去读书,没什么,这个时候可能你更清楚自己需要的是什么。
5.选择去哪个公司
大公司核心职位优先>>中型公司核心职位>大公司边缘职位>优秀的创业小公司核心职位>中型公司边缘职位>坑人的创业小公司边缘职位
原因:
1.大公司数据量多,人才多。能接触到核心项目核心职位是最佳选择。(BAT,网易有道,微软等)
2.中型公司发展快,机会多,压力大,成长快。(美团滴滴58)
3.创业公司慎选,如果有创业公司的offer,一看他们差不差钱,而看他们项目赢不赢利,三看团队技术氛围浓不浓。不差钱+盈利但技术氛围不浓,可以去,但不适合对技术追求高的人;不差钱+技术氛围浓但暂时不盈利,可以考虑,但要搞清楚盈利模式。盈利+技术氛围浓但现在差钱,可以考虑,争取成为核心成员,一旦融资不得了。如果差钱又不盈利技术氛围还差,算了吧,耗不起。
实在不知道怎么选,就看两点:1.数据量大小 2.技术氛围。钱少可以以后赚,技术氛围浓最重要。
6.没有项目经验怎么办
应届生要啥项目经验,本科生就说说自己的毕业论文,数模/ACM/阿里的参赛经历或获奖经历,以及可能会有的实习经历。研究生就说实验室的项目,负责的工作,完成的成果和发表的论文。不要夸大,如实说。
7.到底该选数据分析还是数据挖掘
代码能力强直接搞算法,弱就先做数据分析,慢慢来,不着急。想我毕业的时候只会Matlab,后来被领导逼着两星期学了R,一个月学了python,自己在业余学了java,hadoop和spark等,也是一步步来的,不要想一口吃成个大胖子。
在回答题主问题之前,还是让我们先看一段PPV课社区上的一段真实对话:
小袁:我是一只苦逼的程序猿,俗称技术屌丝男,还属于码农阶段,起早贪黑不分时间,没房没车没对象,每天除了代码,就是BUG,觉得暗无天日,没有钱途,现在想换相关的职业,不知道DOCTOR V有什么可以介绍的?
Doctor V:云计算的实现,咱们迎来了大数据时代,而基于数据处理和开发,有几个职位想必你会感兴趣,且也是现在大数据时代 背景下所需求的。插一句,且这个行业工资还很高,绝对让你以后在技术行业有傲娇的资本…….^_^
小袁:那大数据行业职位都跟我说说呗?
Doctor V:大数据行业最主要的是数据分析师和大数据工程师,下面是它的职位体系架构
小袁:数据分析师和大数据工程师主要是做什么?
DoctorV:大数据工程师主要是偏开发层面,指的是围绕大数据系平台系统级的研发人员, 熟练Hadoop大数据平台的核心框架,能够使用Hadoop提供的通用算法, 熟练掌握Hadoop整个生态系统的组件如: Yarn,HBase、Hive、Pig等重要组件,能够实现对平台监控、辅助运维系统的开发。
小袁:学习这个需要什么基础吗?
Doctor V:java你肯定要很熟练, linux 这个也需要了解一些,当然hadoop本身入门不难,但是你想看懂源代码,想深入的理解,你要对多线程,并行化等概念都要了解,本身hadoop是一个框架,你把他了解透彻了也等于你对java技术已经有了一个系统的掌握了。
小袁:能简单跟我说说hadoop的学习路径吗?
DoctorV:简单来说就是,首先了解Hadoop原理和用途,了解什么是hdfs和mapreduce;其次,开始搭个环境跑一个wordcount;再次,跑完wordcount,你就可以改代码了;最后测试独立完成一个业务场景…..
小袁:嗯,了解,更多的还是偏技术,写代码。
那你还是跟我说说数据分析师这个职位吧,貌似跟数据打交道,挺有挑战性的!?
Doctor V:数据分析师是指基于大数据进行数据处理分析的人员,能熟练的用适当的统计分析方法对收集来的大量数据进行分析,将它们加以汇总、理解并消化,以求最大化地开发数据的功能,发挥数据的作用。
小袁:这个听起来跟数据打交道,需要做决策分析的啊,好像挺有发展前途啊,有技术基础的能学吗,薪资怎么样啊?
Doctor V:数据分析师在企业中发挥的价值在于能够利用已有的数据资料(一手或二手的)进行观测,实验,研究分析出背后的一套规律为企业进行优化决策。业务层面的员工需要写出数据报告给老板看,如果你的分析结果对企业决策(如营销计划)有改善从而提高了业绩,那么待遇肯定是意想不到的。
数据分析师这个行业入门要求比较低,需要懂一些数据统计、ETL等知识,这些对于学技术的你来说,应该是小菜一碟。
小袁:这个职位,以后的职业路线是怎样的啊?
Doctor V:在职业发展方面,最初可能会是数据分析员从基层开始做起,有团队有人带,到后面逐渐上升为分析师,资深分析师、数据分析专家,数据架构师;其中数据架构师 要求比较高,既要精通数据分析师的业务决策层面,也要会使用Hadoop开发和使用运算模型,我觉得这个可以作为你未来的发展方向,因为你比纯粹的数据分析师有技术基础。
小袁:那么数据分析师和数据挖掘(算法)工程师又有什么区别呢?
Doctor V:数据挖掘(算法)工程师需要较强的编程能力,需要通过语言进行模型算法优化和相关数据产品的开发,而数据分析师需要更多的是业务理解和数据分析能力,一般是业务背景,对编程能力也没有严格的要求。
小袁:OK,got it!
数据分析师和数据挖掘工程师的区别:
1)处理的对象不同:数据挖掘一般是处理大数据,需要分布式计算和编程,数据分析师一般处理的小数据和抽样数据;
2)使用的工具不同:数据挖掘师一般是通过计算机工程和算法解决问题,需要写代码,而数据分析师是通过数据分析软件解决问题,使用的是软件工具和脚本语言;
3)三观不同:数据分析多依赖统计分析,一般需要因果分析和逻辑合理性,数据挖掘多依赖计算机技术,属于利用算力暴力破解,更专注相关性而非因果逻辑。
更多内容请搜索“AI时代就业指南”
一、意义不同
数据分析师 是数据师Datician的一种,指的是不同行业中,专门从事行业数据搜集、整理、分析,并依据数据做出行业研究、评估和预测的专业人员。
算法(Algorithm)是一系列解决问题的清晰指令,也就是说,能够对一定规范的输入,在有限时间内获得所要求的输出。如果一个算法有缺陷,或不适合于某个问题,执行这个算法将不会解决这个问题。不同的算法可能用不同的时间、空间或效率来完成同样的任务。一个算法的优劣可以用空间复杂度与时间复杂度来衡量。算法工程师就是利用算法处理事物的人。
二、薪资不同
数据分析师的职位平均工资大约在¥9086;算法工程师职位平均工资水平(元/月-税前)大约在¥1200之上。
数据分析师和算法工程师哪个难?由上可知算法工程师比数据分析师要难学。此外,企业对于数据分析师的技能要求很高,具体要求如下:
1、懂业务。
从事数据分析工作的前提就会需要懂业务,即熟悉行业知识、公司业务及流程,最好有自己独到的见解,若脱离行业认知和公司业务背景,分析的结果只会是脱了线的风筝,没有太大的使用价值。
2、懂管理。
一方面是搭建数据分析框架的要求,比如确定分析思路就需要用到营销、管理等理论知识来指导,如果不熟悉管理理论,就很难搭建数据分析的框架,后续的数据分析也很难进行。另一方面的作用是针对数据分析结论提出有指导意义的分析建议。
3、懂分析。
指掌握数据分析基本原理与一些有效的数据分析方法,并能灵活运用到实践工作中,以便有效地开展数据分析。基本的分析方法有:对比分析法、分组分析法、交叉分析法、结构分析法、漏斗图分析法、综合评价分析法、因素分析法、矩阵关联分析法等。高级的分析方法有:相关分析法、回归分析法、聚类分析法、判别分析法、主成分分析法、因子分析法、对应分析法、时间序列等。
4、懂工具。
指掌握数据分析相关的常用工具。数据分析方法是理论,而数据分析工具就是实现数据分析方法理论的工具,面对越来越庞大的数据,我们不能依靠计算器进行分析,必须依靠强大的数据分析工具帮我们完成数据分析工作。
5、懂设计。
懂设计是指运用图表有效表达数据分析师的分析观点,使分析结果一目了然。图表的设计是门大学问,如图形的选择、版式的设计、颜色的搭配等等,都需要掌握一定的设计原则。重要作用。
算法工程师需要掌握的技能
1. 编程:PYTHON,JAVA,C
2. 数据结构与算法
3. 机器学习算法
4. PAPER阅读能力
5. 造轮子的能力
对于算法工程师,有别于数据挖掘工程师的第一个区别就是对于传统的算法和数据结构的要求。 我自身不是计算机科班出身,在我工作的第一年压根没有接触过这一块,也从没打算去学这一块。 我第一次知道数据结构和算法的时候是去面试一家英语流利说的公司,当时面试官让我写一下斐波那契数列的伪代码,我听都没有听说过,于是面试官又让我写一下如何从一组数列当中最快的寻找出中位数,我依旧不知所措,因为平时都是习惯用函数,还从没想过真正的实现方式是怎样的。面试官很疑惑也很遗憾的当场就对我说:我觉得你可能不适合我们的岗位。
数据结构和算法应该是必备的技能,算法工程师应该对用常用的知识点有深入理解,能够在面对不同项目场景的时候灵活选择数据机构和算法。
第二点是机器学习算法,这个地方肯定会比之前的数据挖掘算法要求高很多。除了常用机器学习算法能够手推之外,还要对算法本身有更深入的思考。我记得我面试阿里的时候面试官抛出这么几个问题,说如果boosting算法不使用决策树,而使用SVM会怎样,或者说每一轮迭代都使用不同模型,比如第一次是决策树,第二次是SVM,那么会怎样? 还有一个就是logistic regression这些算法为何没有使用ada,mone这些方法,能不能用?有什么优缺点等等。