Question

分析如何成为一名大数据开发工程师

Answer 1

1、认识大数据

大数据开发工程师，首先你得熟悉关系型数据库，比如Oracle或者MySQL，熟悉之后，有利于数据仓库的开发；再次熟悉Hadoop，这个都是现在大数据领域中用的最多的一个技术，它的HDFS可以实现分布式存储，Yarn是一个优秀的资源调度框架

2、大数据所需技能要求

必须掌握的技能：

Java高级(虚拟机、并发)、Linux 基本操作、Hadoop（HDFS+MapReduce+Yarn ）、 HBase（JavaAPI操作+Phoenix ）、Hive(Hql基本操作和原理理解）、 Kafka、Storm/JStorm、Scala、Python、Spark (Core+sparksql+Spark streaming ） 、辅助小工具(Sqoop/Flume/Oozie/Hue等)

Answer 2

作为IT类职业中的“大熊猫”，大数据工程师这个职业在国内人才市场可谓是一颗闪耀的新星。由于刚刚出于萌芽阶段，这个领域出现很大的人才缺口。
大数据是眼下最带感的技术名称之一，大数据行业的火爆发展也自然也衍生出了一些与大数据相关的职业，比如互联网数据分析师、数据工程师等等，通过对数据的挖掘分析来影响企业的商业决策已屡见不鲜。
这类职业的人群在国外被叫做数据科学家（Data Scientist），这个头衔最早由D.J.Pati和Jeff Hammerbacher于2008年提出，他们后来分别成为了领英（LinkedIn）和Facebook数据科学团队的负责人。而数据科学家这个职位目前也已经在美国传统的电信、零售、金融、制造、物流、医疗、教育等行业里开始创造价值。
不过在国内，大数据应用还只是处于海平面上的一颗新星，不够成熟不够明亮，所以与其期望有一个全才来完成整个链条上的所有环节，更多公司会根据自己已有的资源和短板，招聘能和现有团队互补的人才，帮助公司发展。
于是每家公司对大数据工作的要求不尽相同：有的专注数据库编程、有的重点突出应用数学和统计学知识、有的是希望能找到懂得产品和市场的数据应用型人才。这种种的条件让很多公司会针对自己的业务类型和团队分工，给这群与大数据打交道的人一些新的头衔和定义：比如数据挖掘工程师、互联网数据分析师、数据挖掘师、用户分析专家等都是经常在国内公司里出现的Title，在此我们将其统称为“大数据工程师” 。
由于国内的大数据工作还处在一个有待开发的阶段，因此能从数据的银河中挖掘出多少有效价值完全取决于工程师的个人能力。西线学院小编在这里也为大家罗列一些行业所需的数据分析人才所包括的能力清单：想要成为数据工程师你要有计算机编码能力、数学及统计学相关背景，当然如果能对一些特定领域或行业有比较深入的了解，对于其快速判断并抓准关键因素则更有帮助。
从一些大公司的人才需求层面而言，拥有硕博学历是比较好的选择，不过阿里巴巴集团研究员薛贵荣强调，学历并不是最主要的因素，能有大规模处理数据的经验并且有喜欢在数据海洋中挖掘寻宝的好奇心会更适合这个工作。所以学历不如经历，只要拥有大规模处理数据的经验，在数据行业发光发热指日可待。

Answer 3

大数据开发前景是很不错的，像大数据开发这样的专业还是一线城市比较好，师资力量跟得上、就业的薪资也是可观的，学大数据开发面授班的时间大约半年，学习大数据开发可以按照路线图的顺序，

Answer 4

随着技术的进步，以大数据为基础而开发的应用将越来越丰富。由于计算机的计算能力和真实可用的庞大数据量不再是问题，因此以人工智能和深度学习为代表的智能应用也将变得更加聪明，更加普及。
中国大数据行业的发展依然呈稳步上升趋势。随着政策的支持和资本的加入，未来几年中国大数据规模还将继续增长，但增速可能会趋于平稳。
我们所指的大数据不同与过去传统的数据，其产生方式、存储载体、访问方式、表现形式、来源特点等都同传统数据不同。大数据更接近于某个群体行为数据，它是全面的数据、准确的数据、有价值的数据。
随着科技的进步，大数据从科学前沿逐渐深入到各行业。纵观国内外，大数据已经形成产业规模，并上升到国家战略层面，大数据技术和应用呈现纵深发展趋势。面向大数据的云计算技术、大数据计算框架等不断推出，新型大数据挖掘方法和算法大量出现，大数据新模式、新业态层出不穷，传统产业开始利用大数据实现转型升级。
趋势一：数据的资源化
趋势二：与云计算的深度结合
趋势三：科学理论的突破
趋势四：数据科学和数据联盟的成立
零基础学习的话至少要6个月，大数据学习的知识挺多的，主要是学习以下内容：
第一阶段：Java语言入门
第二阶段：Javaweb开发
第三阶段：Java企业级主流框架
第四阶段：Hadoop生态圈
第五阶段：Spark生态圈
第六阶段：项目实战和机器学习
第七阶段：就业指导

Answer 5

大数据时下热度不减，物联网、云计算、大数据、人工智能紧密相连。物联网的正常运行是通过大数据传输信息给云计算平台处理，然后人工智能提取云计算平台存储的数据进行活动。
大数据需要特殊的技术以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模的并行处理数据库、数据挖掘、分布式文件系统、分布式数据可、云计算平台、互联网和可扩展的存储系统。公司发展布局的需要催生出了一大批与大数据处理相关的职业，通过对数据的挖掘分析来影响企业的商业决策。
一个大数据工程师到底应该会什么?
关于这个问题最终还是要落实到企业需求上。每家公司对大数据工作的要求不尽相同：有的强调数据库编程、有的突出应用数学和统计学知识、有的则要求有咨询公司或投行相关的经验、有些是希望能找到懂得产品和市场的应用型人才。
由于目前大数据人才匮乏，对于公司来说，很难招聘到合适的人才—既要有高学历，同时最好还有大规模数据处理经验。因此很多企业会通过内部挖掘。
目前长期从事数据库管理、挖掘、编程工作的人，包括传统的量化分析师、Hadoop方面的工程师，以及任何在工作中需要通过数据来进行判断决策的管理者，比如某些领域的运营经理等，都可以尝试大数据工程师职位。
关于大数据工程师需要掌握的知识，不妨从以下7个方面入手：
Java语言基础：
Java开发介绍、熟悉Eclipse开发工具、Java语言基础、Java流程控制、Java字符串、Java数组与类和对象、数字处理类与核心技术、I/O与反射、多线程、Swing程序与集合类
HTML、CSS与JavaScript
PC端网站布局、HTML5+CSS3基础、WebApp页面布局、原生JavaScript交互功能开发、Ajax异步交互、jQuery应用
JavaWeb和数据库
数据库、JavaWeb开发核心、JavaWeb开发内幕
Linux&Hadoopt体系
Linux体系、Hadoop离线计算大纲、分布式数据库Hbase、数据仓库Hive、数据迁移工具Sqoop、Flume分布式日志框架
数据处理
数据获取、数据处理、数据分析、数据展现、数据应用
Spark生态体系
Python编程语言、Scala编程语言、Spark大数据处理、Spark—Streaming大数据处理、Spark—Mlib机器学习、Spark—GraphX 图计算
大数据分析 —AI(人工智能)
Data Analyze工作环境准备&数据分析基础、数据可视化、Python机器学习1、Python机器学习2、图像识别&神经网络、自然语言处理&社交网络处理、实战项目：户外设备识别分析
国内IT、通讯、行业招聘中，有10%都是和大数据相关，且比例还在上升。巨大的人才缺口直接导致各企业纷纷以高薪聘请大数据人才。