Question

大数据开发具体是做什么的？求举例说明。

Answer 1

大数据开发有两种开发方向，一种是基于Hadoop和Spark开发大数据平台应用，另一种是基于大数据开源组件开发公司需求的一种完善的大数据系统平台，大数据开发主要偏向于使用计算机编程类的知识。应用在银行中开发出大数据分析平台，用于分析客户的消费内容以及兴趣爱好，便于银行为客户指定优良的推送服务；在游戏行业中负责游戏后端的数据系统开发等；在企业中根据企业的需求开发出大数据分析平台，分析企业所在行业的发展预测，使企业决策更加智能化并提高了企业的工作效率。

最初学习要学会Java语言基础，此阶段是大数据刚入门阶段，主要是学习一些Java语言的概念、字符、流程控制等。大数据从入门到精通学习路线；第二阶段主要掌握Linux操作系统的灵活使用。掌握大数据核心技术之一——Hadoop生态体系。大数据从入门到精通学习路线;第三阶段主要掌握Scala语言的使用、各种数据结构、同时还要深度讲解spark的一系列核心概念比如结构、安装、运行、理论概念等。还有Storm实时开发，Storm主要用来处理实时计算的问题。千锋教育截止目前已在北京、深圳、上海、广州、郑州、成都、大连等20余个核心城市建立直营校区，服务近20万学员、近千所高校和数万家企业。

Answer 2

大数据开发其实分两种：

第一类是编写一些Hadoop、Spark的应用程序，第二类是对大数据处理系统本身进行开发。

第二类工作的话通常才大公司里才有，一般他们都会搞自己的系统或者再对开源的做些二次开发。这种工作的话对理论和实践要求的都更深一些，也更有技术含量。

比如这次疫情中大数据平台对医疗物资的调度、传染模型的分析、防控等起了很大的作用。

大数据开发工程师是大数据领域一个比较热门的岗位，有大量的传统应用需要进行大数据改造，因此有较多的人才需求。这个岗位需要掌握的知识结构包括大数据平台体系结构，比如目前常见的Hadoop、Spark平台等。

Answer 3

大数据工程师：分析历史、预测未来、优化选择，这是大数据工程师在“玩数据”时最重要的三大任务，在Linux系统上使用分布式编程模型，对海量数据，进行处理和分析，比如获取网站日志信息，清洗中间错误数据，想进一步了解大数据，可以网上搜下西安汇杰。