大数据课程都学什么啊?
大数据技术专业属于交叉学科:以统计学、数学、计算机为三大支撑性学科;生物、医学、环境科学、经济学、社会学、管理学为应用拓展性学科。
此外还需学习数据采集、分析、处理软件,学习数学建模软件及计算机编程语言等,知识结构是二专多能复合的跨界人才(有专业知识、有数据思维)。
以中国人民大学为例:
基础课程:数学分析、高等代数、普通物理数学与信息科学概论、数据结构、数据科学导论、程序设计导论、程序设计实践。
必修课:离散数学、概率与统计、算法分析与设计、数据计算智能、数据库系统概论、计算机系统基础、并行体系结构与编程、非结构化大数据分析。
选修课:数据科学算法导论、数据科学专题、数据科学实践、互联网实用开发技术、抽样技术、统计学习、回归分析、随机过程。
大数据岗位:
1、大数据系统架构师
大数据平台搭建、系统设计、基础设施。技能:计算机体系结构、网络架构、编程范式、文件系统、分布并行处理等。
2、大数据系统分析师
面向实际行业领域,利用大数据技术进行数据安全生命周期管理、分析和应用。技能:人工智能、机器学习、数理统计、矩阵计算、优化方法。
3、hadoop开发工程师。解决大数据存储问题。
4、数据分析师
不同行业中,专门从事行业数据搜集、整理、分析,并依据数据做出行业研究、评估和预测的专业人员。在工作中通过运用工具,提取、分析、呈现数据,实现数据的商业意义。
5、数据挖掘工程师
做数据挖掘要从海量数据中发现规律,这就需要一定的数学知识,最基本的比如线性代数、高等代数、凸优化、概率论等。经常会用到的语言包括Python、Java、C或者C++,我自己用Python或者Java比较多。有时用MapReduce写程序,再用Hadoop或者Hyp来处理数据,如果用Python的话会和Spark相结合。
1、基础阶段:Linux、Docker、KVM、MySQL基础、Oracle基础、MongoDB、redis。Hadoop、mapreduce、hadoop,HDFS工作原理,YARN介绍及组件介绍。
2、大数据存储阶段:hbase、hive、sqoop。
3、大数据架构设计阶段:Flume分布式、Zookeeper、Kafka。
4、大数据实时计算阶段:Mahout、Spark、storm。
5、大数据数据采集阶段:Python、Scala。
6、数据分析:python。
7、大数据商业实战阶段:实操企业大数据处理业务场景,分析需求、解决方案实施,综合技术实战应用。感兴趣的话点击此处,免费学习一下
想了解更多有关大数据的相关信息,推荐咨询【达内教育】。该机构是引领行业的职业教育公司,致力于面向IT互联网行业培养人才,达内大型T专场招聘会每年定期举行,为学员搭建快捷高效的双选绿色通道,在提升学员的面试能力、积累面试经验同时也帮助不同技术方向的达内学员快速就业。达内IT培训机构,试听名额限时抢购。
基础阶段:Linux、Docker、KVM、MySQL基础、Oracle基础、MongoDB、redis。
hadoop mapreduce hdfs yarn:hadoop:Hadoop 概念、版本、历史,HDFS工作原理,YARN介绍及组件介绍。
大数据存储阶段:hbase、hive、sqoop。
大数据架构设计阶段:Flume分布式、Zookeeper、Kafka。
大数据实时计算阶段:Mahout、Spark、storm。
大数据数据采集阶段:Python、Scala。
大数据商业实战阶段:实操企业大数据处理业务场景,分析需求、解决方案实施,综合技术实战应用。
1阶段
JavaSE基础核心
2阶段
数据库关键技术
3阶段
大数据基础核心
4阶段
Spark生态体系框架&大数据高薪精选项目
5阶段
Spark生态体系框架&企业无缝对接项目
6阶段
Flink流式数据处理框架
按照顺序学习就可以了,希望你早日学有所成。
大数据基础Linux系统管理;Shell编程设计;Maven简介;Maven安装部署与配置;Maven仓库;Maven POM;
2Hadoop生态体系HDFS分布式文件系统;MapReduce分布式计算模型;Yarn分布式资源管理器;Zookeeper分布式协调服务;Habse分布式数据库;Hive分布式数据仓库;FlumeNG分布式数据收集系统;Sqoop大数据迁移系统;
3Spark生态系统Scala黄金语言;Kafka分布式总线系统;SparkCore大数据计算基石;SparkSQL数据挖掘利器;SparkStreaming流式计算平台;SparkMllib机器学习平台;SparkGraphx图计算平台;
要学习这些,你可以参考下