小白想转行做大数据,怎么入行
2018-10-09 · 国内专业的大数据轻应用自助平台
大数据现在这么火,想往大数据方面发展,但是英文、数学不好的可以吗?? 学习大数据该学哪些技术??大数据和程序员比哪个要好学点??等等。。。很多人学大数据的原因就是大数据找工作好找,薪资很高,,当然,为了这个原因也是可以的,毕竟这个时代就业压力确实很大,为了一个好的工作学一门技术,,但是我想问下你,你的专业是什么呢??对于计算机/软件,你的兴趣是什么?是计算机专业,对操作系统、硬件、网络、服务器感兴趣?是软件专业,对软件开发、编程、写代码感兴趣?还是数学、统计学专业,对数据和数字特别感兴趣。。
其实说这些不是为了说明大数据有多难,只是告诉你这就是大数据的三个发展方向,平台搭建/优化/运维/监控、大数据开发/设计/架构、数据分析/挖掘。。这三个方面没有哪个容易学些、哪个薪资高些、哪个发展前景好些。。。
现如今大数据开源框架也是越来越多,举几个常用的例子:
文件存储:Hadoop HDFS、Tachyon、KFS
流式、实时计算:Storm、Spark Streaming、S4、Heron
K-V、NOSQL数据库:HBase、Redis、MongoDB
资源管理:YARN、Mesos
日志收集:Flume、Scribe、Logstash、Kibana
消息系统:Kafka、StormMQ、ZeroMQ、RabbitMQ
查询分析:Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid
分布式协调服务:Zookeeper
集群管理与监控:Ambari、Ganglia、Nagios、Cloudera Manager
数据挖掘、机器学习:Mahout、Spark MLLib
数据同步:Sqoop
任务调度:Oozie
上面有30多种框架了吧,哈哈,是不是有点慌了,虽然有这么多框架,别说全部精通了,就算是全会用的,估计现在也没有几个,就要看你在三个方面往哪个方面发展了。就拿第二个来说(开发/设计、架构),且先听听我的建议:
一、初识hadoop
Hadoop可以算是大数据存储和计算的开山鼻祖,现在大多开源的大数据框架都依赖Hadoop或者与它能很好的兼容。
关于Hadoop,你至少需要搞清楚以下是什么:
Hadoop 1.0、Hadoop 2.0
MapReduce、HDFS
NameNode、DataNode
JobTracker、TaskTracker
Yarn、ResourceManager、NodeManager
自己搭建Hadoop,请使用第一步和第二步,能让它跑起来就行。
建议先使用安装包命令行安装,不要使用管理工具安装。
另外:Hadoop1.0知道它就行了,现在都用Hadoop 2.0.
二、更高效的WordCount
首先,你得先学习SQL,访问、查询数据库的基本语言还是要懂的。。然后SQL On Hadoop之Hive,Hive是数据仓库工具,数据仓库是逻辑上的概念,底层使用的是数据库,数据仓库的特点:数据全(海量)、稳定;所谓稳定,比如数据库的数据经常要更新,而数据仓库的数据是不会被更新,只会被查询,所以说Hive适合做数据仓库。最后就是了解hive的工作原理,学会Hive的工作命令。
三、把别处的数据搞到Hadoop上
四、把Hadoop上的数据搞到别处去
五、实例分析
六、实时数据
七、更新查询数据
八、高大上的机器学习
完成了第一、二,说明你已经快步入大数据的行列了,写的不好也请多多包涵。
详细了解 可登录网址:网页链接
2021-10-27 · 每时每课,给你新机会!
转行做大数据,最好是报班学习,有质量的学校还会提供就业方面的保障。
大数据目前发展确实很好,当前大数据应用尚处于初级阶段,根据大数据分析预测未来、指导实践的深层次应用将成为发展重点。各大互联网公司都在囤积大数据处理人才,从业人员的薪资待遇也很不错。
想要转行的话,的确是个很好的方向。既然想要转行大数据,那么肯定要具备大数据的相关知识与技能。
这里介绍一下大数据要学习和掌握的知识与技能:
①java:一门面向对象的计算机编程语言,具有功能强大和简单易用两个特征。
②spark:专为大规模数据处理而设计的快速通用的计算引擎。
③SSM:常作为数据源较简单的web项目的框架。
④Hadoop:分布式计算和存储的框架,需要有java语言基础。
⑤spring cloud:一系列框架的有序集合,他巧妙地简化了分布式系统基础设施的开发。
⑤python:一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。
互联网行业目前还是最热门的行业之一,学习IT技能之后足够优秀是有机会进入腾讯、阿里、网易等互联网大厂高薪就业的,发展前景非常好,普通人也可以学习。
想要系统学习,你可以考察对比一下开设有相关专业的热门学校,好的学校拥有根据当下企业需求自主研发课程的能力,能够在校期间取得大专或本科学历,中博软件学院、南京课工场、南京北大青鸟等开设相关专业的学校都是不错的,建议实地考察对比一下。
祝你学有所成,望采纳。
2019-06-20 · 大数据人才培养的机构
大数据的发展前景很不错,目前应用领域很广泛,由于大数据人才的匮乏,很多企业非常苦恼人才的问题,这几年,大数据从业者的福利待遇几乎在很多行业中算是最高的。
大数据相关有各方面的工作,有需要用到高深的技术的,也有简单的工作,主要你愿意并且有决心从事大数据相关工作,不管你先前读什么专业,一定能找到最适合你的切入点,进入大数据行业工作。
大数据业务流程有4个基本环节,分别是:业务理解、数据准备、数据挖掘、分析应用。
在这个流程里有三个职能领域:
大数据系统研发,承担整个运营系统的构建与维护、数据准备、平台与工具开发;
大数据挖掘,负责关键模型应用与研究工作;
大数据分析应用,既是外部需求的接入者,也是解决方案的输出者,很多时候也会承担全盘统筹的角色。
此外还需学习数据采集、分析、处理软件,学习数学建模软件及计算机编程语言等,知识结构是二专多能复合的跨界人才(有专业知识、有数据思维)。
大数据时代则对从业人员素质的要求越来越高,因为数据处理变得越来越复杂,数据人才的竞争也越来越激烈,很多大公司都在寻找尖端人才。而且,大到国防、金融,小到跟生活息息相关的物流、购物、医疗、交通等,都日益需要大数据的支撑。大数据正在成为一门“显学”。
对于大数据开发的学习,重在掌握基本知识以及实践应用,合理安排基础知识的学习,可以起到事半功倍的效果,以下是比较经典的大数据开发学习路线:
第一阶段:JavaSE+MySql+Linux
Java语言入门 → OOP编程 → Java常用Api、集合 → IO/NIO → Java实用技术 → Mysql数据库 → 阶段项目实战 → Linux基础 → shell编程
第二阶段:Hadoop与生态系统
Hadoop → MapReduce → Avro → Hive → Hbase → Zookeeper → Flume → Kafka → Sqoop → Pig
第三阶段:Storm与Spark及其生态圈
Storm → Scala → Spark → Spark SQL → Spark Streaming → Spark机器学习
第四阶段:其他
Mahout机器学习 → R语言 → Python
第五阶段:项目实战、技术综合运用
希望对您有所帮助!~