Question

大数据工程师是做什么的

大数据是学什么的?想报一个IT培训班,有大数据专业,请问大数据工程师具体是作什么的呢?不要复制粘贴,我已经问过百度了,可还是不很了解.希望能具体一点,学完了之后,能去什么类型的公司工作?做什么呢 ?谢谢

Answer 1

主要是在海量的数据库中进行数据分析，处理，迁移等工作，另外还经行等

Answer 2

什么是大数据呢？大数据（big data）,指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据实质上是全面、混杂的并且具有数据量大、输入和处理速度快、数据多样性、价值密度低特点的数据。
而DT工程师（软件开发+大数据）专业主要学习WEB技术、JAVA、JSP、大型数据库Oracle、LINUX集群、非关系数据库NoSql、Hadoop等技术，通过这些课程的学习，让学生具有JAVAEE开发能力的同时能够进行大数据的分析和挖掘能。这这个专业毕业的学生可以进入传统的软件公司，进行OA和ERP等传统软件项目开发，同时也能进行大数据的分析和大数据深度挖掘以及对服务器集群的组件等。
希望对你有所帮助哦。

Answer 3

大数据工程师的日常工作内容

1、写SQL（很多入职一两年的大数据工程师主要的工作就是写 SQL ）

2、为集群搭大数据环境（一般公司招大数据工程师环境都已经搭好了，公司内部会有现成的大数据平台，但我这边会私下搞一套测试环境，毕竟公司内部的大数据系统权限限制很多，严重影响开发效率）

3、维护大数据平台（这个应该是每个大数据工程师都做过的工作，或多或少会承担“运维”的工作）

4、数据迁移（有部分公司需要把数据从传统的数据库 Oracle、MySQL 等数据迁移到大数据集群中，这个是比较繁琐的工作，吃力不讨好）

5、应用迁移（有部分公司需要把应用从传统的数据库 Oracle、MySQL 等数据库的存储过程程序或者SQL脚本迁移到大数据平台上，这个过程也是非常繁琐的工作，无聊，高度重复且麻烦，吃力不讨好）

6、数据采集（采集日志数据、文件数据、接口数据，这个涉及到各种格式的转换，一般用得比较多的是 Flume 和 Logstash）

7、数据处理

1）离线数据处理（这个一般就是写写 SQL 然后扔到 Hive 中跑，其实和第一点有点重复了）

2）实时数据处理（这个涉及到消息队列，Kafka，Spark，Flink  这些，组件，一般就是 Flume 采集到数据发给 Kafka 然后 Spark 消费 Kafka 的数据进行处理）

8、数据可视化（这个我司是用 Spring Boot 连接后台数据与前端，前端用自己魔改的 echarts）

9、大数据平台开发（偏Java方向的，大概就是把开源的组件整合起来整成一个可用的大数据平台这样，常见的是各种难用的 PaaS 平台）

10、数据中台开发（中台需要支持接入各种数据源，把各种数据源清洗转换为可用的数据，然后再基于原始数据搭建起宽表层，一般为了节省开发成本和服务器资源，都是基于宽表层查询出业务数据）

11、搭建数据仓库（这里的数据仓库的搭建不是指 Hive ，Hive 是搭建数仓的工具，数仓搭建一般会分为三层 ODS、DW、DM 层，其中DW是最重要的，它又可以分为DWD,DWM,DWS，这个层级只是逻辑上的概念，类似于把表名按照层级区分开来的操作，分层的目的是防止开发数据应用的时候直接访问底层数据，可以减少资源，注意，减少资源开销是减少 内存 和 CPU 的开销，分层后磁盘占用会大大增加，磁盘不值钱所以没什么关系，分层可以使数据表的逻辑更加清晰，方便进一步的开发操作，如果分层没有做好会导致逻辑混乱，新来的员工难以接手业务，提高公司的运营成本，还有这个建数仓也分为建离线和实时的）

总之就是离不开写 SQL ...

Answer 4

Answer 5

当你真的决定去参加培训之后，记得一定要多敲代码。可以自己买一些相关书籍和找一下相关的视频教程，利用空闲时间好好学习，这也是为你以后的程序员生活养成一个良好习惯。作为程序员，还是不要停止为自己充电，只有这样你才能走的更远。
可以到这边来看看，互联网it学校