Question

Hadoop-Scala-Spark环境安装

Answer 1

     持续更新 请关注： https://zorkelvll.cn/blogs/zorkelvll/articles/2018/11/02/1541172452468

  本文主要是介绍大数据基础设施软件Hadoop-Scala-Spark的安装过程，以macOS、linux等系统环境为例进行实践！

一、背景

二、实践-环境安装（macOS）

后添加

（4）配置core-site.xml【hdfs地址和端口】：vim /usr/local/Cellar/hadoop/3.0.0/libexec/etc/hadoop/core-site.xml => 添加配置

并且建立文件夹 mkdir /usr/local/Cellar/hadoop/hdfs & mkdir /usr/local/Cellar/hadoop/hdfs/tmp

先备份：cp /usr/local/Cellar/hadoop/3.0.0/libexec/etc/hadoop/mapred-site.xml mapred-site-bak.xml

再编辑：vim /usr/local/Cellar/hadoop/3.0.0/libexec/etc/hadoop/mapred-site.xml => 添加配置

(7)格式化hdfs文件系统格式：hdfs namenode -format

(8)启动及关闭hadoop服务：

/usr/local/Cellar/hadoop/3.0.0/libexec/start-dfs.sh => 守护进程：namenodes、datanodes、secondary namenodes，浏览器中访问 http://localhost:9870 ,注意端口号是9870而不是50070

/usr/local/Cellar/hadoop/3.0.0/libexec/start-yarn.sh => yarn服务进程：resourcemanager、nodemanagers，浏览器中访问 http://localhost:8088 和 http://localhost:8042

/usr/local/Cellar/hadoop/3.0.0/libexec/stop-yarn.sh

/usr/local/Cellar/hadoop/3.0.0/libexec/stop-dfs.sh

注意：brew方式安装的hadoop3.0.0，需要配置的hadoop路径是libexec下的，否则start-dfs.sh命令会报错“error:cannot execute hdfs-config”

以上是hadoop-scala-spark在mac下的安装过程，为昨天在mac下首次实践，一次性成功 => 希望能够对各位同学有所帮助，和得到各位同学的后续关注，如果疑问或者遇到的坑，欢迎在文章下面留言！！

spark开启之路 ： https://spark.apache.org/docs/latest/quick-start.html