Question

虚拟机搭建的spark，我这里怎么访问不了

Answer 1

对于想学习 spark 集群搭建及应用的人来说，专门买多台物理主机往往成本太高，其实我们只需要利用虚拟机（我用的是 VMWare）搭建多台虚拟主机即可。在学习过程中，在网上搜了各种资料，参考了很多优秀的博客，发现在虚拟机上搭建 spark 集群主要有两种方法。第一种是充分利用 VMWare 的虚拟机克隆功能，只需要配置好一台主机，直接克隆生成其他主机并修改少量配置即可。第二种与在实际物理主机上部署类似，该方法可以直接应用到实际部署中。首先创建多台新的虚拟机，然后在每台主机上分别进行配置。当然，该方法也不是每一台机器都重新配置，下面将会具体讲到，对于 hadoop 和 spark 安装文件，只需要在一台机器上配置好然后复制到其他主机即可。为了让这篇文章更具通用性，我们以介绍第二种搭建方法为主线，毕竟实际的集群是布置在物理主机上的。对于想在虚拟机上快速搭建 spark 集群的读者，我们也会在叙述过程中提到克隆虚拟机后需要修改的地方。另外，由于 spark 需要用到 hadoop 的文件管理系统 HDFS 和任务调度系统 YARN，所以在搭建 spark 之前需要先搭建好 hadoop。
下面的叙述将会以西面的思路展开。在介绍集群搭建之前，分别介绍 hadoop 和 spark 单机搭建方法，因为上面提到的两种方法的单机搭建与配置方法是相同的。介绍完单机搭建及配置方法，我们将会介绍如何将单机的配置应用到集群里面。