Question

spark 必须安装hadoop吗

Answer 1

Spark的安装分为几种模式，其中一种是本地运行模式，只需要在单节点上解压即可运行，这种模式不需要依赖Hadoop 环境。

运行 spark-shell

本地模式运行spark-shell非常简单，只要运行以下命令即可，假设当前目录是$SPARK_HOME

$ MASTER=local $ bin/spark-shell

MASTER=local就是表明当前运行在单机模式。如果一切顺利，将看到下面的提示信息：

Created spark context.. Spark context available as sc.

这表明spark-shell中已经内置了Spark context的变量，名称为sc，我们可以直接使用该变量进行后续的操作。

spark-shell 后面设置 master 参数，可以支持更多的模式，请参考 。

我们在sparkshell中运行一下最简单的例子，统计在README.md中含有Spark的行数有多少，在spark-shell中输入如下代码：

scala>sc.textFile("README.md").filter(_.contains("Spark")).count

如果你觉得输出的日志太多，你可以从模板文件创建 conf/log4j.properties ：

$ mv conf/log4j.properties.template conf/log4j.properties

然后修改日志输出级别为WARN：

log4j.rootCategory=WARN, console

如果你设置的 log4j 日志等级为 INFO，则你可以看到这样的
,