Question

spark1.5.2 spark-shell 启动时一定要启动hadoop，怎么解决

Answer 1

在启动spark-shell出现以下问题：
15/12/30 10:05:29 ERROR SparkContext: Errorinitializing SparkContext.
java.lang.IllegalArgumentException: WrongFS:file://219.226.86.159:~/home/iespark/hadoop_program_files/sparkdata/sparklog,expected: file:///
at org.apache.hadoop.fs.FileSystem.checkPath(FileSystem.java:645)
at org.apache.hadoop.fs.RawLocalFileSystem.pathToFile(RawLocalFileSystem.java:80)
atorg.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:529)
atorg.apache.hadoop.fs.RawLocalFileSystem.getFileLinkStatusInternal(RawLocalFileSystem.java:747)
atorg.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:524)
atorg.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:409)
at org.apache.spark.scheduler.EventLoggingListener.start(EventLoggingListener.scala:100)
at org.apache.spark.SparkContext.<init>(SparkContext.scala:532)
atorg.apache.spark.repl.SparkILoop.createSparkContext(SparkILoop.scala:1017)
原因是我在设置spark-defaults.conf时出现了问题，spark.eventLog.dir设置错了。
如果spark.eventLog.enabled为 true，该属性为记录spark 事件的根目录。在此根目录中，Spark为 每个应用程序 创建分目录，并将 应用程序的 事件记录到在此目录中。用户可以将此属性设置为HDFS目录，以便history server读取历史记录文件。

可以将其设置为file:///home/hadoop/sparkdata/log