Question

如何在windows下安装配置pyspark notebook

Answer 1

解压缩之后，不要忘记添加环境变量

配置如下系统变量

接着需要在命令行键入(spark安装目录下：如D:/spark) > sbt package 进行编译

这一步很重要 拷贝 E:/spark/python/pyspark 到 D:/anaconda/Lib/site-packages 目录下

第三步：修改spark/conf下的spark-env文件（不知道是否必要）

加入如下三行

export PYSPARK_PYTHON=/D:/anaconda
export PYSPARK_DRIVER_PYTHON=/D:/anaconda
export PYSPARK_SUBMIT_ARGS='--master local[*]'

第四步：启动pyspark

发现已启动成功，一般网页会自动打开

第五步：测试sc

成功！