spark 可以访问 hive 内部表吗
1个回答
展开全部
使用 hiveContext， 如果是使用mysql存储元数据的话， 还需要将hive的配置文件放在spark的项目下面。
1. 拷贝$HIVE_HOME/conf/hive-site.xml和hive-log4j.properties到 $SPARK_HOME/conf/
2. 在$SPARK_HOME/conf/目录中，修改spark-env.sh，添加
export HIVE_HOME=/opt/hive-1.2.1
export SPARK_CLASSPATH=$HIVE_HOME/lib:$SPARK_CLASSPATH
3. 另外也可以设置一下Spark的log4j配置文件，使得屏幕中不打印额外的INFO信息:
log4j.rootCategory=WARN, console
1. 拷贝$HIVE_HOME/conf/hive-site.xml和hive-log4j.properties到 $SPARK_HOME/conf/
2. 在$SPARK_HOME/conf/目录中，修改spark-env.sh，添加
export HIVE_HOME=/opt/hive-1.2.1
export SPARK_CLASSPATH=$HIVE_HOME/lib:$SPARK_CLASSPATH
3. 另外也可以设置一下Spark的log4j配置文件，使得屏幕中不打印额外的INFO信息:
log4j.rootCategory=WARN, console
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
推荐律师服务：
若未解决您的问题，请您详细描述您的问题，通过百度律临进行免费专业咨询
