在 intellij 下跑 spark 任务 碰到的问题
ufo22940268 · ufo22940268 · 2017-12-03 07:43:51 +08:00 · 2156 次点击这是一个创建于 2559 天前的主题，其中的信息可能已经有所发展或是发生改变。
碰到的问题是没法正常链接 hive, 运行的方式是直接在 intellij 下 run, 而不是 命令行下 spark-submit.
-----------------------
其实本质问题就是直接在 intellij 下 run 的时候不会去读 mysql 的 metastore, 而是用了默认的 derby 的 metastore. 然后 mysql 的 metastore 的配置在 hive-site.xml 下, hive-site.xml 放在 SPARK_HOME/conf 下.
-----------------------
其实本质问题就是直接在 intellij 下 run 的时候不会去读 mysql 的 metastore, 而是用了默认的 derby 的 metastore. 然后 mysql 的 metastore 的配置在 hive-site.xml 下, hive-site.xml 放在 SPARK_HOME/conf 下.
 |
1
suixn 2017-12-03 07:56:18 +08:00 via Android
这样一般是因为 jar 包没提交上去，你用一下 setjars 试试
|
|
2
suixn 2017-12-03 07:58:10 +08:00 via Android
另外就是 hive 配置文件也要放到项目资源目录，保证程序知道去哪读
|
 |
3
ufo22940268 OP 问题解决了,原来是 hive-site.xml 需要加到 classpath 里面去.这样子 spark 才会去读.
因为之前用的是 pyspark, 所以没有这个步骤 |
Select Language