spark 在 cluster deploy mode 情况下, 怎么处理 job 之间的依赖
ufo22940268 · 2018-12-18 09:31:37 +08:00 · 2707 次点击这是一个创建于 2172 天前的主题，其中的信息可能已经有所发展或是发生改变。
比如用下面的方式提交任务:
spark-submit --deploy cluster x.y.z a.jar
提交任务完了之后,程序就回终止返回.然后让 driver 在 cluster 上继续执行 Job.
问题
假如说希望Job B在Job A执行完成之后执行,并且依然用cluster deploy mode来提交任务,该如何做到呢?
 |
1
B2 2018-12-18 15:33:34 +08:00
你将这两个 job 合成一个大的 job，提交一次不就可以了吗？
|
Select Language