spark-submit提交任务使用yarn client模式,客户端进程不退出问题解决

柔情痞子 提交于 2020-03-05 15:11:03

java程序使用ssh连接到服务器后,使用spark-submit提交指令后,使用yarn on client模式,客户端执行完成后,进程不退出,导致服务器积存太多的进程,占用服务器资源,网上搜了半天,找到说有个配置可以,--conf spark.yarn.submit.waitAppCompletion=false。但是试验后还是不好使,最后使用大招解决:

在main方法最后加上下面一条语句:

System.exit(0);

测试了一下,真的退出了。。。不知道有没有风险,先这么搞下跑一跑,看看有没有问题。

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!