java程序使用ssh连接到服务器后,使用spark-submit提交指令后,使用yarn on client模式,客户端执行完成后,进程不退出,导致服务器积存太多的进程,占用服务器资源,网上搜了半天,找到说有个配置可以,--conf spark.yarn.submit.waitAppCompletion=false。但是试验后还是不好使,最后使用大招解决:
在main方法最后加上下面一条语句:
System.exit(0);
测试了一下,真的退出了。。。不知道有没有风险,先这么搞下跑一跑,看看有没有问题。
来源:oschina
链接:https://my.oschina.net/u/4170983/blog/3188562