spark启动,启动hadoop关闭步骤

倖福魔咒の 提交于 2020-03-01 08:44:11

sbin/start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManager

sbin/stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManager

sbin/start-dfs.sh 启动Hadoop HDFS守护进程NameNode、SecondaryNameNode、DataNode

sbin/stop-dfs.sh 停止Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode

./bin/pysaprk --master local[4] 本地模式启动spark python语言的shell,4是4个线程
如果嫌运行日志显示太多,可以调整日志显示级别,找到日志文件修改,log4j。rootCategory=ERROR, console

exit() 退出pyspark shell

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!