hive on spark 趟坑指南

喜夏-厌秋 提交于 2020-03-01 23:44:07

1、执行SQL 查询时候,报Failed to submit Spark work 错误。

Failed to execute spark task, with exception 'java.lang.Exception(Failed to submit Spark work, please retry later)'
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to submit Spark work, please retry later

这个问题,需要看具体的错误在哪里,再做解决,不要随便归结于 spark 与 hive 版本不兼容。 建议大家修改hive 日志级别查看错误, 大家将 -e 后面的sql 换成自己这边的,查看输出中的错误信息,定位修改

hive --hiveconf hive.root.logger=DEBUG,console  -e "use userdb;select count(*) from app_yyb;"
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!