Spark操作hive示例代码

val sparkConf = new SparkConf().setAppName("hive example")

val sc = new SparkContext(sparkConf)

val hiveContext = new HiveContext(sc)

val tableName="hive_test";

var spark = SparkSession

.builder()

.appName("Spark SQL basic example")

.config("spark.sql.warehouse.dir","hdfs://10.37.154.84:8020/user/hive/warehouse")

.enableHiveSupport()

.getOrCreate()

spark.sql("SELECT * FROM hive_test").show()

当spark2.2和hadoop2.6安装在不同的集群，同时hive和hadoop安装在一起的时候，如果要使用spark sql访问hive，需要将hive的hive-site.xml复制到spark的conf目录中。

同时，spark2.2默认是访问hive1.2.0版本的，而hive2.2.0的客户端会和spark2.2存在版本不一致，在默认情况下，意味着两者不能并存，因为他们会各种将自己的版本信息写到hive的metastore中。

解决办法是有的。首先设置属性：

<name>hive.metastore.schema.verification</name>

<value>false</value>

</property>

这样在使用的时候不检查hive的version，也就不会引起version不一致的冲突。

其次在spark中使用的时候，设置以下两个属性：

<name>spark.sql.hive.metastore.version</name>

</property>

<name>spark.sql.hive.metastore.jars</name>

<value>file:////home/spark/hivelib/hive-metastore-2.2.0.jar</value>

</property>

设置hive的metastore版本号和新的jar包地址。

经过实践这样都可以操作了。

这些开源框架一定要注意各个版本之间的兼容问题，很多时间要看看源码才能找到答案。

来源：oschina

链接：https://my.oschina.net/u/778683/blog/1831144

标签