spark sql on hive笔记一
spark sql on hive非常方便，通过共享读取hive的元数据，我们可以直接使用spark sql访问hive的库和表，做更快的OLAP的分析。 spark 如果想直接能集成sql，最好自己编译下源码： 切换scala的版本为新版本 dev/change-scala-version.sh 2.11 编译支持hive mvn -Pyarn -Phive -Phive-thriftserver -Phadoop-2.7.3 -Dscala-2.11 -DskipTests clean package 注意，spark sql 可以直接在linux上使用，像执行hive命令一样，进入交互式终端，进行即席查询，进入spark-sql交互式终端命令，并指定以yarn的模式运行： spark/bin/spark-sql --master yarn 本次使用的spark2.0.2，进入交互式终端之后，可以进行任意的查询分析，但本文的笔记例子，不是基于终端的spark sql分析，而是在scala中使用spark sql on hive，在编程语言里面使用spark sql on hive 灵活性大大提供，能做更多的事情，比如说分析完的结果存储到mysql，hbase或者redis里面，或者分析的过程，需要外部存储的一些数据等等。 开发程序是在IDEA里面写的，项目风格是java