Hive 分区表 Select 优化
对hive分区表执行select操作时，经常执行很慢，原因竟是因为一个点！
优化适配情况：
分区表执行select操作where选择某一分区或多个分区查询
操作：
where条件内分区选择时 在分区字段上加单引号' '
原始写法：
hive -e "select * from table where dt=20200709"修改后写法:
hive -e "select * from table where dt='20200709'"
实际测试：
单分区测试：
增加前执行select操作，mapper数为45004:
增加前执行select操作，mapper数为3000:
多分区测试：
增加前执行select操作，mapper数为45004:
增加前执行select操作，mapper数为1500:
Tip:
分区表执行select操作，这里不加引号' '，hive会默认从全部分区扫一遍，因此会启动很多mapper去扫，把满足条件的记录下来，所以不管一个分区还是两个分区条件，都启动了45000个mapper，相当于是全部分区扫描；加了' '相当于指定分区，单分区情况下启动3000mapper，加到双分区时变成1500个mapper，说明dt分区下type分区有两个小分区，如果指定第二个分区时，mapper数变为1000，则说明dt分区下包含(3000/1000=3）个小分区。至于效率提升，跑一下就了解啦，绝对不会失望~
来源：oschina
链接：https://my.oschina.net/u/4330611/blog/4351047