【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 
在大数据处理场景中，多表Join是非常常见的一类运算。为了便于求解，通常会将多表join问题转为多个两表连接问题。两表Join的实现算法非常多，一般我们会根据两表的数据特点选取不同的join算法，其中，最常用的两个算法是map-side join和reduce-side join。本文将介绍如何在apache spark中实现这两种算法。
- Map-side Join
Map-side Join使用场景是一个大表和一个小表的连接操作，其中，“小表”是指文件足够小，可以加载到内存中。该算法可以将join算子执行在Map端，无需经历shuffle和reduce等阶段，因此效率非常高。
在Hadoop MapReduce中， map-side join是借助DistributedCache实现的。DistributedCache可以帮我们将小文件分发到各个节点的Task工作目录下，这样，我们只需在程序中将文件加载到内存中（比如保存到Map数据结构中），然后借助Mapper的迭代机制，遍历另一个大表中的每一条记录，并查找是否在小表中，如果在则输出，否则跳过。
- Reduce-side Join
当两个文件/目录中的数据非常大，难以将某一个存放到内存中时，Reduce-side Join是一种解决思路。该算法需要通过Map和Reduce两个阶段完成，在Map阶段，将key相同的记录划分给同一个Reduce Task（需标记每条记录的来源，便于在Reduce阶段合并），在Reduce阶段，对key相同的进行合并。
- 总结
本文介绍了Spark中map-side join和reduce-side join的编程思路，希望对大家有借鉴意义。但需要注意的是，在使用这两种算法处理较大规模的数据时，通常需要对多个参数进行调优，否则可能会产生OOM问题。通常需要调优的相关参数包括，map端数据输出buffer大小，reduce端数据分组方法（基于map还是基于sort），等等。
来源：oschina
链接：https://my.oschina.net/134596/blog/3149222