【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 
Apache Spark探秘：实现Map-side Join和Reduce-side Join
Category: Frameworks (Spark) On YARN View: 13,756 Author: Dong网址: http://dongxicheng.org/framework-on-yarn/apache-spark-join-two-tables/
本博客的文章集合: http://dongxicheng.org/recommend/
本博客微信公共账号：hadoop123（微信号为：hadoop-123），分享hadoop技术内幕，hadoop最新技术进展，发布hadoop相关职位和求职信息，hadoop技术交流聚会、讲座以及会议等。二维码如下：
在大数据处理场景中，多表Join是非常常见的一类运算。为了便于求解，通常会将多表join问题转为多个两表连接问题。两表Join的实现算法非常多，一般我们会根据两表的数据特点选取不同的join算法，其中，最常用的两个算法是map-side join和reduce-side join。本文将介绍如何在apache spark中实现这两种算法。
（1）Map-side Join
Map-side Join使用场景是一个大表和一个小表的连接操作，其中，“小表”是指文件足够小，可以加载到内存中。该算法可以将join算子执行在Map端，无需经历shuffle和reduce等阶段，因此效率非常高。
在Hadoop MapReduce中， map-side join是借助DistributedCache实现的。DistributedCache可以帮我们将小文件分发到各个节点的Task工作目录下，这样，我们只需在程序中将文件加载到内存中（比如保存到Map数据结构中），然后借助Mapper的迭代机制，遍历另一个大表中的每一条记录，并查找是否在小表中，如果在则输出，否则跳过。
在Apache Spark中，同样存在类似于DistributedCache的功能，称为“广播变量”（Broadcast variable）。其实现原理与DistributedCache非常类似，但提供了更多的数据/文件广播算法，包括高效的P2P算法，该算法在节点数目非常多的场景下，效率远远好于DistributedCache这种基于HDFS共享存储的方式，具体比较可参考“Performance and Scalability of Broadcast in Spark”。使用MapReduce DistributedCache时，用户需要显示地使用File API编写程序从本地读取小表数据，而Spark则不用，它借助Scala语言强大的函数闭包特性，可以隐藏数据/文件广播过程，让用户编写程序更加简单。
假设两个文件，一小一大，且格式类似为：
Key,value,value
Key,value,value
则利用Spark实现map-side的算法如下：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
|
vartable1=sc.textFile(args(1))
vartable2=sc.textFile(args(2))
// table1 is smaller, so broadcast it as a map<String, String>
varpairs=table1.map { x=>
varpos=x.indexOf(',')
(x.substring(0, pos), x.substring(pos +1))
}.collectAsMap
varbroadCastMap=sc.broadcast(pairs)//save table1 as map, and broadcast it
// table2 join table1 in map side
varresult=table2.map { x=>
varpos=x.indexOf(',')
(x.substring(0, pos), x.substring(pos +1))
}.mapPartitions({ iter=>
varm=broadCastMap.value
for{
(key, value) <- iter
if(m.contains(key))
}yield(key, (value, m.get(key).getOrElse("")))
})
result.saveAsTextFile(args(3))//save result to local file or HDFS
|
（2）Reduce-side Join
当两个文件/目录中的数据非常大，难以将某一个存放到内存中时，Reduce-side Join是一种解决思路。该算法需要通过Map和Reduce两个阶段完成，在Map阶段，将key相同的记录划分给同一个Reduce Task（需标记每条记录的来源，便于在Reduce阶段合并），在Reduce阶段，对key相同的进行合并。
Spark提供了Join算子，可以直接通过该算子实现reduce-side join，但要求RDD中的记录必须是pair，即RDD[KEY, VALUE]，同样前一个例利用Reduce-side join实现如下：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
vartable1=sc.textFile(args(1))
vartable2=sc.textFile(args(2))
varpairs=table1.map{x=>
varpos=x.indexOf(',')
(x.substring(0, pos), x.substring(pos +1))
}
varresult=table2.map{x=>
varpos=x.indexOf(',')
(x.substring(0, pos), x.substring(pos +1))
}.join(pairs)
result.saveAsTextFile(args(3))
|
（3）总结
本文介绍了Spark中map-side join和reduce-side join的编程思路，希望对大家有借鉴意义。但需要注意的是，在使用这两种算法处理较大规模的数据时，通常需要对多个参数进行调优，否则可能会产生OOM问题。通常需要调优的相关参数包括，map端数据输出buffer大小，reduce端数据分组方法（基于map还是基于sort），等等。
（4）两个问题
问题1：如果在map-side join中，不使用以下语句对文件1进行广播，
var broadCastMap = sc.broadcast(pairs)
也可以在后面程序中直接使用变量pairs存储的数据进行join，这两种方式有什么异同，性能会有何不同？
问题2：将map-side join中的以下语句：
1
2
3
4
5
6
mapPartitions({ iter=>
varm=broadCastMap.value
for{
(key, value) <- iter
if(m.contains(key))
}yield(key, (value, m.get(key).getOrElse("")))
改为：
1
2
3
4
varm=broadCastMap.value//这一句放在var table2 = sc.textFile(args(2))后面
map {case(key, value)=>
if(m.contains(key)) (key, (value, m.get(key).getOrElse("")))
}
最终结果是有问题的，为什么？ 本文两个示例程序可以从百度网盘上下载，地址为Spark-Join-Exmaple。
原创文章，转载请注明： 转载自董的博客
本文链接地址: http://dongxicheng.org/framework-on-yarn/apache-spark-join-two-tables/
作者：Dong，作者介绍：http://dongxicheng.org/about/
本博客的文章集合:http://dongxicheng.org/recommend/
来源：oschina
链接：https://my.oschina.net/u/1439326/blog/550067