MapReduce概述

空扰寡人 提交于 2020-02-27 16:01:58

1. MapReduce定义

在这里插入图片描述

2. MapReduce优缺点

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3. MapReduce核心思想

在这里插入图片描述
1)分布式的运算程序往往需要分成至少2个阶段。
2)第一个阶段的MapTask并发实例,完全并行运行,互不相干。
3)第二个阶段的ReduceTask并发实例互不相干,但是他们的数据依赖于上一个阶段的所有MapTask并发实例的输出。
4)MapReduce编程模型只能包含一个Map阶段和一个Reduce阶段,如果用户的业务逻辑非常复杂,那就只能多个MapReduce程序,串行运行。
总结:分析WordCount数据流走向深入理解MapReduce核心思想。

4. MapReduce进程

在这里插入图片描述

5. 常用数据序列化类型

在这里插入图片描述

6.MapReduce编程规范

用户编写的程序分成三个部分:Mapper、Reducer和Driver。
在这里插入图片描述
在这里插入图片描述

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!