大数据计算系统学习笔记

倾然丶 夕夏残阳落幕 提交于 2021-01-20 17:37:17

1.大数据计算体系可归纳三个基本层次:
数据应用系统,数据处理系统,数据存储系统

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
2.计算的总体架构
在这里插入图片描述
HDFS(Hadoop 分布式文件系统)
(1)设计思想:分而治之,将大文件大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析。
(2)首先,它是一个文件系统,用于存储文件,通过统一的命名空间–目录树来定位文件。然后,它是分布式的,又很多服务器联合起来实现其功能,集群中的服务器有各自的角色。有namenode和datanode两部分,有点类似索引结构,并采用备份的方式,例如第二namenode和b1出现3次。
在这里插入图片描述
数据处理系统的比较









主要看mapreduce和spark的两个极端,包括时延和硬件的需求。
在这里插入图片描述
mapreduce计算模型在这里插入图片描述
在这里插入图片描述


在这里插入图片描述
3.计算模型和计算架构在这里插入图片描述

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!