谷歌的三篇论文分别介绍了Google-Bigtable, Google-MapReduce和Google-File-System三个谷歌的重要工具。三个工具都有一个共同的特征——分布式系统,所谓的分布式就是将一个业务分拆多个子业务,分别部署在不同的服务器上。分布式文件系统的设计是基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。其中首先讲了GFS是一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。GFS 虽然运行在廉价的普遍硬件设备上,但是它依然了提供灾难冗余的能力,为大量客户机提供了高性能的服务。GFS基于普通的分布式文件系统,逐步发展延伸,基本上完全满足了用户对存储的需求。然后讲的是Google Bigtable,它是一个分布式的结构化数据存储系统,被用来处理海量数据。例如Google里面的web索引、Google earth、Google finance等等项目都在使用Bigtable来存储数据,论文描述了Bigtable提供的简单的数据模型,利用模型用户可以动态的控制数据的分布和格式。Bigtable已在60个Google的产品和项目上的到了应用。最后一篇讲是Google MapReduce。MapReduce是一个编程模型,也是一个处理和生成超大数据集的算法模型的相关实现。MapReduce在 Google 内部也已经成功应用于多个领域。程序员使用MapReduce进行工作时可以充分利用各个计算机资源,通过MapReduce可以对分布式系统各个终端机器进行管理,让资源尽量最大程度的利用。MapReduce可以使很多复杂的问题的得到简单的解决。
来源:CSDN
作者:Kazanesky
链接:https://blog.csdn.net/Kazanesky/article/details/103646676