伪分布式

Debian7.4 安装及配置

故事扮演 提交于 2019-12-10 13:36:36
 准备学习Hadoop,想把自己学习的过程,遇到的问题以及问题的解决方案一起共享给大家。学习Hadoop技术,首先要做的就是搭建Hadoop环境,由于手里只有一台古董级笔记本,也只能用这个笔记本通过VMWare WorkStation 10 虚拟出4个Linux操作系统,最早接触的Linux发行版本就是Debian,所以我在准备搭建Hadoop环境的时候Linux选择的是Debian,版本是Debian的最新版本,7.4.0稳定版。下面开始安装Debian系统。  1.由于每个人的电脑配置都不相同,在VMWare WorkStation 10中硬件的定制也就不相同,大家可以根据自己的电脑配置去定制适合自己的虚拟硬件配置。  2.硬件定制完成后开启此虚拟机  选择Advanced options (高级选项).  打开Advanced options(高级选项)  选择Expert install(专家安装) ,更多详细的配置  进入Debian 安装程序主菜单  1)Choose language(选择语言)   [1]选择语言  由于Hadoop环境的需要,Debian操作系统的语言为English(英语).   [2]选择国家  选择该系统使用的国家,由于环境的需要我选择United State(美国)。  根据步骤[1]和步骤[2],系统将提供最合适的键盘布局。

hadoop单机模式和伪分布式,全分布式的区别

夙愿已清 提交于 2019-12-01 02:54:11
单机模式(standalone) 单机模式是Hadoop的默认模式。这种模式在一台单机上运行,没有分布式文件系统,而是直接读写本地操作系统的文件系统。当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时,Hadoop会完全运行在本地。因为不需要与其他节点交互,单机模式就不使用HDFS,也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。 伪分布模式(Pseudo-Distributed Mode) 这种模式也是在一台单机上运行,但用不同的Java进程模仿分布式运行中的各类结点 伪分布模式在“单节点集群”上运行Hadoop,其中所有的守护进程都运行在同一台机器上。该模式在单机模式之上增加了代码调试功能,允许你检查内存使用情况,HDFS输入输出,以及其他的守护进程交互。 全分布模式(Fully Distributed Mode) Hadoop守护进程运行在一个集群上。 来源: oschina 链接: https://my.oschina.net/u/3696405/blog/1557839