spark课程

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第二步)(1)

帅比萌擦擦* 提交于 2019-12-05 11:58:40
在VMWare 中准备第二、第三台运行Ubuntu系统的机器; 在VMWare中构建第二、三台运行Ubuntu的机器和构建第一台机器完全一样,再次不在赘述。。 与安装第一台Ubuntu机器不同的几点是: 第一点:我们把第二、三台Ubuntu机器命名为了Slave1、Slave2,如下图所示: 创建完的VMware中就有三台虚拟机了: 第二点:为了简化Hadoop的配置,保持最小化的Hadoop集群,在构建第二、三台机器的时候使用相同的root超级用户的方式登录系统。 2.按照配置伪分布式模式的方式配置新创建运行Ubuntu系统的机器; 按照配置伪分布式模式的方式配置新创建运行Ubuntu系统的机器和配置第一台机器完全相同, 下图是家林完全安装好后的截图: 3. 配置Hadoop分布式集群环境 ; 根据前面的配置,我们现在已经有三台运行在VMware中装有Ubuntu系统的机器,分别是:Master、Slave1、Slave2; 下面开始配置Hadoop分布式集群环境: Step 1:在/etc/hostname中修改主机名并在/etc/hosts中配置主机名和IP地址的对应关系: 我们把Master这台机器作为Hadoop的主节点,首先看一下Master这台机器的IP地址: 可以看到当前主机的ip地址是“192.168.184.133”. 我们在/etc