Hadoop环境搭建设备准备篇
目录
一、虚拟机环境准备
学习了一段时间大数据相关的知识,突发奇想想要开个博客来与更多的同行交流学习,做了好久的伸手党,感觉是时候贡献一下了。技术不太精湛,文章仅供参考、交流学习。
1、工具准备
虚拟机:VMware Workstation Pro 15.5
操作系统:CentOS 6.7
2、安装虚拟机
使用VMware搭建虚拟机集群,由于我设备性能有限,所以我这里一共使用三台虚拟机,最佳实验环境为5台,过程基本相同,可以视自己情况而定。三台虚拟机角色分配:Hadoop01:namenode(主) Hadoop02:namenode(备) Hadoop03:datanode
注:仅写需要修改部分,未涉及部分,直接点击下一步即可。
1、新建虚拟机,自定义安装。
2、选择稍后安装操作系统。
3、选择Linux,版本选择:CentOS 6 64位(我这里选择的是我自己的版本,版本可以按照自己的实际情况选择,如果想要我的版本镜像,可以私聊我,或者留下联系方式)
4、重命名虚拟机名称为:Hadoop01
5、选择处理器配置,视情况而定,实验用途,此配置已足够。
6、选择虚拟机内存,视情况而定,实验用途,此配置已足够。
7、选择磁盘大小,视情况而定,实验用途,此配置已足够。
8、选择ISO镜像,选择自己准备好的Linux镜像。
9、点击完成,创建好一台Linux虚拟机。
10、然后开机,按照装机向导安装好Linux系统,初学者建议使用GUI图形化安装,有Linux操作经验的,可以使用黑窗(最小化)。
3、克隆,并修改虚拟机配置
此方法是为了节省时间,快速搭建集群,如逐个创建虚拟机,可跳过此步骤。
1、修改Linux主机名
vim /etc/sysconfig/network (三台节点均需要修改)
注:将主机名修改为:Hadoop01、Hadoop02、Hadoop03
Hadoop01:
Hadoop02:
Hadoop03:
①: 按:i进入编辑
②:按Esc:退出编辑
③:按:shift:输入wq 保存退出
2.修改IP
注:IP必须在同一网段,我这里使用的是:192.168.121.xxx 可以按照自己习惯来自定义IP
vim /etc/sysconfig/network-scripts/ifcfg-eth0
注:如果集群为克隆集群,被克隆集群均需删除eth-0,将eth-1改名为eth-0后再修改网卡。
Hadoop01:
Hadoop02:
Hadoop03:
3.修改主机名和IP的映射关系
vim /etc/sysconfig/network (三台节点均需要修改)
Hadoop01:
Hadoop02:
Hadoop03:
添加映射关系:
Hadoop01:
Hadoop02:
Hadoop03:
注:三台映射主机名IP地址需统一,否则将无法配置ssh免密登录
至此,Hadoop基本搭建环境已经准备完毕。
文章中的软件以及激活方式,可以私聊或在下方留言,免费提供。
来源:oschina
链接:https://my.oschina.net/u/4400630/blog/4440737