centos7安装hadoop集群版本为2.9.1

允我心安 提交于 2020-04-05 21:32:18

安装大概步骤:

1.先安装一台虚拟机,装好jdk,hadoop配置

2.复制克隆出三台,搭建ssh免密登陆

一.先准备一台虚拟机

1.防火墙:

关闭防火墙:systemctl status firewalld

防止防火墙自启:systemctl disable firewalld

2.安装JDK

3.修改主机:hostnamectl set-hostname hdp-01

vi /etc/hosts   追加

192.168.31.114 hdp-01
192.168.31.115 hdp-02
192.168.31.116 hdp-03
192.168.31.117 hdp-04

4.修改hadoop配置

4.1修改hadoop-env.sh

export JAVA_HOME=/root/jdk1.8.0_151

4.2修改core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hdp-01:9000</value>
</property>
</configuration>

4.3修改hdfs-site.xml

<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/root/hdpdata/name/</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/root/hdpdata/data</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hdp-02:50090</value>
</property>
</configuration>

 

二、复制克隆出三台,搭建ssh免密登陆

1.搭建ssh免密登陆:

ssh-keygen -t dsa

2.配置环境变量

export HADOOP_HOME=/root/apps/hadoop-2.9.1
:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

3.启动hdfs

首先,初始化namenode的元数据目录

要在hdp-01上执行hadoop的一个命令来初始化namenode的元数据存储目录

hadoop namenode -format

l  创建一个全新的元数据存储目录

l  生成记录元数据的文件fsimage

l  生成集群的相关标识:如:集群id——clusterID

 

 

然后,启动namenode进程(在hdp-01上)

hadoop-daemon.sh start namenode

启动完后,首先用jps查看一下namenode的进程是否存在

 

 

然后,在windows中用浏览器访问namenode提供的web端口:50070

http://hdp-01:50070

 

 

然后,启动众datanode们(在任意地方)

hadoop-daemon.sh start datanode

6) 用自动批量启动脚本来启动HDFS

1)       先配置hdp-01到集群中所有机器(包含自己)的免密登陆

2)       配完免密后,可以执行一次  ssh 0.0.0.0

3)       修改hadoop安装目录中/etc/hadoop/slaves(把需要启动datanode进程的节点列入)

hdp-01

hdp-02

hdp-03

hdp-04

 

4)       在hdp-01上用脚本:start-dfs.sh 来自动启动整个集群

5)       如果要停止,则用脚本:stop-dfs.sh

 

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!