Hadoop集群搭建 | 易学教程

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>>

Hadoop三种运行模式

独立模式（Local或Standalone Mode）

默认情况下，Hadoop即处于该模式，用于开发和调试
伪分布模式（Pseudo-Distributed Mode）

Hadoop的守护进程运行在本机机器，模拟一个小规模的集群
全分布集群模式（Fully-Distributed Mode）

Hadoop的守护进程运行在一个集群上

伪分布式集群搭建

su root
cd /opt/software/
ll
sudo chown -R hdfs:hadoop hadoop-3.2.1/
ll
cd /opt/software/hadoop-3.2.1/etc/hadoop/
ll
vi core-site.xml
vi hdfs-site.xml
vi mapred-site.xml
vi yarn-site.xml
hdfs namenode -format
hadoop-daemon.sh start namenode
jps
yarn --daemon start resourcemanager
yarn --daemon start nodemanager
jps

成功后在浏览器输入127.0.0.1，打开datanode页面可看到节点信息伪分布式集群搭建结果

4个配置文件内容：

core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://127.0.0.1:9000</value>
  </property>
</configuration>

hdfs-site.xml

<configuration>
  <property>
    <name>dfs.nameservices</name>
    <value>zf01</value>
  </property>
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>127.0.0.1:50090</value>
  </property>
  <property>
    <name>dfs.blocksize</name>
    <value>32m</value>
  </property>
  <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/home/hdfs/Bigdata/data/hadoop/hdfs/nn</value>
  </property>
  <property>
    <name>fs.checkpoint.dir</name>
    <value>file:/home/hdfs/Bigdata/data/hadoop/hdfs/snn</value>
  </property>
  <property>
    <name>fs.checkpoint.edits.dir</name>
    <value>file:/home/hdfs/Bigdata/data/hadoop/hdfs/snn</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/home/hdfs/Bigdata/data/hadoop/hdfs/dn</value>
  </property>
</configuration>

mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

yarn-site.xml

<configuration>
  <!-- Site specific YARN configuration properties -->
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>127.0.0.1</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>/home/hdfs/Bigdata/hadoop/data/hadoop/yarn/nm</value>
  </property>
</configuration>

全分布式集群搭建

修改主机名

sudo vi /etc/hostname

修改网络适配器，改为桥接模式
获取虚拟机ip地址

ifconfig

修改/etc/hosts配置文件

sudo vi /etc/hosts
# 注释掉127.0.1.1这一行
# 集群中所有节点（包括主节点）添加所有节点（包括主节点）的ip地址+主机名

关机重启使配置文件的修改生效

sudo reboot

进入hadoop配置目录后切换用户，编辑workers文件

cd /opt/hadoop/etc/hadoop/
su hdfs
ll
vi workers
# workers文件中存放所有从节点的主机名信息，主节点虚拟机中也需要编辑此文件

cd
ll
rm -rf Bigdata

主节点格式化文件系统

hdfs namenode -format
# 格式化之后，集群中所有节点需要把4个配置文件中的ip地址修改为主节点ip

主节点启动namenode

hdfs --daemon start namenode

从节点启动datanode

hdfs --daemon start datanode

主节点启动resourcemanager

yarn --daemon start resourcemanager

从节点启动nodemanager

yarn --daemon start nodemanager

至此，全分布式集群搭建完毕，可在浏览器中输入主节点ip:9870端口，打开datanode页面可以查看到所有从节点信息

补充记录

日志文件查看

cd /opt/hadoop/logs
ll
cd hadoop-hdfs-datanode-xxx.log

通过日志文件可以查看报错信息，从而快速解决问题

例如：由于刚开始设置了含下划线的非法主机名，导致错误

报错日志信息

来源：oschina

链接：https://my.oschina.net/u/4207771/blog/3143645

标签

HDFS

yarn

Hadoop