centos7搭建hadoop-2.7.3,zookeeper-3.4.6,hbase-1.2.5(root用户)

RSAAuthentication yes
PubkeyAuthentication yes
这两个注释去掉

我这里主机ip为192.168.136.133，另一个是192.168.136.130

进入到配置文件中sudo vim /etc/resolv.conf

hostnamectl set-hostname 主机名 #修改三种主机名

先删除centos7自带的openjdk
①rpm -qa | grep java
②rpm -e --nodeps Openjdk

（我装的是jdk1.8.0_221）
jdk下载地址
需要登录哦！！！

  tar -xzvf  jdk-8u221-linux-x64.tar.gz

  sudo vim /etc/profile    JAVA_HOME=/usr/local/java/jdk1.8.0_221   JRE_HOME=$JAVA_HOME/jre   CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib   PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin   export JAVA_HOME JRE_HOME CLASS_PATH  PATH    source /etc/profile(使文件生效)

  java -version

hadoop下载地址

  sudo vim /etc/profile    JAVA_HOME=/usr/local/java/jdk1.8.0_221   JRE_HOME=$JAVA_HOME/jre   CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib   HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.7   HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native   PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin   export JAVA_HOME JRE_HOME CLASS_PATH HADOOP_HOME HADOOP_COMMON_LIB_NATIVE_DIR PATH     source /etc/profile(使文件生效)

在上面jdk环境变量下添加就好。

进入到/usr/local/hadoop/hadoop-2.7.7/etc/hadoop/目录下，在hadoop-env.sh和yarn-env.sh两个文件中添加JAVA_HOME

  cd /usr/local/hadoop/hadoop-2.7.7/etc/hadoop   sudo vim hadoop-env.sh      export JAVA_HOME=/usr/local/java/jdk1.8.0_221     export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.7     export HDFS_NAMENODE_USER=dingrong     export HDFS_DATANODE_USER=dingrong     export HDFS_SECONDARYNAMENODE_USER=dingrong     export YARN_RESOURCEMANAGER_USER=dingrong     export YARN_NODEMANAGER_USER=dingrong          export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"（更改hadoop_opts）    source  hadoop-env.sh(使文件生效)    sudo vim yarn-env.sh     # export JAVA_HOME=/home/y/libexec/jdk1.6.0/     export JAVA_HOME=/usr/local/java/jdk1.8.0_221   source yarn-env.sh

另外还有四个site.xml的文件需要配置

core-site.xml

<configuration> <property>     <name>fs.defaultFS</name>     <value>hdfs://renee22:9000</value>     <description>HDFS的URI，文件系统://namenode标识:端口号</description> </property> <property>     <name>hadoop.tmp.dir</name>     <value>/usr/local/hadoop/tmp</value>     <description>namenode上本地的hadoop临时文件夹</description> </property> </configuration>

hdfs-site.xml

<configuration> <property>     <name>dfs.replication</name>     <value>1</value>     <description>副本个数，配置默认是3，应小于datanode机器数量</description> </property> <property>     <name>dfs.namenode.name.dir</name>     <value>/usr/local/hadoop/dfs/name</value> </property> <property>     <name>dfs.datanode.data.dir</name>     <value>/usr/local/hadoop/dfs/data</value> </property> </configuration>

yarn-site.xml
先执行 hadoop classpath命令，并复制返回的地址

mapred-site.xml

slaves文件中添加你的主机和节点

进入hadoop-2.7.7下的sbin目录下执行命令

hdfs namenode -format

如果格式化错误为
ERROR namenode.NameNode: java.io.IOException: Cannot create directory /export/home/dfs/name/current
ERROR namenode.NameNode: java.io.IOException: Cannot remove current directory: /usr/local/hadoop/hdfsconf/name/current
执行命令

sudo chmod -R a+w /usr/local/hadoop

执行这两个命令
./start-dfs.sh
./start-yarn.sh

http://192.168.136.133:50070或者http://renee22:50070( 这个在两个虚拟机也就是两个节点上都能访问！)

zookeeper下载地址

ZOOKEEPER_HOME=/usr/local/zookeeper/zookeeper-3.4.14

【注】：要两台都启动，可查看zookeeper.out日志文件查看错误
查看zookeeper状态，一个是leader，一个是follewer

hbase下载地址

hbase-env.sh

hbase-site.xml

regionservers

/etc/profile

HBASE_HOME=/usr/local/hbase/hbase-2.0.5

（记得source生效）

dingrong@renee22执行 scp -r /usr/local/hbase dingr@renee13:/home/dingr dingr@renee13执行 mv ~/hbase /usr/local/

【注】：root用户可直接拷贝至/usr/local/目录下，非root用户可先拷贝至home目录在移动

【注】：
查看时间命令 timedatectl
调整硬件时间和本地一致 timedatectl set-local-rtc 1
linux同步时间 ntpdate ntp.sjtu.edu.cn

标签

Hadoop

lib文件

jre