Hadoop安装部署基本步骤:
1、安装jdk,配置环境变量。
2、linux环境下,至少需要3台机子,一台作为master,2台(以上)作为slave。
3、配置所有机器的hostname和hosts。
更改master的HOSTNAME,这里改为HOSTNAME=master
其它slave为HOSTNAME=slave1、HOSTNAME=slave2 ,重启后生效。
但是重启系统后更改的名字会失效,仍是原来的名字
4、配置SSH所有机器之间免密码登录
(2)输入命令,ssh-keygen -t rsa,生成key,一直按回车,
这里要说的是,为了各个机器之间的免登陆,在每一台机器上都要进行此操作。
(3) 接下来,在master服务器,合并公钥到authorized_keys文件,
进入/root/.ssh目录,输入以下命令
5、配置Hadoop环境变量,HADOOP_HOME、hadoop-env.sh、yarn-env.sh。
export HADOOP_HOME=/opt/hbase/hadoop-2.7.3 (Hadoop的安装路径)
export PATH=$PATH:$HADOOP_HOME/sbin
export PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
(2)配置hadoop-env.sh、yarn-env.sh,在Hadoop安装目录下
加入export JAVA_HOME=/opt/java_environment/jdk1.7.0_80(jdk安装路径)
加入export JAVA_HOME=/opt/java_environment/jdk1.7.0_80(jdk安装路径)
保存退出
6、配置基本相关xml,core-site.xml、hdfs-site.xml、mapred-site.xml、mapred-site.xml
<configuration>
<name>fs.defaultFS</name> <!--NameNode 的URI-->
<name>hadoop.tmp.dir</name> <!--hadoop临时文件的存放目录-->
</configuration>
<!--目录无需预先创建,会自动创建-->
<name>dfs.datanode.data.dir</name>
<name>dfs.replication</name>
</property>
<name>dfs.webhdfs.enabled</name>
</configuration>
</configuration>
<configuration>
<property> <!--ResourceManager
<property> <!--ResourceManager
<property> <!--ResourceManager
<property> <!--ResourceManager
<property> <!--ResourceManager
</configuration>
7、配置slaves文件
在Hadoop安装目录下,编辑vim etc/hadoop/slaves,
去除默认的localhost,加入slave1、slave2,保存退出。
8、通过远程复制命令scp,将配置好的Hadoop复制到各个节点对应位置
scp -r /opt/hadoop-2.7.3 192.168.172.72:
scp -r /opt/hadoop-2.7.3 192.168.172.73:
9、Hadoop的启动与停止
(1)在Master服务器启动hadoop,从节点会自动启动,进入Hadoop目录下,
输入命令,bin/hdfs namenode -format进行hdfs格式化
输入命令,sbin/start-all.sh,进行启动
也可以分开启动,sbin/start-dfs.sh、sbin/start-yarn.sh
在master 上输入命令:jps, 看到ResourceManager、
NameNode、SecondaryNameNode进程
出现这5个进程就表示Hadoop启动成功。
在浏览器中输入http://master:50070查看master状态,
(3)停止hadoop,进入Hadoop目录下,输入命令:sbin/stop-all.sh,
Hbase安装部署基本步骤:
1、在Hadoop配置的基础上,配置环境变量HBASE_HOME、hbase-env.sh
export JAVA_HOME=/opt/java_environment/jdk1.7.0_80(jdk安装路径)
<configuration>
<value>hdfs://master:9000/opt/hbase/hbase_db</value>
<value>/opt/hbase/zookeeper</value>
</property>
</configuration>
3、配置regionservers
:
4、启动与停止Hbase
输入jps命令查看进程是否启动成功,若 master上出现HMaster、HQuormPeer,
slave上出现HRegionServer、HQuorumPeer,就是启动成功了。
(3)接下来配置本地hosts,(前边配置过的无需再配置了)
在浏览器中输入http://master:16010就可以在界面上看到hbase的配置了
(4)当要停止hbase时输入stop-hbase.sh,过几秒后hbase就会被停止了。
原文:https://www.cnblogs.com/lxbmaomao/p/9387659.html