Hadoop+Hbas完全分布式安装部署

匿名 (未验证) 提交于 2019-12-02 22:56:40

Hadoop安装部署基本步骤:

1、安装jdk,配置环境变量。



2、linux环境下,至少需要3台机子,一台作为master,2台(以上)作为slave。



3、配置所有机器的hostname和hosts。

     更改master的HOSTNAME,这里改为HOSTNAME=master

     其它slave为HOSTNAME=slave1、HOSTNAME=slave2 ,重启后生效。

     但是重启系统后更改的名字会失效,仍是原来的名字



4、配置SSH所有机器之间免密码登录


  (2)输入命令,ssh-keygen -t rsa,生成key,一直按回车,

     这里要说的是,为了各个机器之间的免登陆,在每一台机器上都要进行此操作。

  (3) 接下来,在master服务器,合并公钥到authorized_keys文件,

     进入/root/.ssh目录,输入以下命令

5、配置Hadoop环境变量,HADOOP_HOME、hadoop-env.sh、yarn-env.sh。

     export HADOOP_HOME=/opt/hbase/hadoop-2.7.3 (Hadoop的安装路径)

     export PATH=$PATH:$HADOOP_HOME/sbin

     export PATH=$PATH:$HADOOP_HOME/bin 


     export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"

  (2)配置hadoop-env.sh、yarn-env.sh,在Hadoop安装目录下

      加入export JAVA_HOME=/opt/java_environment/jdk1.7.0_80(jdk安装路径)

      加入export JAVA_HOME=/opt/java_environment/jdk1.7.0_80(jdk安装路径)

     保存退出

6、配置基本相关xml,core-site.xml、hdfs-site.xml、mapred-site.xml、mapred-site.xml

    <configuration>


        <name>fs.defaultFS</name> <!--NameNode 的URI-->



        <name>hadoop.tmp.dir</name> <!--hadoop临时文件的存放目录-->


    </configuration>



          <!--目录无需预先创建,会自动创建-->


        <name>dfs.datanode.data.dir</name>



        <name>dfs.replication</name>

      </property>






        <name>dfs.webhdfs.enabled</name>


    </configuration>













  </configuration>

  <configuration>









    <property> <!--ResourceManager



    <property> <!--ResourceManager



    <property> <!--ResourceManager



    <property> <!--ResourceManager



    <property> <!--ResourceManager



  </configuration>

7、配置slaves文件

  在Hadoop安装目录下,编辑vim etc/hadoop/slaves,

  去除默认的localhost,加入slave1、slave2,保存退出。

8、通过远程复制命令scp,将配置好的Hadoop复制到各个节点对应位置

  scp -r /opt/hadoop-2.7.3 192.168.172.72:
  scp -r /opt/hadoop-2.7.3 192.168.172.73:

9、Hadoop的启动与停止

  (1)在Master服务器启动hadoop,从节点会自动启动,进入Hadoop目录下,

      输入命令,bin/hdfs namenode -format进行hdfs格式化

      输入命令,sbin/start-all.sh,进行启动

      也可以分开启动,sbin/start-dfs.sh、sbin/start-yarn.sh

      在master 上输入命令:jps, 看到ResourceManager、

      NameNode、SecondaryNameNode进程

      出现这5个进程就表示Hadoop启动成功。

     在浏览器中输入http://master:50070查看master状态,

  (3)停止hadoop,进入Hadoop目录下,输入命令:sbin/stop-all.sh,

Hbase安装部署基本步骤:

  1、在Hadoop配置的基础上,配置环境变量HBASE_HOME、hbase-env.sh

      export JAVA_HOME=/opt/java_environment/jdk1.7.0_80(jdk安装路径)

    <configuration>



        <value>hdfs://master:9000/opt/hbase/hbase_db</value>












          <value>/opt/hbase/zookeeper</value>
       </property>

    </configuration>

  3、配置regionservers


 

:


  4、启动与停止Hbase

      输入jps命令查看进程是否启动成功,若 master上出现HMaster、HQuormPeer,

      slave上出现HRegionServer、HQuorumPeer,就是启动成功了。

    (3)接下来配置本地hosts,(前边配置过的无需再配置了)

      在浏览器中输入http://master:16010就可以在界面上看到hbase的配置了

    (4)当要停止hbase时输入stop-hbase.sh,过几秒后hbase就会被停止了。

原文:https://www.cnblogs.com/lxbmaomao/p/9387659.html

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!