BigData<4>_Hadoop单机安装

匿名 (未验证) 提交于 2019-12-02 23:57:01
  1. 本机Mac,设置服务器ip的名称。
vim /etc/hosts

增加服务器ip 和 名称的映射关系:
120.xx.xxx.145 hadoop000 方便记忆
利用ssh登陆服务器:

  1. Linux上,设置服务器内网ip和服务器名称的映射 「使用阿里云,搭建Hadoop时候应该用内网ip」
    同样在/etc/hosts中修改,服务器名hadoop000

  2. 创建相关的文件夹 mkdir hadoop
    mkdir software 存放软件安装包
    mkdir app 存放软件的安装目录
    mkdir data 存放使用的数据
    mkdir lib 存放开发的jar
    mkdir shell 存放项目中的脚本
    mkdir maven_resp 存放使用到的maven依赖

  3. Hadoop安装前置要求 Java 1.8 (我用的Java11) 、 ssh
    Java和ssh的配置略略
java -version

看到安装的版本号说明安装完成。

  1. ssh 免密登陆配置
ssh-keygen -t rsa

一路回车,在~/.ssh/中:
id_rsa ˽Կ
id_rsa.pub 公钥
将公钥写入authorized_keys

cat id_rsa.pub >> authorized_keys chmod 600 authorized_keys

注意:
a. Hadoop集群中各个节点之间的访问(单一节点就是自己访问自己)需要配置免密登陆,否则后期启动NameNode,DataNode需要输密码
b. 后期Hadoop集群在阿里云服务器上,在IDEA上API编程访问Hadoop集群时候,也需要本地和服务器之间的免密登陆。即需要将本地机器的公钥写入服务器的authorized_keys

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!