linux Hadoop 探索-hadoop单机模式

自闭症网瘾萝莉.ら 提交于 2019-12-04 14:58:44

运行环境

ubuntu版本------ubuntukylin-14.04.2 64位版本

Hadoop版本------Hadoop2.6.4-release

虚拟机版本-------VMware Workstation Pro 12.0

Jvm版本---------Jdk1.7以上

安装步骤

1.安装ubuntu

虚拟机安装ubuntu时安装完一个虚拟机后可选择clone直接复制出来相同的克隆版本省去安装时间

安装ubuntu并建立hadoop用户,为后续集群ssh通道做预备,不建议使用root用户进行一系列操作,具体原因百度,root远程可对系统资源进行任意修改,切记,具体shell脚本如下

groupadd hadoop
useradd -mg hadoop hadoop
#-m指的是在/home/目录下新建一个与用户名相同的文件夹
#-g指的是添加用户组
passwd hadoop
#回车后将密码设置成123456 ps:密码限于开发调试,生产环境切勿大意,设立复杂度高密码保障安全

 

1.安装jvm

下载Java对应版本的tar.gz包如下图所示

 

Pscentos下 下载rpm包可直接使用RPM命令进行安装,ubuntu下建议使用gz包进行安装,笔者尝试安装rpm插件进行rpm安装,把系统搞残了 有经验的大神欢迎留言指导,谢过了

/usr/lib目录下新建jvm目录,将gz包解压到/usr/lib/jvm目录下,并将java-***包重命名为java 重命名命令

Mv java-***** java

打开环境变量预执行文件 gedit /etc/profile

添加这几行环境变量

export JAVA_HOME=/usr/lib/jvm/java
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

输入命令后重启系统或者直接执行source /etc/profile 执行预加载脚本变量

 

 

输入命令java -version 打印出现如上图所示版本信息,代表jdk安装成功

2.调试hadoop单机运行

进入hadoop脚本环境配置文件

 

gedit /opt/hadoop/hadoop/etc/hadoop/hadoop-env.sh

 

 

JAVA_HOME修改为绝对路径.

Ps:至于为什么默认配置的${JAVA_HOME}不起作用,笔者暂时未找到原因欢迎大神们进行补充

 

#配置hadoop ssh 无密码登录 --需求背景,由于hadoop集群动辙几十上百台机器进行集群计算

假如进行密钥输入认证会增加许多运维的工作量,所以社区内普遍进行公有密钥进行交换比对登录

进入hadoop用户home目录 /home/hadoop/ 找到 .ssh 目录没有则新建,注意将文件夹所有权修改为hadoop用户所有

安装ssh服务

sudo apt-get install openssh-server
sudo apt-get install openssh-client

尝试输入命令ssh localhost 出现输入密码界面则代表ssh服务端与客户端安装成功

 

配置免密码登录

进入hadoop用户home目录下

cd /home/hadoop

能看见.sshwe文件夹,进入.ssh文件夹

执行一下命令生成ssh免登录的公钥和私钥

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

这个命令会在.ssh文件夹下创建id_dsaid_dsa.pub两个文件,这是SSH的一对私钥和公钥

现在把id_dsa.pub追加到公钥中去,执行以下命令

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

现在切换到hadoop用户登录,在尝试用ssh进行远程连接

ssh localhost是不是得到以下画面

 

 

代表免登录配置成功

 

进入hadoop目录/opt/hadoop/hadoop/

执行./sbin/start-all.sh 脚本启动hadoop

由于是单机运行hadoopnameNode 和 Jobtracker都没有启动如何查看hadoop是否启动呢?

查看HDFS文件系统

./bin/hadoop fs -ls /

 

出现以上信息,恭喜,代表你单机安装hadoop成功。Hdfs文件结构就是如linux一样

 

下一章推出hadoop伪单机集群模式,敬请期待,各位看官有哪不懂或者有疑问,欢迎留言

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!