进行Hadoop伪分布式搭建时，需要有一定的Linux命令基础,
因为Hadoop是搭建在Linux环境上的开源框架,
Hadoop的框架最核心的设计就是：HDFS和MapReduce。
本文也主要讲述HDFS和MapReduce环境的搭建。
搭建环境：
虚拟机： VMware10 操作系统：CentOS-6.5 JDK版本：jdk-8u171-linux-x64 Hadoop版本：hadoop-2.7.3 使用工具：Xshell 6，Xftp 6，Notepad++
虚拟机ip地址：192.168.72.10
一、虚拟机网络环境配置
1.首先移动到网络配置文件的目录下：
[root@localhost ~]# cd /etc/sysconfig/network-scripts.
2.查看一下文件夹下的文件
[root@localhost network-scripts]# ls
3.ifcfg-eth0(net模式)
[root@localhost network-scripts]# vi ifcfg-eth0
ifcfg-eth0
DEVICE=eth0 HWADDR=00:0C:29:2C:8A:1C TYPE=Ethernet UUID=a3222bc4-07ad-4b2c-8168-9123758f0333 ONBOOT=yes NM_CONTROLLED=yes BOOTPROTO=static IPADDR=192.168.72.10 NETMASK=255.255.255.0 GATEWAY=192.168.72.2
IPADDRip , GETWAY :
iEscwq
4.重启网络服务：
[root@localhost network-scripts]# service network restart
5.DNS
[root@localhost network-scripts]# vi /etc/resolv.conf
6.检测网络配置
[root@localhost network-scripts]# ping www.baidu.com
二、java的安装和配置
1.下载jdk
jdk1.8 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-213…
2.ftp 6CentOS-6.5/soft
3.解压压缩包
[root@localhost soft]# tar -zxvf jdk-8u171-linux-x64.tar.gz
4.修改文件名
[root@localhost soft]# mv jdk-1.8.0_161 jdk
5.()
[root@localhost soft]# cd /etc/profile.d/
5.新建环境变量文件：
[root@localhost profile.d]# vi java.sh
6.进行环境变量配置：
java.sh
JAVA_HOME=/soft/jdk PATH=$PATH:$JAVA_HOME/bin CLASSPATH=$CLASSPATH:$JAVA_HOME/lib export JAVA_HOME PATH CLASSPATH
7.启动环境变量生效：
[root@localhost profile.d]# source java.sh
8.查看jdk安装版本
[root@localhost profile.d]# java -version
三、SSh
1.安装ssh客户端
[root@localhost profile.d]# yum install -y openssh-clients openssh-server
2.切换到根目录
[root@localhost profile.d]# cd ~
3.生成密钥：
[root@localhost ~]# ssh-keygen -t rsa
（一路回车）
4.进入隐藏目录：
[root@localhost ~]# cd .ssh
5.拷贝密钥文件：
[root@localhost .ssh]# cd id_rsa.pub authorized_keys
6.ssh
[root@localhost .ssh]# ping 92.168.72.10
四、Hadoop
1.hadoop安装包
http://apache.claz.org/hadoop/common/
2.ftp 6CentOS-6.5/soft
3.解压压缩包
[root@localhost soft]# tar -zxvf hadoop-2.7.3.tar.gz
4.更换目录文件名
[root@localhost soft]# mv hadoop-2.7.3 hadoop
5.移动到配置文件目录
[root@localhost profile.d]# cd /etc/profile.d
6.配置环境变量
[root@localhost profile.d]# vi hadoop.sh
hadoop.sh
HADOOP_HOME=/soft/hadoop PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin export HADOOP_HOME PATH
7.hadoop
[root@localhost profile.d]# source hadoop.sh
8.hadoop
[root@localhost profile.d]# hadoop version
五、HDFS
1.移动到配置文件目录下
[root@localhost profile.d]# cd /soft/hadoop/etc/hadoop/
2.core-site.xml hdfs-site.xml
3.hdfs的namenode和datanode的文件夹
mkdir -p /hadoop/tmp mkdir -p /hadoop/dfs/name mkdir -p /hadoop/dfs/node
4.修改配置文件配置
core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://192.168.72.10:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/hadoop/tmp</value> </property> </configuration>
hdfs-site.xml
<configuration> <property> <name>dfs.namenode.name.dir</name> <value>/hadoop/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/hadoop/dfs/data</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.permissions.enabled</name> <value>false</value> </property> </configuration>
5.namenode
[root@localhost hadoop]# hadoop namenode -format
6.查看进程：
[root@localhost hadoop]# jps
NameNodeSecondaryNameNodeDataNode
7.检验管理hdfs
hdfs，windowshttp://192.168.72.10:50070/
8.HDFS
//建立文件夹： [root@localhost hadoop]# hdfs dfs -mkdir /hadoop
//上传文件（把当前目录下abc.txt传到hdfs的hadoop上） [root@localhost hadoop]# hdfs dfs -put abc.txt /hadoop
六、MapReduce的配置管理
1.移动到配置文件夹
[root@localhost hadoop]# cd /soft/hadoop/etc/hadoop
2.生成配置文件
[root@localhost hadoop]# cp mapred-site.xml.template mapred-site.xml
此时文件夹下存在mapred-site.xml yarn-site.xml
3.修改配置文件
mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
yarn-site.xml
<configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>192.168.72.10</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
4.移动至启动的文件夹
[root@localhost hadoop]# cd /soft/hadoop/sbin/
5.mapreduce资源管理和调度
[root@localhost sbin]# start-yarn.sh
6.查看启动进程
[root@localhost sbin]# jps
ResourseManager,NodeManager
至此，hadoop伪分布式搭建完成，大家在搭建的过程中要有耐心，
每进行一步时要进行最后的检验，能够成功后进行下一步，
有什么问题可以在评论区留言，我会及时回复，希望能给大家带来帮助。