大数据随笔
hadoop2.x启动步骤、 1:首先我们要先启动zookeeper。 zkServer.sh start 2:格式 化zkfc hdfs zkfc -formatZK 3:启动journalnode ( namenode的同步数据的 单独的进程) hadoop-daemon.sh start journalnode 4: 格式化namenode(不启动第三步的话,在namenode的初始化会报错 的) 5:启动 hadoop集群。 start-all.sh 6: 在主节点中取出hadoop的工作目录中的下的current目录复制到要 7: —————————————————————————————————————— webui界面查看 该集群的数据节点是否起来了。 hostname+50070 如我的webui地址为192.168.43.37:50070 192.168.43.37为我集群的组节点 如下图所示 注意三个数据节点的last contact参数是不会超过3的 如果超过了3说明该数据节点是有问题的。一般是在0到2之间。(不断的刷新这个页面,观察这个三个数据点的last contact的数值。) webui界面下也可以查看hadfs中存储的情况。如下 我们可以 可以清楚查看文件 目录和 文件 的大小及相关的权限,副本数。 如下图 我们查看一下 hdfs系统中test