namenode

user6@das0 hadoop-0.20.203.0]$ bin/hadoop namenode -format 12/02/20 14:05:17 INFO namenode.NameNode: STARTUP_MSG: Re-format filesystem in /data0/hadoop-name ? (Y or N) y Format aborted in /data0/hadoop-name 12/02/20 14:05:20 INFO namenode.NameNode: SHUTDOWN_MSG: 随后启动hadoop, 发现http://das0:5007无法显示。 将/data0/hadoop-name文件夹整个删除。然后再格，成功！！！ [zhangpeng6@das0 hadoop-0.20.203.0]$ bin/hadoop namenode -format 12/02/20 14:09:57 INFO namenode.NameNode: STARTUP_MSG: 12/02/20 14:09:57 INFO util.GSet: VM type = 64-bit 12/02/20 14:09:57 INFO util.GSet: 2% max memory = 177.77875 MB 12/02/20 14:09:57 INFO util

前言 Hadoop 从存储上来说，是类似于冗余磁盘阵列 (RAID) 的存储方式，将数据分散存储并提供以提供吞吐量，它的存储系统就是 HDFS （ Hadoop Distuibute Fils System ）；从计算上来说，它通过 MapReduce 模型，将大数据的计算分发到多台计算机上完成，再将结果合并，减少计算的时间。 Hadoop 适合于： 1、超大数据的计算； 2、一次写入、多次读取的模式； 3、可以跑在普通的硬件上。 Hadoop 不适合： 1、低延迟的数据访问，它是为高数据吞吐量应用优化的； 2、大量的小文件 Hadoop 客户端需要和 namenode 进行交互，而 namenode 中存放的是 datanode 的文件属性，且都是在内存中，如果小文件过多， namenode 是存放不了的； 3、多用户写入，任意修改文件。 Hadoop 适合于一次计算，多次读取的场景，如搜索引擎，只支持随机读取不支持随机写入，如 Hadoop 和 Lucene 的集成就不能够直接集成，因为 Lucene 支持随机写入。 本文将从使用的角度上谈了如何搭建 Hadoop 、如何配置 Hadoop 、如何验证 Hadoop 及在 Hadoop 上面执行计算，以及可能会遇到些什么样的问题。 一、 Hadoop 环境搭建 因为 Hadoop 需要在 Linux 运行，并且 Hadoop

上一节，讲过了，执行hadoop namenode -format后 实际上是执行 /root/hadoop-2.7.0-bin/bin/hdfs namenode -format 下面就来分析这个脚本 --- bin=`which $0` bin=`dirname ${bin}` bin=`cd "$bin" > /dev/null; pwd` 打印 bin=/root/hadoop-2.7.0-bin/bin --- DEFAULT_LIBEXEC_DIR="$bin"/../libexec 打印’ DEFAULT_LIBEXEC_DIR=/root/hadoop-2.7.0-bin/bin/../libexec --- cygwin=false case "$(uname)" in CYGWIN*) cygwin=true;; esac 这个不会执行，过滤 --- 接下来执行一个脚本 HADOOP_LIBEXEC_DIR=${HADOOP_LIBEXEC_DIR:-$DEFAULT_LIBEXEC_DIR} . $HADOOP_LIBEXEC_DIR/hdfs-config.sh 实际上执行的是 /root/hadoop-2.7.0-bin/libexec/hdfs-config.sh 这个脚本其实是调用另外一个脚本，调用的哪个脚本？读者可以自己去探索一下：） --

一、问题描述 由于namenode 是HDFS的大脑，而这个大脑又是单点，如果大脑出现故障，则整个分布式存储系统就瘫痪了。HA（High Available）机制就是用来解决这样一个问题的。碰到这么个问题，首先本能的想到的就是冗余备份，备份的方式有很多种，前辈们设计的有元数据备份方案，secondary namenode以及avatarnode等方案。而这些方案中最有优势的自然是能够让HDFS以最短的时间完成故障切换的方案。也就是我们今天要讨论的avatarnode。 二、基本结构 primary：负责正常业务namenode，也就是为client提供元数据查询和操作。 standby：热备的namenode，完全备份primary的元数据，并对primary做checkpoint（一种元数据持久化机制，后面会介绍到）。 NFS：网络文件服务器，primary会将日志实时同步一份到该服务器，来保证primary出故障时备份元数据的完整性。 三、数据持久化机制——checkpoint primary管理着所有的元数据，通常元数据都保存在内存里，这样对元数据的访问能够高效。但是有个隐患，就是如果primary节点宕机了，或者掉电了，那么所有的元数据就一去不复返了。如果我们能够把元数据在内存里保存一份，同时在硬盘上也保存一份，那么即使掉电也能将数据再恢复过来。