NameNode数据存储
HDFS架构图 HDFS原理 1) 三大组件 NameNode、 DataNode 、SecondaryNameNode 2)NameNode 存储元数据(文件名、创建时间、大小、权限、文件与block块映射关系) 3)DataNode 存储真实的数据信息 4)SecondaryNameNode 合并edits日志文件和fsimage镜像文件进行合并 (1)dfs.namenode.name.dir file://{$hadoop.tmp.dir}/dfs/name hadoop.tmp.dir /tmp/hadoop-${user.name} 多次格式化的问题: hdfs格式化会改变VERSION文件中的clusterID, 首次格式化时datanode和namenode会产生相同的clusterID; 如果重新执行格式化,namenode的clusterID改变,就会愈datanode的cluseterID不一致,如果重启或者读写hdfs,就会挂掉 (2)dfs.datanode.data.dir file://${hadoop.tmp.dir}/dfs/data hadoop.tmp.dir /tmp/hadoop-${user.name} 例:/tmp/hadoop-root/dfs目录下: