hadoop架构详解一
hadoop架构组成 hadoop有两部分组成：分布式文件系统HDFS，统一的资源管理器YARN hdfs架构 Client：切分文件；访问或通过命令行管理HDFS；与NameNode交互，获取文件位置信息；与DataNode交互，读取和写入数据。 NameNode：Master节点，只有一个，管理HDFS的名称空间和数据块映射信息；配置副本策略；处理客户端请求。 DataNode：Slave节点，存储实际的数据；执行数据块的读写；汇报存储信息给NameNode。 Secondary NameNode：辅助NameNode，分担其工作量；定期合并fsimage和fsedits，推送给NameNode；紧急情况下，可辅助恢复NameNode，但Secondary NameNode并非NameNode的热备。 fsimage和fsedits NameNode中两个很重要的文件， fsimage是元数据镜像文件（保存文件系统的目录树）。 edits是元数据操作日志(记录每次保存fsimage之后到下次保存之间的所有hdfs操作)。 fsimage文件其实是Hadoop文件系统元数据的一个永久性的检查点，其中包含Hadoop文件系统中的所有目录和文件idnode的序列化信息； edits文件存放的是Hadoop文件系统的所有更新操作的路径