TaskTracker

【Hadoop】- Hadoop1.x 伪分布式环境搭建

ぐ巨炮叔叔 提交于 2019-11-28 09:35:44
Hadoop体系的主要组件:HDFS/MapReduce HDFS: Hadoop Distribution File System NameNode、SecondNameNode:名称节点 作用:维护Hadoop中存储数据块的相关信息,例如记录hadoop集群中某个数据块所在的服务器位置,SecondNameNode主要是起到冗余作用,当NameNode宕机时,可使用SecondNameNode作为NameNode的替代工具,防止整个Hadoop集群的崩溃 DataNode: 数据节点 作用: 主要是存储HDFS数据块的服务器,负责HDFS数据库的存储(读写) MapReduce: 分布式计算框架 JobTracker: 作业跟踪器,类似司令的角色,主要用于处理作业,将作业进行分割成任务task,统一调度 TaskTracker:任务跟踪器:主要管理节点上task,类似士兵的角色,向JobTracker报告 master:JobTracker NameNode节点所在的服务器 slave: DataNode TaskTracker节点所在的服务器 注意:1个Hadoop集群只有1个JobTracker作业跟踪器,JobTracker和NameNdoe可在同1个服务器,TaskTracker和DataNode一般在同一个服务器,一个TaskTracker管理所在服务器的任务