Mars-Hadoop-YARN的架构原理5

YARN架构组成

典型的Master/Slave结构，1个ResourceManager对应多个NodeManager；

架构组成

YARN由 ResourceManager(简称RM)、NodeManager（简称NM）和ApplicationMaster（简称AM）和Container等组成。

ResourceManager功能

RM是全局资源管理器（整个集群只有一个）
  --处理来自客户端的请求(如启动/杀死应用程序)
  --负责整个Hadoop集群资源的管理和调度，将资源分配给ApplicationMaser.

Scheduler

Scheduler（调度器,默认使用的调度器是Fair Scheduler）

ApplicationMaster功能

每个APP应用都会包含一个AM，AM负责应用程序的管理。功能包括：
   -- 为应用程序/作业向RM申请资源(Container)，并分配给内部任务；
   -- 与NodeManager通信以启动/停止任务；
   -- 跟踪每一个Task的运行状态，和容错（在任务执行失败时重新为该任务申请资源以重启任务）；
   -- 处理RM发过来的命令：杀死Container、让NodeManager重启等；

NodeManager功能

整个集群有多个NM，对每一个slave上的资源和任务做管理。
    -- 周期性向RM汇报HearBeat心跳[包括资源的使用情况和各个Container的运行状态]
    -- 接收并处理来自RM的Container启动/停止的各种命令；
    -- 接收处理来自ApplicationMaster的命令；
    -- 负责单个节点上的资源管理和任务调度；

Container功能

Container 对任务运行环境的抽象；
    -- 任务运行资源（节点、内存、CPU）；
    -- 任务启动命令；
    -- 任务运行环境；

任务是运行在Container中，一个Container中既可以运行ApplicationMaster也可以运行具体的Map/Reduce/MPI/Spark Task；

YARN容错性

1. ResourceManager
   基于Zookeeper实现HA避免单点故障
   
2. NodeManager
   执行失败后，RM将失败的任务告诉对应的AM，由AM决定如何处理失败的任务。
   
3. ApplicationMaster
   -- 执行失败后，由RM负责重启
   -- RMAppMaster会保存已经运行完成的Task,重启后无需重新运行。

YARN调度框架

1. 双层调度框架
    -- RM将资源分配给ApplicationMaster
    -- ApplicationMaster将资源进一步分配给Task
    
2. 基于资源预留的调度策略
     资源不够时，会为Task预留，直到资源充足
     特点：缺点：资源利用率不高，要先攒着，等到资源足够才启动Task，造成集群的资源利用率低；

YARN的通信协议

1. client与RM之间的通信协议：ApplicationClientProtocal
   作业的提交、应用程序状态等
   
2. AM与RM通信协议：ApplicationMasterProtocal
   向RM注册AM以及申请资源
   
3. AM与NM通信协议 ContainerManagementProtocal
   启动/停止Container
   
4. RM与NM通信协议: ResourceTracker
   汇报slave节点的资源信息,包括Container的运行状况。

• 本文作者： GaryWu
• 本文链接： https://garywu520.github.io/2019/02/15/Mars-Hadoop-YARN的架构原理5/
• 版权声明： 本博客所有文章除特别声明外，均采用 MIT 许可协议。转载请注明出处！