Mars-Hadoop-YARN的产生背景4

三个必须了解的词汇

(1) MapReduce V1.X -- 简称MR V1
(2) MapReduce V2.X -- 简称MR V2
(3) YARN

Hadoop1.x中的MapReduce构成图如下：

MR V1特点

在Hadoop1.x中MapReduce是Master/Slave结构，在集群中的表现形式为：1个JobTracker带多个TaskTracker；

JobTracker：负责资源管理和作业调度；

TaskTracker：定期向JobTracker汇报本节点的健康状况、资源使用情况以及任务的执行情况；接收来自JobTracker的命令（启动/杀死任务等）并执行接收到的命令;

MR V1存在的问题

　1.单点故障：JobTracker只有一个，JobTracker挂了整个集群就没办法使用了；

　2.JobTracker负责接收来自各个TaskTracker节点的RPC请求，压力会很大，限制了集群的扩展；随着节点规模增大之后，JobTracker就成为一个瓶颈；

3. 仅支持MapReduce计算框架；无法支持多种计算平台
   --- MapReduce计算框架是一个基于Map和Reduce两阶段、适合批处理的、基于磁盘的计算框架；
   --- MapReduce计算框架优点：容错性好；
   --- MapReduce计算框架缺点：性能差；

MR V2与MR V1的区别？

MR V2是MR V1的升级版本，与MR V1不同的时运行的环境不一样。MR V2是运行于YARN之上的MapReduce计算框架。

MR V1：
     - JobTracker:资源和任务的管理和调度
     - TaskTracker: 单个节点的资源管理和任务执行

MR V2：
     - YARN：资源管理和调度
     - ApplicationMaster: 具体应用程序相关的任务拆分、任务调度和容错等。

MR总结

总结：

1. 源于MR 的缺陷：扩展性受限、单点故障、难以支持MR之外的计算框架；

2. 多计算框架各自为战，数据共享困难，资源利用率低；
    --- MR: 离线计算框架
    --- Storm：实时计算框架
    --- Spark：内存计算框架

催生了YARN的产生。

YARN

YARN是支持多种计算框架的资源管理器，不仅仅支持MapReduce

• 本文作者： GaryWu
• 本文链接： https://garywu520.github.io/2019/02/15/Mars-Hadoop-YARN的产生背景4/
• 版权声明： 本博客所有文章除特别声明外，均采用 MIT 许可协议。转载请注明出处！