Yarn不能给某些机器分配任务-解决方案

YARN健康检测

NodeManager 还提供了检测磁盘好坏的机制。

检测的磁盘目录主要是 yarn.nodemanager.local-dirs 和 yarn.nodemanager.log-dirs 参数指定的目录，这两个目录分别用于存储应用程序运行的中间结果，比如MapReduce作业中Map Task的中间输出结果）和日志文件存放目录列表。这两个参数都可以配置多个目录，多个目录之间使用逗号分隔。如果这两个参数配置的目录不可用的比例达到一定的设置，则认为该节点不健康。

某个目录可不可用的定义是：运行 NodeManager 节点的进程是否对这个目录可读、可写、可执行。如果这些条件都满足，这个目录则健康，否则该目录就被放入 failedDirs 列表里面。


本地目录健康检测主要涉及到以下几个参数：
yarn.nodemanager.disk-health-checker.interval-ms：本地目录健康检测线程执行的频率，默认值为2分钟；
yarn.nodemanager.disk-health-checker.enable：是否启用本地目录健康检测，默认值是启用；
yarn.nodemanager.disk-health-checker.min-healthy-disks：正常目录数目相对于总目录总数的比例，低于这个值则认为此节点处于不正常状态，默认值为0.25。

检测机制都会随着 NodeManager 节点启动而运行，并且检测到的状态会随心跳信息发送到 ResourceManager 端，然后 ResourceManager 端会根据相关的信息得到当前节点的可用情况，一旦发现这个节点不健康，则会标记此节点的状态为 NodeState.UNHEALTHY ，此后将不会忘这个节点分配任务，直到该节点状态正常。

现象：Yarn不能给某些机器分配任务-解决方案

通过Ganglia登陆yarn群集任一主机，查看所有yarn运行状态
yarn  node  -all  -list

[root@R710-11 ~]# yarn node -all -list

Total Nodes:100
  Node-Id	          Node-State	Node-Http-Address	     Number-of-Running-Containers
R710-10:8041	        RUNNING	     R710-10:8042	                          4
R710-11:8041	      UNHEALTHY	     R710-11:8042

故障原因：

Yarn程序对服务器硬件有套检测机制，会及时检测内存数量、vcore数量以及磁盘空间，当某个分区磁盘空间超过90%以上，yarn会将该服务器的节点状态改为UNHEALTHY，此时yarn不会再给此服务器分配任务。

服务器硬件环境：
R710，此机器上面有2个DataNode数据存放点，Namenode会随机向/data/A或/data/B存放数据。
/data/A   使用的是根分区，大小：500G，利用率：96% ，没进行外部挂载
/data/B   使用的是独立挂载分区，大小：4T，利用率: 10%，挂载了外部空间

解决方案：

#目标：释放空间,让nodemanager恢复健康

#第一步：停止向该服务器继续向/data/A存放数据

登陆CDH - HDFS - 实例 - 搜索对应服务器 - 配置 - 删除“DataNode 数据目录”配置的/data/A/dfs/dn - 保存

此时，新文件不会再存放到/data/A, 但原/data/A下的目录元数据依然存在，依然会占用根分区空间。

#第二步：删除机器上的/data/A目录下的dfs元数据

原理了解：
HDFS将每份数据默认存放不同位置3份，每次删除2台机器中的/data/A目录下的dfs数据，就不会导致数据丢失。

这个时候，就可以去对应的服务器上直接删除/data/A下的元数据了[务必与大数据再三确认]。
 cd /data/A && rm -rf ./dfs

删除后，使用df -h查看磁盘空间占用情况，可以看到空间已被释放。

#让这台Yarn故障机器恢复使用

空间被释放了，如何让Yarn重新给这台机器分配任务继续劳作呢？

登陆CDH - YARN - 实例 - 搜索对应机器 - 操作 - “重启此NodeManager”  ,重启完毕后，使用命令检测Yarn群集服务器工作状态
yarn node -all -list     


在结果中搜索下，之前故障的机器，发现故障消除了，状态从UNHEALTHY变成了RUNNING

• 本文作者： GaryWu
• 本文链接： https://garywu520.github.io/2017/07/06/Yarn不能给某些机器分配任务-解决方案/
• 版权声明： 本博客所有文章除特别声明外，均采用 MIT 许可协议。转载请注明出处！