CDH集群调优：内存、Vcores和DRF

场景：需要将CDH动态资源池中的Vcores进行虚拟以满足Yarn跑任务的需要。

DRF和相关参数

DRF: Dominant Resource Fairness，根据CPU和内存公平调度资源。

CDH动态资源池默认采用的DRF计划策略。

简单的理解就是: 内存不够的时候，多余的CPU就不会分配任务了，就让他空着；CPU不够的时候，多出来的内存也不会再启动任务了。

理解这个计划策略后，再查看Yarn启动任务时资源相关的参数，发现有以下几个参数可能会产生影响：

mapreduce.map.memory.mb   map任务内存，cdh默认1G
mapreduce.map.cpu.vcores   map任务虚拟CPU核数，cdh默认1
mapreduce.reduce.memory.mb   reduce任务内存，cdh默认1G
mapreduce.reduce.cpu.vcores  reduce任务虚拟CPU核数，cdh默认1
由此可以看到默认配置下，CPU核数和内存是1：1G的比例来启动任务的。

yarn.nodemanager.resource.memory-mb  容器内存，cdh默认8G。此参数可以调整动态资源池中总内存的数量，一般不建议超过物理内存数量。
yarn.nodemanager.resource.cpu-vcores  容器虚拟CPU核数，cdh默认8。此参数可以调整动态资源池中总vcore数量，一般不建议超过物理核心数量。

而我的需求是调整总的vcore数量，所以我需要在CDH中 yarn集群的设置中搜索“yarn.nodemanager.resource.cpu-vcores”参数去配置所有的。

检验

查看虚拟vcore数量和内存调整结果：CDH -- 群集 -- 动态资源池

注：如果yarn正在跑任务的情况下，修改vcore后，配置将延迟生效，具体时间根据yarn任务执行完毕的时间而定。

官方文档参考

Cloudera CDH

本帖参考

AboutYun

• 本文作者： GaryWu
• 本文链接： https://garywu520.github.io/2017/07/05/CDH集群调优：内存、Vcores和DRF/
• 版权声明： 本博客所有文章除特别声明外，均采用 MIT 许可协议。转载请注明出处！