问题汇总-openstack计算节点无法调度及热迁移调度

由于生产环境openstack N版在使用中发现, （疑似后来新添加的4个）计算节点无法被nova_schedule调度, 即创建虚拟机不能被分配到这几台计算节点上。在后来的热迁移测试中,也发现了问题。由于这套openstack非自己部署,所以故障排查尤为艰难，下面详细记录下：

首先去验证计算节点服务是否正常

首先去验证计算节点服务是否正常
openstack compute service list 

其结果都是正常的

其次,需要保证所有计算节点都在一个可用域中

通过Web控制台或命令来进行查看与验证

参考：AZ(可用域)与HA（主机聚合）

以上的排查结果没有发现任何疑问，最后通过比对控制节点的配置文件查出了猫腻。

问题如下：
1. 后增的计算节点没有配置CPU超配比例与Ceph共享存储
2. 热迁移调度失败

问题1解决方案：计算节点无法被schedule调度

所有计算节点操作

对四台有问题的计算节点进行配置新增, 主要有以下几个方面：

检测计算节点是否支持虚拟化
egrep -c '(vmx|svm)' /proc/cpuinfo


#CPU超配(vim /etc/nova/nova.conf)
[DEFAULT]
vcpu_pin_set = 4-31
cpu_allocation_ratio = 32.0
ram_allocation_ratio = 0.0
reserved_host_memory_mb = 4096


#ceph共享存储配置
[libvirt]
images_type = rbd
images_rbd_pool = vms
images_rbd_ceph_conf = /etc/ceph/ceph.conf
disk_cachemodes = "network=writeback"
inject_password = false
inject_key = false
inject_partition = -2
hw_disk_discard = unmap


#重启计算节点服务,问题解决
systemctl restart  libvirtd  openstack-nova-compute


个别计算节点不能被调度是因为同一个可用域中的计算节点配置环境不同【即CPU超配和Ceph未配置】 导致nova-schedule忽略调度此计算节点导致。因为schedule会根据计算节点的可用资源情况进行条件筛选，符合条件(默认条件是相同计算节点配置，可用资源较少)才被成功调度。

问题2解决方案：热迁移配置

所有计算节点操作

修改libvirt配置
/etc/libvirt/libvirtd.conf 修改为如下内容:
listen_tls = 0  
listen_tcp = 1  
auth_tcp = "none" 
listen_addr = "0.0.0.0" 
tcp_port = "16509"

/etc/sysconfig/libvirtd   修改为如下内容:
LIBVIRTD_ARGS="--listen"

/etc/libvirt/qemu.conf    修改为如下内容:
vnc_listen = "0.0.0.0"
user = "root"
group = "root"
dynamic_ownership = 1


修改nova配置
/etc/nova/nova.conf     修改为如下内容：
[libvirt]
live_migration_downtime = 500
live_migration_downtime_steps = 10
live_migration_downtime_delay = 75
live_migration_flag=VIR_MIGRATE_UNDEFINE_SOURCE,VIR_MIGRATE_PEER2PEER,VIR_MIGRATE_LIVE,VIR_MIGRATE_TUNNELLED


#重启服务
systemctl restart libvirtd openstack-nova-compute

以上配置正常后,其中一个计算节点扔不能被调度

热迁移测试时, 通过nova-compute.log日志可以看到一堆错误：
Error oslo_message.rpc.server ...... Exception during message handling

这类报错基本都是由于nova.conf配置文件语法问题导致，虽然服务正常启动，但是不能被成功调度。解决方案：拷贝正常的配置文件覆盖并简要修改，重启服务，测试OK

如何快速定位故障?

首先理清楚架构, 其次尝试去修改错误, 验证时或无解决思路时, 务必要查看日志，日志基本能够说明一切。

• 本文作者： GaryWu
• 本文链接： https://garywu520.github.io/2017/03/22/问题汇总-openstack计算节点无法调度及热迁移调度/
• 版权声明： 本博客所有文章除特别声明外，均采用 MIT 许可协议。转载请注明出处！