Fork me on GitHub

rsync同步时导致服务器重启-故障记录

字数统计: 615字   |   阅读时长≈ 2分 
1
2
3
生产环境有台服务器专用于各种数据备份归档, 突然有一短时间rsync服务器基本在固定时间凌晨3点左右自重启。

以下为故障彻查记录, 便于日后查阅。

解决思路及过程

为什么会那么准时导致服务器重启
1
这个问题很好查证, 很快我们就定位到了问题点。是因为有台代码服务器crontab配置在了凌晨3点10分左右开始通过脚本自动同步。日志没有任何有价值信息, 同步为什么会导致服务器重启呢？实在无解...
怀疑配置文件问题
1
首先怀疑配置文件问题, 配置文件修改了数次, 手动测试推送，刚按回车，rsync服务器立即重启，最后都以失败告终。
怀疑是版本bug
1
其次是怀疑rsync版本存在bug，官方下载最新版本编译安装, 替换现有的rsync命令的软链,再测试，rsync服务器立即重启......

#####从文件大小入手测试

1
这次卷土重来, 先手动推送一个小文件测试（大小5M以内), 推送成功，至少说明配置没问题。稍大文件（33M）继续推送, rsync服务器立马重启...... 这TM就呵呵了, 什么鬼？
1
2
3
抽根烟淡定后, 继续搞......去看了看rsync服务器被推送到的目录, ls的结果异常缓慢,需要等待约5秒左右才能显示。此时貌似想到了什么问题...

修改配置文件, 把rsync推送过来的数据目录更换为其他磁盘分区的目录(权限也需配置)，再测试rsync大文件推送, 我靠，没问题了！感人...
1
初步结论: 大文件推送的时候, rsync服务器指定的目录磁盘io异常高,触发了服务器BIOS的保护机制,导致服务器重启。这结论没毛病啊......后来与老大沟通后一致认为,导致磁盘io异常的原因可能是磁！盘！坏！道！

处理方案

1
2
3
4
5
6
(1)查看现有备份目录所在磁盘以及现有文件所占用的大小
(2)准备资料迁移服务器或磁盘或盘柜
(3)现有资料迁移
(4)格式化现有磁盘, 再进行rsync推送测试

若问题依旧存在,直接进行硬盘更换

扫一扫，分享到微信

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia-plus根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true


不论我写了什么...
其实都是错的......