在生产环境中-P2P分发大软件包的应用-Murder

前言

为什么要使用 P2P 方式分发软件包?

耗时小，效率高，所以考虑使用 P2P 方式来给大量机器分发大文件。P2P使用的工具为 Twitter 的开源工具 Murder（主要使用它封装好的 BT 下载工具）。

实测数据

分发 80M 文件到 800 台机器，P2P 方式耗时 2 分钟 29 秒，大大提高了大文件的分发速度。
(PS：Murder 作者说他们 Twitter 当时提升是 75 倍！！我推测可能是它们使用内网的原因，我们这边使用的外网，因为机器在各个不同的机房。)

Murder已经存在线上正式使用案例，可以部署使用。
GitHub项目：https://github.com/lg/murder

架构图

部署分发环境

测试环境

10.10.10.20  Tracker服务器
10.10.10.21  Seeder服务器
10.10.10.22  Peer下载节点1
........     Peer下载节点n

部署

安装Murder [所有节点配置]

下载zip主程序: https://github.com/lg/murder, 解压 -- 文件夹更名为murder -- 重新压缩为murder.zip

软件分发到各个机器上。
unzip murder.zip
mv murder /usr/local/

1.启动Tracker服务器

#启动Tracker服务器，确保服务为启动状态
python /usr/local/murder/dist/murder_tracker.py > /var/log/murder_tracker.log 2>&1 &

#启动后，会自动开启8998端口
[root@cm-master ~]# netstat -lntup|grep 8998
tcp    0      0 0.0.0.0:8998        0.0.0.0:*      LISTEN      29215/python 

#查看P2P传输实时日志输出
tailf /var/log/murder_tracker.log    

2.在Seeder服务器上准备好要分发的文件并创建种子

#准备好要分发的文件，并放在/data/upload目录下

#定义临时变量
deploy_file=/data/upload/CentOS-6.6-x86_64-minimal.iso

#生成种子
python /usr/local/murder/dist/murder_make_torrent.py ${deploy_file} 10.10.10.20:8998 /root/fenfa.torrent

#将生成的种子/root/fenfa.torrent文件分发到所有的peer目标节点上。

注：格式如下
python /usr/local/murder/dist/murder_make_torrent.py ${deploy_file} ${TrackerServer-IP}:8998 ${deploy_file}.torrent

3.启动Seeder服务器

python /usr/local/murder/dist/murder_client.py seed /root/fenfa.torrent ${deploy_file} 127.0.0.1

注：启动的时候需要注意，torrent文件需要与原分发文件保持一致，否则会提示错误。

4.Peer节点执行P2P下载

#P2P下载
[root@cm-slave2 download]# time python /usr/local/murder/dist/murder_client.py peer /data/download/fenfa.torrent /data/download/CentOS6.6.iso 10.10.10.22

done and done

real	0m50.206s
user	0m19.586s
sys	0m6.981s


#查看下载
[root@cm-slave2 download]# ls -lh CentOS6.6.iso 
-rw-r--r-- 1 root root 383M Oct 12 16:19 CentOS6.6.iso

可以看到，我的一个383M的文件，在内网通过P2P的方式传送，花费的时间是50s左右，可谓速度之快！！！


注：下载格式
python /usr/local/murder/dist/murder_client.py peer /data/download/deploy.tar.gz.torrent /data/download/deploy.tar.gz ${Peer_IP}

5.文件下载完成后，关闭Seeder服务器进程

kill Seeder进程PID 避免它一直做种和提升安全性。

以上就是分发软件包的整个流程。可以将上面的操作结合进自己的自动化运维平台。

参考：http://jaminzhang.github.io/p2p/Murder-download-test/

• 本文作者： GaryWu
• 本文链接： https://garywu520.github.io/2017/10/12/在生产环境中P2P分发大软件包的应用-Murder/
• 版权声明： 本博客所有文章除特别声明外，均采用 MIT 许可协议。转载请注明出处！