curl和wget的底层实现区别

开发有个php程序,通过curl去调用bind dns中一个域名(2个A记录)，在某些服务器上始终只轮询落到其中一个A记录服务器（使用wget和ping不存在这个问题），具体原因后研究认定可能与路由消耗有关。但现在来说说curl和wget的区别。

使用strace命令去跟踪整个请求过程

curl

strace curl -v  web.test.zone

摘出关键部分

......

开始部分调用了几个模块, libcurl.so.4、libz.so.1、libpthread.so.0、libssl.so.1等等

......

接下来打开了文件：/etc/ssl/openssl.cnf和/lib64/locale/locale-archive,不知道它要干嘛！

......

write(2, "Rebuilt URL to: web.test.zone/\n", 32Rebuilt URL to: web.test.zone/
) = 32
mmap(NULL, 8392704, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS|MAP_STACK, -1, 0) = 0x7fbd43387000
......
write(2, "*", 1*)                        = 1
write(2, " ", 1 )                        = 1
write(2, "  Trying 192.168.10.25...\n", 23  Trying 192.168.10.25...

上面这部分就是域名解析了，完全懵逼的状态，通过尼玛什么机制获取的IP地址呢？？？

下面的部分就是直接去请求资源了...
write(2, "GET / HTTP/1.1\r\n", 16GET / HTTP/1.1
)      = 16
write(2, ">", 1>)                        = 1
write(2, " ", 1 )                        = 1
write(2, "Host: web.test.zone\r\n", 22Host: web.test.zone
) = 22
write(2, ">", 1>)                        = 1
write(2, " ", 1 )                        = 1
write(2, "User-Agent: curl/7.45.0\r\n", 25User-Agent: curl/7.45.0

wget

strace wget web.test.zone

摘出关键部分

......

最开始加载模块:libpcre.so.1、libssl.so.1.0等等
......

#查找了/etc/resalv.conf文件
open("/etc/resolv.conf", O_RDONLY|O_CLOEXEC) = 3
fstat(3, {st_mode=S_IFREG|0644, st_size=105, ...}) = 0

#查找了/etc/nsswitch.conf文件
open("/etc/nsswitch.conf", O_RDONLY|O_CLOEXEC) = 3
fstat(3, {st_mode=S_IFREG|0644, st_size=508, ...}) = 0
                           = 0
#查找了/etc/host.conf文件
open("/etc/host.conf", O_RDONLY|O_CLOEXEC) = 3
fstat(3, {st_mode=S_IFREG|0644, st_size=935, ...}) = 0

#查找了/etc/hosts文件
open("/etc/hosts", O_RDONLY|O_CLOEXEC)  = 3
fstat(3, {st_mode=S_IFREG|0644, st_size=1205, ...}) = 0

#(可能是根据hosts优先原则)最后通过DNS获取到域名解析结果
write(2, "192.168.10.25", 192.168.10.25)              = 10
write(2, ", ", 2, )                       = 2
write(2, "192.168.10.26", 192.168.10.26)              = 10
write(2, "\n", 1
)                       = 1

#拿着域名解析结果去请求数据
write(2, "Connecting to web.test.zone|10."..., 47Connecting to web.test.zone... ) = 47
socket(PF_INET, SOCK_STREAM, IPPROTO_IP) = 3
connect(3, {sa_family=AF_INET, sin_port=htons(80), sin_addr=inet_addr("192.168.10.25")}, 16) = 0
write(2, "connected.\n", 11connected.

总结

curl是通过libcurl跨平台库去实现的，暂且搞不懂curl是通过何种方式或规律一次获取的IP地址,不过从strace的结果中来看，它并没有遵循Bind DNS轮询IP地址去请求数据。

相对于curl来说，一次wget请求，它把很多时间都用在了域名解析上，在查找hosts文件无果的情况下，通过类似dig的方式解析获取所有ip地址并去选择其一去请求数据，多次测试，结果是使用不同A记录IP地址去请求数据。

对于以上结论，纯属个人观点，如有雷同，纯属巧合。我已经在stackoverflow发布了该话题，如果有大牛回答，我可能会更新我的观点。

其他-curl请求URL不使用缓存

curl请求url不使用缓存

curl -H 'Cache-Control: no-cache' http://www.example.com

基本无价值参考: haxx.se

• 本文作者： GaryWu
• 本文链接： https://garywu520.github.io/2018/05/21/curl和wget的底层实现区别/
• 版权声明： 本博客所有文章除特别声明外，均采用 MIT 许可协议。转载请注明出处！