Docker容器应用的logs日志收集

1. 查看容器log插件

Docker有很多日志插件，默认使用json-file。只有使用json-file格式的时候，docker logs -f 才可以显示实时日志。

查看docker默认的日志插件

docker info | grep 'Logging Driver'

当容器运行时，docker会在宿主机上创建一个该容器相关的文件，然后将容器产生的日志转存到该文件下。docker logs -f 命令就会找到该文件内容并显示在终端上

2. 启用syslog服务

默认，Linux 操作系统已经安装了 Syslog 软件包，但它叫 Rsyslog。无需单独安装

rsyslogd -v

如果要开启 Rsyslog 服务，我们必须对 Rsyslog 进行配置

vim /etc/rsyslog.conf

#启用服务器端口监听
$ModLoad imtcp
$InputTcpServerRun 5000

#当有多个docker容器服务的日志发送到syslog的时候，进行日志区分,实际区分名称与docker容器ID一一对应
$template DockerLogs,"/var/log/syslog/%fromhost-ip%-%programname%.log"
*.* ?DockerLogs

mkdir -p /var/log/syslog
systemctl restart rsyslog

[root@test ~]# netstat -lntup|grep 5000            
tcp    0   0 0.0.0.0:5000       0.0.0.0:*      LISTEN      9406/rsyslogd       
tcp6   0   0 :::5000            :::*           LISTEN      9406/rsyslogd

3. 为容器配置log插件

默认支持的log插件：参考

在启动容器时，可以使用 –log-driver 参数指定不同的日志插件，并使用 –log-opt参数进行响应设置。

下面是一个指定 Logging Driver 为 syslog 并传送到 logstash 的例子

docker run \
-v /etc/trojan:/etc/trojan \
-p 1080:1080 \
--name trojan \
--log-driver syslog \
--log-opt syslog-address=tcp://192.168.1.10:5000 \
--log-opt syslog-facility=daemon \
 -d trojan:v2 

注释：

• –log-driver 指定日志插件为syslog
• –log-opt syslog-address 指定把日志发送到的syslog服务器地址
• –log-opt syslog-facility 指定要使用的syslog工具

4. 收集容器应用log

在收集之前，可以先确认系统/var/log/message中是否已经有了docker中的trojan日志

[root@test supervisord.d]# tail -f /var/log/syslog/127.0.0.1-23357beeb213.log
......
Dec  4 14:12:07 localhost 23357beeb213[27509]: [2019-12-04 06:12:07] [INFO] 172.17.0.1:56160 disconnected, 10250 bytes received, 395 bytes sent, lasted for 17 seconds
Dec  4 14:12:07 localhost 23357beeb213[27509]: [2019-12-04 06:12:07] [INFO] 172.17.0.1:56168 disconnected, 1338 bytes received, 395 bytes sent, lasted for 16 seconds
Dec  4 14:12:20 localhost 23357beeb213[27509]: [2019-12-04 06:12:20] [INFO] 172.17.0.1:56212 requested connection to beacons.gvt2.com:443
......

既然文件都已经存储到系统文件了，索性logstash input直接使用file模块好了，就不用syslog了。如下：

logstash配置

input {
  file {
    path => ["/var/log/syslog/127.0.0.1-23357beeb213.log"]
    type => "trojan_docker_1080"
    start_position => "beginning"
    sincedb_path => "/usr/local/logstash-6.5.4/tmp/sincedb1"
  }


output {
  if [type] == "trojan_docker_1080" {
    elasticsearch {
      hosts => ["xx.xx.xx.xx:9200"]
      index => "logstash-trojan_docker_1080-%{+YYYY-MM-dd}"
    }
}

#测试语法正确性
bin/logstash -f /usr/local/logstash-6.5.4/conf.d/logstash.conf -t

重启logstash

• 本文作者： GaryWu
• 本文链接： https://garywu520.github.io/2019/12/03/Docker容器应用的LOG日志收集/
• 版权声明： 本博客所有文章除特别声明外，均采用 MIT 许可协议。转载请注明出处！