logstash收集java日志

使用codec 的multiline 插件实现多行匹配，这是一个可以将多行进行合并的插件，而且可以使用what指定将匹配到的行与前面的行合并还是和后面的行合并。具体参考：https://www.elastic.co/guide/en/logstash/current/plugins-codecs-multiline.html

在elasticsearch服务器部署logstash

#安装
rpm -ivh logstash-5.6.5.rpm 

#配置软链
ln -s /etc/logstash /usr/share/logstash/config

#配置
vim /etc/logstash/logstash.yml 
path.config: /usr/share/logstash/config/conf.d     #修改path.config到这个目录


#启动
systemctl start logstash
systemctl status logstash
systemctl enable logstash

#软链启动命令
ln -s /usr/share/logstash/bin/logstash  /sbin  

• 配置logstash读取日志文件规则并写入到elasticsearch

input {
  file {
  path => "/elk/logs/ELK-Cluster.log"
  type => "javalog"
  start_position => "beginning"
  codec => multiline {
  pattern => "^\["    #当遇到[为开头行的时候将进行合并
    negate => true    #为匹配成功进行操作，false为不成功进行操作
    what => "previous"  #与上面的行合并，如果是下面的行合并就是"next"
  }}
}
output {
  if [type] == "javalog" {
    elasticsearch {
    hosts => ["10.0.10.21:9200"]
    index => "javalog-1021-%{+YYYY.MM.dd}"
  }}
}

• 语法验证

/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/java.conf -t

• 重启服务

root@linux-host1 ~]# systemctl restart logstash  #重启logstash
[root@linux-host1 ~]# systemctl restart elasticsearch  #目的是为了生成新的日志

• kibana 界面添加javalog-1021 索引

• 测试生成数据

cat /elk/logs/ELK-Cluster.log >> /tmp/1
cat /tmp/1 >> /elk/logs/ELK-Cluster.log

• kibana查看最新数据

关于Sincedb

cat /var/lib/logstash/plugins/inputs/file/.sincedb_1ced15cfacdbb0380466be84d620085a

ll -li /elk/logs/ELK-Cluster.log
134219868 -rw-r--r-- 1 elasticsearch elasticsearch 29465 Apr 21 14:33 /elk/logs/ELK-Cluster.log

• 本文作者： GaryWu
• 本文链接： https://garywu520.github.io/2017/12/14/logstash收集java日志/
• 版权声明： 本博客所有文章除特别声明外，均采用 MIT 许可协议。转载请注明出处！