ELK日志分析平台部署

2017-12-10

字数统计: 3.1k字 | 阅读时长≈ 15分

什么是ELK？

1
2
3

ELK 是由Elasticsearch、Logstash、Kibana 三个开源软件的组成的一个组合体。

官方网站: https://www.elastic.co/

Elasticsearch 是一个高度可扩展的开源全文搜索和分析引擎，它可实现数据的实时全文搜索、支持分布式可实现高可用、提供API 接口，可以处理大规模日志数据，比如Nginx、Tomcat、系统日志等功能。

Logstash 可以通过插件实现日志收集和转发，支持日志过滤，支持普通log、自定义json格式的日志解析。

kibana：主要是通过接口调用elasticsearch 的数据，并进行前端数据可视化的展现。

部署

Elasticsearch集群部署

环境初始化

1. 为保证效果特额外添加一块单独的数据磁盘大小为50G 并格式化挂载到/elk
   mkdir /elk && mkfs.ext4 /dev/sdb
   blkid /dev/sdb
   
2. 关闭防所有服务器的火墙和selinux。是为了避免出现各种未知问题
3. 修改limit限制
   echo "* soft nofile 65536" >> /etc/security/limits.conf
   echo "* hard nofile 65536" >> /etc/security/limits.conf
4. 各服务器配置本地域名解析
   10.0.10.21   host21.exmaple.com
   10.0.10.22   host22.exmaple.com
   10.0.10.23   host23.exmaple.com
5. 设置epel源、安装基本操作命令并同步时间 
   wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
   cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
   echo "*/5 * * * * ntpdate -u time1.aliyun.com >/dev/null 2>&1 " >>/var/spool/cron/root
   
重启系统，没有问题的话给虚拟机做快照以方便后期还原

安装Elasticsearch

安装java环境

1 2	http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 接受协议并下载"jdk-8u151-linux-x64.tar.gz"

tar xvf jdk-8u121-linux-x64.tar.gz -C /usr/local/
ln -sv /usr/local/jdk1.8.0_121 /usr/local/jdk

cat >> /etc/profile <<EOF
export HISTTIMEFORMAT="%F %T `whoami` "     
export JAVA_HOME=/usr/local/jdk
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
EOF

注：export HISTTIMEFORMAT="%F %T `whoami` " 是给history加上时间戳


source /etc/profile

[root@linux~]# java -version
java version "1.8.0_121"   #确认可以出现当前的java 版本号
Java(TM) SE Runtime Environment (build 1.8.0_121-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.121-b13, mixed mode)

安装Elasticsearch

1
2
3

目前稳定版本为5.6.5,建议使用此版本用于生产环境
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.6.5.rpm
yum install -y elasticsearch-5.6.5.rpm

编辑各elasticsearch服务器节点的配置文件

[root@linux-host1 ~]# grep "^[a-Z]" /etc/elasticsearch/elasticsearch.yml
cluster.name: ELK-Cluster         #ELK集群名称，名称相同即属于是同一个集群
node.name: elk-node1              #本机在集群内的节点名称,其他为elk-node2、elk-node3...
path.data: /elk/data              #数据保存目录
path.logs: /elk/logs              #日志保存目
bootstrap.memory_lock: true       #服务启动的时候锁定足够的内存，防止数据写入swap
network.host: 0.0.0.0             #监听IP
http.port: 9200
discovery.zen.ping.unicast.hosts: ["10.0.10.21", "10.0.10.22", "10.0.10.23"]

修改各节点内存限制

修改elasticsearch的启动文件脚本
vim /usr/lib/systemd/system/elasticsearch.service
搜索“LimitNOFILE=65536”  在这个位置，添加如下参数：
LimitMEMLOCK=infinity      ##此参数,可以最大化使用内存


[root@host21 ~]# grep "^[-]" /etc/elasticsearch/jvm.options    #修改最小和最大内存
-Xms4g
-Xmx4g
注：此处内存设置不能等于物理内存，否则进程启动后会立即自杀
注：官方建议此处最大内存配置为30G ；
为什么最大和最小内存配置为一样大？参考官方说明：
https://www.elastic.co/guide/en/elasticsearch/reference/current/heap-size.html

修改各节点中用于存放elasticsearch数据和日志目录的权限为elasticsearch
id  elasticsearch
mkdir -p /elk/{data,logs}
chown -R elasticsearch:elasticsearch /elk
ll /elk

启动各节点elasticsearch服务并验证

systemctl start elasticsearch
systemctl status elasticsearch
systemctl enable elasticsearch

[root@host23 ~]# ss -lntup |grep 9200
tcp    LISTEN     0      128      :::9200   :::*    users:(("java",pid=19034,fd=223))

通过浏览器访问各节点的elasticsearch服务端口

1
2
3

http://10.0.10.21:9200
http://10.0.10.22:9200
http://10.0.10.23:9200

访问http://10.0.10.21:9200结果如下：

{
  "name" : "elk-node1",             #本节点名称
  "cluster_name" : "ELK-Cluster",   #集群名称
  "cluster_uuid" : "8GbwHyOFRQ-FtF785a0HPQ",   
  "version" : {
    "number" : "5.6.5",             #elasticsearch版本号
    "build_hash" : "6a37571",
    "build_date" : "2017-12-04T07:50:10.466Z",
    "build_snapshot" : false,
    "lucene_version" : "6.6.1"      #lucene版本号,elasticsearch基于Lucene做搜索
  },
  "tagline" : "You Know, for Search"  #口号
}

安装elasticsearch插件之head(其中一个节点安装即可)

安装es5.x版本的elasticsearch-head插件

在elasticsearch 5.x 版本以后不再支持直接安装head 插件，而是需要通过启动npm方式安装
git地址：https://github.com/mobz/elasticsearch-head

yum install -y npm

cd /usr/local/src/ && git clone git://github.com/mobz/elasticsearch-head.git
cd elasticsearch-head/ && yum install -y openssl openssl-devel
npm install grunt -save
ll node_modules/grunt      #确认生成文件
npm install                #执行安装
npm run start &            #后台启动服务

修改各节点elasticsearch服务配置文件【每个es节点都要修改】

开启跨域访问支持，然后重启elasticsearch 服务：

vim /etc/elasticsearch/elasticsearch.yml    #最下方添加以下两行
http.cors.enabled: true 
http.cors.allow-origin: "*"

systemctl  restart elasticsearch

web访问elasticsearch-head

1	http://10.0.10.21:9100

es-head

测试提交数据

es-input-data

验证索引是否存在

es验证索引

查看数据

es查看数据

Master与Slave的区别

1
2

Master 的职责：统计各node节点状态信息、集群状态信息统计、索引的创建和删除、索引分配的管理、关闭node节点等
Slave 的职责：同步数据、等待机会成为Master

elasticsearch 插件之kopf

1
2
3

Git项目地址: https://github.com/lmenezes/elasticsearch-kopf

但是目前还不支持5.x版本的elasticsearch，但是可以安装在elasticsearc 1.x 或2.x 的版本安装。

elasticsearch集群监控

[root@host21 ~]# curl -sXGET http://10.0.10.21:9200/_cluster/health?pretty=true
{
  "cluster_name" : "ELK-Cluster",
  "status" : "green",
  "timed_out" : false,
  "number_of_nodes" : 3,
  "number_of_data_nodes" : 3,
  "active_primary_shards" : 5,
  "active_shards" : 10,
  "relocating_shards" : 0,
  "initializing_shards" : 0,
  "unassigned_shards" : 0,
  "delayed_unassigned_shards" : 0,
  "number_of_pending_tasks" : 0,
  "number_of_in_flight_fetch" : 0,
  "task_max_waiting_in_queue_millis" : 0,
  "active_shards_percent_as_number" : 100.0
}

#获取到的是一个json 格式的返回值，那就可以通过python对其中的信息进行分
析，例如对status进行分析，如果等于green(绿色)就是运行在正常，等于yellow(黄色)表示副本分片丢失，red(红色)表示主分片丢失

python检测脚本

[root@linux ~]# cat els-cluster-monitor.py
#!/usr/bin/env python
#coding:utf-8
#Author Zhang Jie
import smtplib
from email.mime.text import MIMEText
from email.utils import formataddr
import subprocess
body = ""
false="false"
obj = subprocess.Popen(("curl -sXGET http://10.0.10.21:9200/_cluster/healthpretty=true"),shell=True,stdout=subprocess.PIPE)
data = obj.stdout.read()
data1 = eval(data)
status = data1.get("status")
if status == "green":
print "50"
else:
print "100"

1
2
3

脚本执行结果：
[root@linux-host1 ~]# python els-cluster-monitor.py
50

排错

1	如果服务无法启动或启动立即停止，查看/var/log/message最新日志或ELK的logs目录

部署Logstash

Logstash 是一个开源的数据收集引擎，可以水平伸缩，而且logstash 整个ELK
当中拥有最多插件的一个组件，其可以接收来自不同来源的数据并统一输出到指
定的且可以是多个不同目的地。

注：生产环境Logstash尽量与elasticsearch服务器分开，因为都是java程序，太浪费内存

logstash工作流程图

logstash

环境准备

服务器：
10.0.10.24
10.0.10.25

关闭防火墙和selinux
更新时间：
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
ntpdate -u ntp1.aliyun.com

systemctl stop firewalld
systemctl disable firewalld
sed -i '/SELINUX/s/enforcing/disabled/' /etc/selinux/config

安装java 环境: 同es初始化java安装

安装logstash

官网：https://www.elastic.co/downloads/past-releases/logstash-5-6-5
同样是下载5.6.5版本

wget https://artifacts.elastic.co/downloads/logstash/logstash-5.6.5.rpm
yum install -y logstash-5.6.5.rpm

#启动
systemctl start logstash
systemctl status logstash
systemctl enable logstash

注：rpm包方式安装，如果启动失败(提示无启动文件),依次执行如下命令
rpm -e logstash
rpm -ivh logstash-5.4.1.rpm
systemctl start logstash

Logstash测试语法

1 2	logstash -f /etc/logstash/conf.d/systemlog.conf -t Configuration OK

测试logstash

测试标准输入

[root@localhost ~]# logstash -e 'input { stdin{} }
output { stdout{ codec => rubydebug }}'
Hello Logstash !           #标准输入和输出


{
      "@version" => "1",     #事件版本号，一个事件就是一个ruby对象
          "host" => "localhost.localdomain",   #标记事件发生在哪里
    "@timestamp" => 2017-12-12T10:05:13.600Z,     #当前事件的发生时间
       "message" => "Hello Logstash !"     #消息的具体内容（就是我刚才输入的）
}

测试输出到文件

1	logstash -e 'input { stdin{} } output { file { path => "/tmp/log-%{+YYYY.MM.dd}messages.gz"}}'

1 2	[root@localhost ~]# tailf /tmp/log-2017.12.12messages.gz #打开文件验证 {"@version":"1","host":"localhost.localdomain","@timestamp":"2017-12-12T10:12:17.087Z","message":"Test"}

测试输出到elasticsearch

1	logstash -e 'input { stdin{} } output { elasticsearch {hosts => ["10.0.10.21:9200"] index =>"mytest-%{+YYYY.MM.dd}" }}'

elasticsearch 服务器验证收到数据：
[root@host21 ~]# ll /elk/data/nodes/0/indices/
total 8
drwxr-xr-x 6 elasticsearch elasticsearch 4096 Dec 12 05:18 thwe1ENcR-ed2zZe7FncDA
drwxr-xr-x 6 elasticsearch elasticsearch 4096 Dec 11 08:00 _x7SPg0MSdCC-sDJ43gRVQ

部署kibana

1	kibana：主要是通过接口调用elasticsearch 的数据，并进行前端数据可视化的展现。

安装kibana到10.0.10.21服务器

1
2
3

官方下载：
wget https://artifacts.elastic.co/downloads/kibana/kibana-5.6.5-x86_64.rpm
yum install -y kibana-5.6.5-x86_64.rpm

配置kibana

[root@host21 ~]# grep -n "^[a-Z]" /etc/kibana/kibana.yml
server.port: 5601      #监听端口
server.host: "0.0.0.0" #监听地址
elasticsearch.url: http://192.168.56.11:9200  #elasticsearch服务器地址

启动kibana服务

systemctl start kibana
systemctl status kibana
systemctl enable kibana
[root@host21 ~]# ss -lntup |grep 5601
tcp    LISTEN     0      128       *:5601     *:*     users:(("node",pid=3158,fd=11))

验证

1	http://10.0.10.21:5601

kibana_status

kibana新建索引

1	访问elasticsearch-head插件：http://10.0.10.21:9100，查看elasticsearch已有的日志

es_log

1	然后，登陆kibana -- Management -- Index Patterns

kibana_pattern

kibana_discover

由于日志并没有持续输出，所以此处显示为空，接下来将对logstash日志输出做详细说明，基本部署完成。

nginx反向代理kibana

安全部署说明

1
2
3

通过nginx和kibana监听127.0.0.1以及在kibana客户端绑定hosts来实现安全

测试环境：10.0.10.21服务器

1 2	yum install gcc gcc++ pcre openssl openssl-devel zlib zlib-devel pcre-devel ./configure --prefix=/usr/local/nginx --with-http_sub_module --with-http_ssl_module && make && make install

配置nginx代理kibana

vim /etc/kibana/kibana.yml
server.host: "127.0.0.1"    #只监听127.0.0.1

systemctl restart kibana

mkdir  /usr/local/nginx/conf/conf.d/


nginx配置文件添加一行：
include /usr/local/nginx/conf/conf.d/*.conf;



vim /usr/local/nginx/conf/conf.d/kibana5612.conf   #添加如下配置
upstream kibana_server {
        server  127.0.0.1:5601 weight=1 max_fails=3  fail_timeout=60;
}

server {
        listen 80;
        server_name www.kibana1021.com;
        location / {
        proxy_pass http://kibana_server;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection 'upgrade';
        proxy_set_header Host $host;
        proxy_cache_bypass $http_upgrade;
        }
}

启动Nginx
/usr/local/nginx/sbin/nginx

1 2	yum install -y httpd-tools htpasswd -bc htpasswd.txt garywu 123456 #文件路径需在/usr/local/nginx下

修改nginx kibana配置

upstream kibana_server {
        #nginx也改为127.0.0.1 
        server  127.0.0.1:5601 weight=1 max_fails=3  fail_timeout=60;    
}

server {
        listen 80;
        server_name www.kibana1021.com;
        auth_basic "Restricted Access";
        auth_basic_user_file /usr/local/nginx/htpasswd.txt;   #文件名千万别错了
        location / {
        proxy_pass http://kibana_server;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection 'upgrade';
        proxy_set_header Host $host;
        proxy_cache_bypass $http_upgrade;
        }
}

windows添加本地解析：  10.0.10.21  www.kibana5612.com

重启kibana和nginx
web访问：http://www.kibana1021.com/    出现账号密码界面了

本文作者： GaryWu
本文链接： https://garywu520.github.io/2017/12/10/ELK日志分析平台部署/
版权声明： 本博客所有文章除特别声明外，均采用 MIT 许可协议。转载请注明出处！