Fork me on GitHub

ES索引删除

生产环境中的ES使用久了，会产生较大的历史数据，而有些数据是根本使用不到的，除了占用大量磁盘空间外，当有节点异常重启后，会导致大量的磁盘io读写，进而导致ES集群瘫痪。因此，就需要定期进行清理。

一、配置禁止使用通配符删除
1
2
#设置禁用_all和*通配符来删除，预防数据丢失
action.destructive_requires_name: true
二、使用命令-删除索引

格式：

1
2
#删除多个索引，中间用“,”分割
curl -XDELETE http://ip:9200/index_name1,index_name2

删除单个索引

1
curl -XDELETE http://ip:9200/logstash-exc-2018.01.01
三、shell脚本自动删除ES索引脚本
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
#!/bin/bash
IP='xx.xx.xx.xx'
​
#获取索引列表到/tmp/indices.list
curl -XGET http://${IP}:9200/_cat/indices | grep -v .kibana|grep -v .monitoring-es|awk '{print $3}'>/tmp/indices.list
​
#获取列表中的索引时间,输出格式如“2019-10-15”
cat /tmp/indices.list|awk -F [-] '{print $4"-"$5"-"$NF}'|sort -rn|uniq >/tmp/date.list
​
#将过期的索引名称输出到文件/tmp/delete_indices.list
while read LINE
do
   #把索引时间转换为unix值
   indices_unix=`date -d "${LINE}" +%s`
   #获取7天前的unix值
   day7ago=`date -d "7 day ago" +"%Y-%m-%d"` 
   unix7=`date -d "${day7ago}" +%s`
   
   #如果时间早于7天前，则将unix转换为"yyyy-mm-dd",并筛选索引到新的文件中
   if [ ${indices_unix} -lt ${unix7} ];then
        grep "`date -d @${indices_unix} +%Y-%m-%d`" /tmp/indices.list >>/tmp/delete_indices.list        
   fi
done < /tmp/date.list
​
​
#清理过期索引
while read XLINE
do
   curl -XDELETE http://${IP}:9200/$XLINE
done < /tmp/delete_indices.list

展开全文 >>

Json数据调用变量问题-Shell

curl提交数据部分如下：

1
2
3
4
5
6
7
8
9
10
11
curl -XPOST -H "Content-Type: application/json" http://admin.xxx.cn/xxx/AddServer \
-d '{\
"platform_name":"${PLATFORM}", \
"region_id":"${SID}", \
"game_db_ip":"${GAME_DOMAIN}", \
"game_ip":"${GAME_DOMAIN}", \
"log_db_ip":"admin.xxx.cn", \
"server_type":"3", \
"server_state":"1", \
"main_server":"0"\
}'

其中，上面引用的Shell变量没有被解析，主要是引号问题。

more >>

展开全文 >>

UDP抓包工具tcpdump

前言

Vultr.com 提供的VPS一直是GFW打压的重灾区，Vultr提供的VPS 无论哪个区域节点，TCP协议基本都被阻断；唯一相对较好的方法是使用UDP，这是因为UDP特性是基于无连接协议。但是每逢“重大节日”，都会被GFW特殊照顾，GFW对付UDP协议的方法就是Qos, 即定时不定时的将UDP包给丢弃。

关于测试工具
1
2
3
4
5
6
7
8
9
可使用TCPdump工具进行查看数据包流向情况

VPS网络-服务端：
$ tcpdump host 1.10.18.222  
[查看VPS网络接收或发送到1.10.18.222主机的UDP数据包] 

本地网络-客户端：
$ tcpdump -i eth0 port 1024 and dst host "xx.xx.xx.xx"  
[查看本地网络通过eth0端口发送到xx.xx.xx.xx主机1024端口的数据包]
more >>

展开全文 >>

zabbix监控TraceRoute数据

zabbix监控TraceRoute数据

1
Trace工具：BestTrace 【MTR同理】

前言

1
2
3
4
5
6
7
8
zabbix监控traceroute数据是由zabbix server端向“目标主机”发起的traceroute
为了测试多个机房之间的网络情况，通常这个目标主机应该是不同机房的proxy端的代理

因此，假设zabbix server为A机房，proxy分别为B机房和C机房，那么监控流向如下：
A ---traceroute--->B
A ---traceroute--->C

因此，就会出现一个问题：即假设A-->B 的traceroute出现问题，并不能一定说明，B有问题，也不能说明A一定有问题。此时就需要在不同的proxy端，通过脚本向其他两个不同机房进行反Traceroute,这样就有了数据对比，方便的确定具体是哪个机房网络出现故障。
more >>

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia-plus根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true


不论我写了什么...
其实都是错的......