shell删除HDFS几天前的数据

Shell脚本使用

sh clean_hdfs_logs.sh [hdfs_user]

Shell脚本

cat clean_hdfs_logs.sh

#!/bin/bash

#判断传参个数[即输入hdfs用户]
if [ $# != 1 ];then
   echo "USAGE: sh $0 [hdfs_user]"
fi

Hadoop_LogDir=/tmp/logs/$1/logs
File=/home/$1/logs.log
DATE=`date +%F`

#清理老数据
rm -f $File

#获取最新数据
sudo -u $1 hadoop fs -ls $Hadoop_LogDir >>$File

#筛选1天前的可删除子目录
INFO=`egrep -v "$DATE" $File|awk '{print $NF}'`

for i in $INFO
do
  sudo -u $1 hadoop fs -rm -r $i
  #sudo -u $1 hadoop fs -rm -r -skipTrash $i
done

• 本文作者： GaryWu
• 本文链接： https://garywu520.github.io/2019/07/15/shell删除HDFS几天前的数据/
• 版权声明： 本博客所有文章除特别声明外，均采用 MIT 许可协议。转载请注明出处！