1 | Hadoop集群运行久了,就难免出现很多0字节空文件或者20字节空gz后缀文件。就需要批量清理 |
1 | 由于我当前使用的hadoop版本原因,hdfs shell命令无find命令,不方便只检索出文件,故使用ls命令来检索并清理。 |
1 | hadoop fs -ls -R /cleandata |grep "gz"|awk '{ if ($5 == 0) print $8 }'|xargs hadoop fs -rm |
- 本文作者: GaryWu
- 本文链接: https://garywu520.github.io/2019/02/21/Hadoop-HDFS 0字节空文件清理/
- 版权声明: 本博客所有文章除特别声明外,均采用 MIT 许可协议。转载请注明出处!