Fork me on GitHub

hadoop常用命令

字数统计: 654字   |   阅读时长≈ 2分 
1
作为hadoop运维,常用命令还是要牢记下的，与linux稍有区别，来总结下

Hadoop常用命令

hadoop命令格式
1
hadoop  fs  -cmd  <args>
ls命令
1
2
列出hdfs文件系统根目录下的目录和文件
hadoop fs -ls /
1
2
列出hdfs文件系统所有的目录和文件(含子目录和文件)
hadoop fs -ls -R /
mkdir命令
1
2
创建多级目录,即使父目录不存在
hadoop fs -mkdir -p [hdfs dir]
rm命令
1
2
3
4
5
删除文件
hadoop fs -rm [hdfs file]

删除目录
hadoop fs -rm -r [hdfs dir]
touchz命令
1
2
在hadoop指定目录下新建空文件
hadoop fs -ls -touchz [hdfs dir]/new.txt
cp命令
1
hadoop fs -cp [hdfs file] [hdfs file]
mv命令
1
2
重命名hdfs上的文件名
hadoop fs -mv /user/new.txt /user/ok.txt
put命令
1
2
文件上传到hdfs
hadoop fs -put [local file] [hdfs dir]
1
2
目录上传到hdfs
hadoop fs -ls -put [local dir] [hdfs dir]
get命令
1
2
从hdfs下载文件到本地目录
hadoop fs -get [hdfs file] [local dir]
1
2
从hdfs下载目录到本地目录
hadoop fs -get [hdfs dir] [local dir]
1
2
将hdfs指定目录下所有文件排序后合并到local指定的文件中，若指定的local文件不存在则自动创建，若文件存在则会覆盖原文件内容。
hadoop fs -getmerge [hdfs dir] [local file]
du命令
1
2
3
4
5
显示hdfs对应目录下每个目录或文件的大小
hadoop fs -du [hdfs path]

以人类可读的方式显示每个目录或文件的大小
hadoop fs -du -h [hdfs path]
tail命令
1
hadoop fs -tail [hdfs file]
count命令
1
2
统计hdfs对应路径下的目录个数 + 文件格式 + 文件总大小等
hadoop fs -count /serverdata
stat命令
1
2
3
4
5
6
7
hdoop fs -stat [format]  [hdfs path]

返回对应路径的状态信息
其中，[format]可选参数有：
%b（文件大小），%o（Block大小），%n（文件名），%r（副本个数），%y（最后一次修改日期和时间）

hadoop fs -stat %b%o%n [hdfs path]
setrep命令
1
2
3
4
改变一个文件在hdfs中的副本个数。
hadoop fs setrep -R 3 [hdfs file or hdfs dir]

上述命令中数字3为设置的副本个数，-R选项可以对一个目录下的所有目录和文件递归执行改变副本的个数。
balancer命令
1
2
3
hdfs balancer 

如果管理员发现某些DataNode保存数据过多，某些DataNode保存数据相对较少，可以使用上述命令手动启动内部的均衡过程
dfsadmin命令
1
2
3
4
5
6
7
8
9
10
11
管理员可以通过dfsadmin管理HDFS

查看帮助
hdfs dfsadmin -help

显示文件系统的基本数据
hdfs dfsadmin -safemode < enter | leave | get | wait >
enter：进入安全模式；
leave：离开安全模式；
get：获知是否开启安全模式；
wait：等待离开安全模式

扫一扫，分享到微信

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia-plus根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true


不论我写了什么...
其实都是错的......