Hadoop v1 命令

1.打印 Hadoop 版本

hadoop version

2.列出 HDFS 中根目录的内容

hadoop fs -ls /

3.报告使用的空间量和

在当前安装的文件系统上可用

hadoop fs -df hdfs:/

4.计算目录,文件和字节数

与指定文件模式匹配的路径

hadoop fs -count hdfs:/

5.运行 DFS 文件系统检查实用程序

hadoop fsck – /

6.运行群集平衡实用程序

hadoop balancer

7.在下面创建一个名为 hadoop 的新目录

HDFS 中的/ user / training 目录。既然你是

当前使用 training 用户 ID 登录

/ user / training 是 HDFS 中的主目录

hadoop fs -mkdir /user/training/hadoop

8.从本地目录添加示例文本文件

data 命名为你在 HDFS 中创建的新目录

在上一步中

hadoop fs -put data/sample.txt /user/training/hadoop

9.在 HDFS 中列出此新目录的内容

hadoop fs -ls /user/training/hadoop

10.将名为 retail 的整个本地目录添加到

HDFS 中的/ user / training 目录

hadoop fs -put data/retail /user/training/hadoop

11.由于/ user / training 是 HDFS 中的主目录

任何没有绝对路径的命令都是

解释为相对于该目录。下一个

因此命令将列出你的主目录,和

应该显示你刚刚添加的项目

hadoop fs -ls

12.查看此目录在 HDFS 中占用的空间大小

hadoop fs -du -s -h hadoop/retail

13.从零售目录中删除文件客户

hadoop fs -rm hadoop/retail/customers

14.确保此文件不再位于 HDFS 中

hadoop fs -ls hadoop/retail/customers

15.使用通配符从 retail 目录中删除所有文件

hadoop fs -rm hadoop/retail/*

16.清空垃圾桶

hadoop fs -expunge

17.最后,删除整个零售目录和所有

其内容在 HDFS 中

hadoop fs -rm -r hadoop/retail

18.再次列出 hadoop 目录

hadoop fs -ls hadoop

19.从本地目录添加 purchases.txt 文件

将“/ home / training /”命名为你在 HDFS 中创建的 hadoop 目录

hadoop fs -copyFromLocal /home/training/purchases.txt hadoop/

20.查看文本文件 purchases.txt 的内容

它出现在你的 hadoop 目录中

hadoop fs -cat hadoop/purchases.txt

21.从 HDFS 目录中的 hadoop 目录中添加 purchases.txt 文件

到本地目录中的 data 目录

hadoop fs -copyToLocal hadoop/purchases.txt /home/training/data

22. cp 用于在 HDFS 中存在的目录之间复制文件

hadoop fs -cp /user/training/*.txt /user/training/hadoop

23.’-get’命令可以替代地用于’-copyToLocal’命令

hadoop fs -get hadoop/sample.txt /home/training/

24.将文件“purchases.txt”的最后一千字节显示到 stdout

hadoop fs -tail hadoop/purchases.txt

25. HDFS 中的默认文件权限为 666

使用’-chmod’命令更改文件的权限

hadoop fs -ls hadoop/purchases.txt
sudo -u hdfs hadoop fs -chmod 600 hadoop/purchases.txt

26.所有者和组的默认名称是培训,培训

使用’-chown’同时更改所有者名称和组名称

hadoop fs -ls hadoop/purchases.txt
sudo -u hdfs hadoop fs -chown root:root hadoop/purchases.txt

27.组的默认名称是训练

使用’-chgrp’命令更改组名

hadoop fs -ls hadoop/purchases.txt
sudo -u hdfs hadoop fs -chgrp training hadoop/purchases.txt

28.将目录从一个位置移动到另一个位置

hadoop fs -mv hadoop apache_hadoop

29.文件的默认复制因子是 3

使用’-setrep’命令更改文件的复制因子

hadoop fs -setrep -w 2 apache_hadoop/sample.txt

30.将目录从群集中的一个节点复制到另一个节点

使用’-distcp’命令进行复制

-overwrite 选项覆盖现有文件

-update 命令用于同步两个目录

hadoop fs -distcp hdfs://namenodeA/apache_hadoop hdfs://namenodeB/hadoop

31.使名称节点离开安全模式的命令

hadoop fs -expunge
sudo -u hdfs hdfs dfsadmin -safemode leave

32.列出所有 hadoop 文件系统 shell 命令

hadoop fs

33.获取 hdfs 配额值以及当前使用的名称和字节数

hadoop fs -count -q [-h] [-v] <directory>...<directory>

34.最后但并非最不重要的是,总是寻求帮助!

hadoop fs -help