Hadoop v2 命令

appendToFile: 将单个 src 或多个 srcs 从本地文件系统附加到目标文件系统。还从 stdin 读取输入并附加到目标文件系统。保持 as -

 hdfs dfs -appendToFile [localfile1 localfile2 ..] [/HDFS/FILE/PATH..]

cat:将源路径复制到 stdout。

 hdfs dfs -cat URI [URI …]

chgrp: 更改文件的组关联。使用 -R,通过目录结构递归地进行更改。用户必须是文件所有者或超级用户。

 hdfs dfs -chgrp [-R] GROUP URI [URI …]

chmod: 更改文件的权限。使用 -R,通过目录结构递归地进行更改。用户必须是文件所有者或超级用户

 hdfs dfs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI …]

chown: 更改文件的所有者。使用 -R,通过目录结构递归地进行更改。用户必须是超级用户。

 hdfs dfs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

copyFromLocal: 与 put 命令类似,只是源被限制为本地文件引用。

 hdfs dfs -copyFromLocal <localsrc> URI

copyToLocal: 与 get 命令类似,但目标仅限于本地文件引用。

 hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI <localdst>

count: 计算与指定文件模式匹配的路径下的目录,文件和字节数。

 hdfs dfs -count [-q] [-h] <paths>

cp: 将指定源中的一个或多个文件复制到指定目标。如果指定多个源,则指定的目标必须是目录。

 hdfs dfs -cp URI [URI …] <dest>

du: 显示指定文件的大小,或指定目录中包含的文件和目录的大小。如果指定 -s 选项,则显示文件大小的汇总摘要,而不是单个文件大小。如果指定 -h 选项,则以人类可读的方式格式化文件大小。

 hdfs dfs -du [-s] [-h] URI [URI …]

dus: 显示文件大小的摘要; 相当于 hdfs dfs -du -s。

 hdfs dfs -dus <args>

清除: 清空垃圾箱。删除文件时,不会立即从 HDFS 中删除该文件,而是将其重命名为/ trash 目录中的文件。只要文件保留在那里,如果你改变主意,可以取消删除它,但只能删除已删除文件的最新副本。

 hdfs dfs –expunge

get:将文件复制到本地文件系统。如果指定 -ignorecrc 选项,仍可以复制未通过循环冗余校验(CRC)的文件。CRC 是用于检测数据传输错误的常用技术。CRC 校验和文件具有 .crc 扩展名,用于验证另一个文件的数据完整性。如果指定 -crc 选项,则会复制这些文件。

 hdfs dfs -get [-ignorecrc] [-crc] <src> <localdst>

getmerge: 连接 src 中的文件并将结果写入指定的本地目标文件。要在每个文件的末尾添加换行符,请指定 addnl 选项。

 hdfs dfs -getmerge <src> <localdst> [addnl]

ls: 返回指定文件或目录的统计信息。

 hdfs dfs -ls <args>

lsr: 用作 ls 的递归版本; 类似于 Unix 命令 ls -R。

 hdfs dfs -lsr <args>

mkdir: 在一个或多个指定路径上创建目录。它的行为类似于 Unix mkdir -p 命令,如果它们不存在,则会创建指向目录的所有目录。

 hdfs dfs -mkdir <paths>

moveFromLocal: 与 put 命令的工作方式类似,只是复制后删除源。

 hdfs dfs -moveFromLocal <localsrc> <dest>

mv:将一个或多个文件从指定源移动到指定目标。如果指定多个源,则指定的目标必须是目录。不允许跨文件系统移动文件。

 hdfs dfs -mv URI [URI …] <dest>

put:将文件从本地文件系统复制到目标文件系统。此命令还可以从 stdin 读取输入并写入目标文件系统。

 hdfs dfs -put <localsrc> ... <dest>

rm: 删除一个或多个指定的文件。此命令不会删除空目录或文件。要绕过废纸篓(如果已启用)并立即删除指定的文件,请指定 -skipTrash 选项。

 hdfs dfs -rm [-skipTrash] URI [URI …]

rm r: 用作 -rm 的递归版本。

 hdfs dfs -rm -r [-skipTrash] URI [URI …]

setrep: 更改指定文件或目录的复制因子。使用 -R,通过目录结构递归地进行更改。

 hdfs dfs -setrep <rep> [-R] <path>

stat: 显示指定路径的信息。

 hdfs dfs -stat URI [URI …]

tail: 将指定文件的最后一个千字节显示到 stdout。该语法支持 Unix -f 选项,该选项允许监视指定的文件。当另一个进程将新行添加到文件中时,tail 会更新显示。

 hdfs dfs -tail [-f] URI

test: 返回指定文件或目录的属性。指定 -e 以确定文件或目录是否存在; -z 确定文件或目录是否为空; 和 -d 确定 URI 是否是目录。

 hdfs dfs -test -[ezd] URI

text: 以文本格式输出指定的源文件。有效的输入文件格式为 zip 和 TextRecordInputStream。

 hdfs dfs -text <src>

touchz: 在指定路径中创建一个大小为 0 的新空文件。

 hdfs dfs -touchz <path>