HDFS(Hadoop Distributed File System)是Apache Hadoop生态系统中的分布式文件系统,用于存储和处理大规模数据集,下面将详细介绍hdfs命令:
1、安全模式
查看安全模式状态:使用命令hdfs dfsadmin safemode get
可以查看当前HDFS是否处于安全模式。
手工开启安全模式状态:使用命令hdfs dfsadmin safemode enter
可以手动进入安全模式。
手工关闭安全模式状态:使用命令hdfs dfsadmin safemode leave
可以手动退出安全模式。
2、文件操作指令
查看文件目录:使用命令hdfs dfs ls <路径>
可以查看指定路径的当前目录结构,如果要查看HDFS根目录结构的文件组成,可以使用hdfs dfs ls /
。
查看文件夹情况:使用命令hdfs dfs du <路径>
可以统计目录下每个文件的大小。
文件操作:包括上传文件、获取文件、查看文件内容、创建目录、修改副本数量、创建空白文件(不推荐使用)、显示文件统计信息、修改权限等操作。
3、HDFS常用命令
列出指定路径下的文件和目录:使用命令hdfs dfs ls /user/hadoop
可以列出指定路径下的文件和目录。
创建一个新的目录:使用命令hdfs dfs mkdir /user/hadoop/new_directory
可以在指定路径下创建一个新的目录。
将本地文件或目录上传到HDFS:使用命令hdfs dfs put local_file.txt /user/hadoop/
可以将本地文件上传到HDFS中指定的目录。
从HDFS下载文件或目录到本地文件系统:使用命令hdfs dfs get /user/hadoop/file.txt local_directory/
可以从HDFS下载文件到本地文件系统的指定目录。
删除HDFS中的文件或目录:使用命令hdfs dfs rm /user/hadoop/file.txt
可以删除HDFS中的指定文件。
移动文件或目录:使用命令hdfs dfs mv /user/dir1/sample.txt /user/dir2
可以将文件从源路径移动到目标路径。
4、其他常用命令
查看Hadoop版本:使用命令hdfs dfs version
可以查看当前Hadoop的版本。
创建HDFS文件系统目录:使用命令hdfs dfs mkdir /user/dir1
可以在HDFS中创建新的目录。
在控制台显示文件内容:使用命令hdfs dfs cat /user/dir1/sample.txt
可以在控制台显示指定文件的内容。
删除文件和目录:使用命令hdfs dfs rm /tmp/tmp20190501
可以删除指定文件或目录,如果删除目录需要加r
参数。
清空回收站:使用命令hdfs dfs expunge
可以清空HDFS的回收站。
改变文件的拥有者:使用命令hdfs dfs chown R dataflair /opt/hadoop/logs
可以递归地改变指定目录结构下文件的拥有者。
改变文件所属的组:使用方法请参考HDFS权限用户指南。
详细介绍了HDFS的常用命令及其具体用法,包括文件操作、目录管理、权限修改等多方面的操作,在实际操作中,建议根据具体需求选择合适的命令进行操作,并注意命令的执行权限和影响范围。
原创文章,作者:未希,如若转载,请注明出处:https://www.kdun.com/ask/740521.html
本网站发布或转载的文章及图片均来自网络,其原创性以及文中表达的观点和判断不代表本网站。如有问题,请联系客服处理。
发表回复