`

hadoop dfs 常用命令行

阅读更多

* 文件操作
 * 查看目录文件
 * $ hadoop dfs -ls /user/cl
 *
 * 创建文件目录
 * $ hadoop dfs -mkdir /user/cl/temp
 *
 * 删除文件
 * $ hadoop dfs -rm /user/cl/temp/a.txt
 *
 * 删除目录与目录下所有文件
 * $ hadoop dfs -rmr /user/cl/temp
 *
 * 上传文件
 * 上传一个本机/home/cl/local.txt到hdfs中/user/cl/temp目录下
 * $ hadoop dfs -put /home/cl/local.txt /user/cl/temp
 *
 * 下载文件
 * 下载hdfs中/user/cl/temp目录下的hdfs.txt文件到本机/home/cl/中
 * $ hadoop dfs -get /user/cl/temp/hdfs.txt /home/cl
 *
 * 查看文件
 * $ hadoop dfs –cat /home/cl/hdfs.txt
 *
 * Job操作

 * 提交MapReduce Job, Hadoop所有的MapReduce Job都是一个jar包

 * $ hadoop jar <local-jar-file> <java-class> <hdfs-input-file> <hdfs-output-dir>

 * $ hadoop jar sandbox-mapred-0.0.20.jar sandbox.mapred.WordCountJob /user/cl/input.dat /user/cl/outputdir
 *
 * 杀死某个正在运行的Job
 * 假设Job_Id为:job_201207121738_0001
 * $ hadoop job -kill job_201207121738_0001

分享到:
评论

相关推荐

    hadoop的所有命令

    以下是Hadoop命令行中常用的命令及其知识点的详细介绍。 1. 列出所有Hadoop命令 Hadoop命令行通过执行`hadoop fs-help`命令来获取所有支持的命令列表。此命令输出了Hadoop文件系统(HDFS)的使用帮助信息。 2. ...

    Hadoop实战高手之路---从零开始”的第六讲Hadoop图文训练课程:使用HDFS命令行工具操作Hadoop分布式集群初体验

    根据提供的标题、描述和部分文本内容,我们可以提炼出与Hadoop相关的知识点,特别是关于如何使用HDFS命令行工具操作Hadoop分布式集群。 ### Hadoop基础知识 #### 什么是Hadoop? Hadoop是一个开源软件框架,用于...

    hadoop使用

    3. **HDFS常用操作**:HDFS是Hadoop的数据存储系统,常用操作包括`hadoop fs`命令行工具,如上传(`put`)、下载(`get`)、查看(`ls`)、删除(`rm`)文件,以及切分文件(`split`)和检查文件系统状态(`df`)等...

    hadoop-2.7.4.tar.gz

    在完成所有配置后,用户可以通过运行启动脚本来启动Hadoop服务,例如`start-dfs.sh`和`start-yarn.sh`,然后可以使用Hadoop提供的命令行工具(如`hadoop fs`)或编程接口(如Java API)来执行各种分布式计算任务。...

    hadoop 命令大全

    #### 二、常用Hadoop命令详解 **1. 查看支持的命令** 通过命令`$bin/hadoop fs -help`可以列出所有Hadoop Shell支持的命令及其简短的描述。 **2. 显示特定命令的帮助信息** 如果想要了解某个命令的具体使用方法...

    hadoop2.8.3

    6. **Hadoop命令行工具**:理解如何使用Hadoop的命令行工具,如`hadoop fs`系列命令,用于与HDFS交互,以及`hadoop jar`用于执行MapReduce程序。 7. **单机模式与伪分布式模式**:在Windows上,你可以先在单机模式...

    hadoop 2.7.3 hadoop.dll 和winutils.exe

    "winutils.exe"是Hadoop在Windows上的实用工具程序,类似于Linux下的"bin/hadoop"命令行工具。它包含了诸如设置HDFS(Hadoop Distributed File System)环境变量、管理HDFS文件权限、启动和停止HBase服务等常用功能...

    hadoop基本操作.docx

    以下将详细介绍一些常用的HDFS Shell命令: 1. **列出文件和目录**: 使用`hdfs dfs -ls`命令可以查看HDFS中指定路径的文件和目录。例如,`hdfs dfs -ls /`会显示HDFS的根目录内容,而`hdfs dfs -ls /user`则会列...

    Hadoop集群部署、实战等相关培训资料

    接下来是《Hadoop常用命令.docx》,这是一份实用的工具文档,列举了Hadoop生态系统中常用的命令行工具,如hdfs dfs、hadoop fs、hadoop jar等,这些命令对于日常操作Hadoop集群至关重要。通过学习这些命令,用户可以...

    HDFS_HBaseShell的常用命令

    2. 将HDFS上的文件放到磁盘上:Hadoop dfs -get /hdfs /local 3. 列出HDFS上的目录内容:Hadoop dfs –ls /hdfsDir 4. 删除HDFS下的文档:Hadoop dfs -rmr /hdfs 5. 查看HDFS下的文件内容:Hadoop dfs -cat /hdfs 6....

    hadoop 2.6 win 64位 eclipse

    Eclipse是一款广泛使用的集成开发环境(IDE),它支持多种编程语言,包括Java,而Hadoop主要是用Java编写的,因此Eclipse是Hadoop开发的常用工具。 在描述中提到的资源包括两个文件:`hadoop.dll`和`winutils.exe`...

    Linux-Hadoop-安装和操作指南(内涵代码,工具,以及文档指南)

    Linux是Hadoop最常用的运行平台,因为它提供了稳定、高性能的服务器环境。你需要了解基本的Linux命令行操作,如文件和目录管理(ls、cd、mkdir、rm等)、文本编辑器(如vim或nano)的使用,以及网络配置和权限管理。...

    Hadoop-2.8.5全面资料

    - **winutils.exe**:此文件是Windows环境下Hadoop操作的工具集,包括了常用的HDFS命令行工具等。对于在Windows系统下使用Hadoop的用户来说非常有用。 - **插件**:Hadoop插件不仅可以提高开发效率,还可以帮助...

    hadoop-3.0.1winutils.rar

    5. **启动和监控Hadoop服务**:使用start-dfs.sh和start-yarn.sh命令启动Hadoop服务,并通过jps命令检查各个守护进程是否正常运行。 6. **Hadoop客户端**:Hadoop提供了一系列的客户端库,使得应用程序可以方便地与...

    Hadoop命令手册

    由于提供的内容中并没有具体的知识点描述,而只是对于“Hadoop命令手册”的标题和描述,以及一些特殊的...使用Hadoop时,熟悉这些命令能够帮助高效地处理大数据工作负载,并通过Hadoop命令行工具来执行各种集群操作。

    hadoop 笔记

    - **4.7.3 直接的命令行查看**:使用`hdfs dfs -ls /`等命令查看文件系统中的文件。 #### 五、架构分析 **5.1 HDFS** - **5.1.1 HDFS的三个重要角色**:NameNode、Secondary NameNode和DataNode。 - **5.1.2 HDFS...

    hadoop命令集

    为了方便用户操作Hadoop集群,Hadoop提供了一系列命令行工具。本文将详细介绍这些常用命令,并结合具体示例来帮助读者更好地理解和使用。 #### 二、Hadoop 基础命令 1. **启动与停止服务** - `start-all.sh`:...

    Hadoop面试题目及答案.pdf

    - 全分布式模式:生产环境常用,多台主机构成集群,各守护进程分别运行在不同主机上。 2. **Hadoop遵循UNIX模式**: - Hadoop的配置和组织结构借鉴了UNIX风格,如“conf”目录。 3. **Hadoop目录结构**: - 在...

    hadoop-shell.pdf

    分布式文件系统(DFS)是一种允许多个客户端共享存储在多台机器上的文件的系统,它通过网络让不同主机上的多个用户可以共享文件和存储资源。HDFS作为分布式文件系统的一种实现,具有以下几个显著特点: - 高容错性:...

Global site tag (gtag.js) - Google Analytics