`

hadoop 常用命令

 
阅读更多
启动Hadoop
进入HADOOP_HOME目录。
执行sh bin/start-all.sh

关闭Hadoop
进入HADOOP_HOME目录。
执行sh bin/stop-all.sh



1、查看指定目录下内容

hadoop dfs –ls [文件目录]

eg: hadoop dfs –ls /user/wangkai.pt

2、打开某个已存在文件

hadoop dfs –cat [file_path]

eg:hadoop dfs -cat /user/wangkai.pt/data.txt

3、将本地文件存储至hadoop

hadoop fs –put [本地地址] [hadoop目录]

hadoop fs –put /home/t/file.txt  /user/t  

(file.txt是文件名)

4、将本地文件夹存储至hadoop

hadoop fs –put [本地目录] [hadoop目录]
hadoop fs –put /home/t/dir_name /user/t

(dir_name是文件夹名)

5、将hadoop上某个文件down至本地已有目录下

hadoop fs -get [文件目录] [本地目录]

hadoop fs –get /user/t/ok.txt /home/t

6、删除hadoop上指定文件

hadoop fs –rm [文件地址]

hadoop fs –rm /user/t/ok.txt

7、删除hadoop上指定文件夹(包含子目录等)

hadoop fs –rm [目录地址]

hadoop fs –rmr /user/t

8、在hadoop指定目录内创建新目录

hadoop fs –mkdir /user/t

9、在hadoop指定目录下新建一个空文件

使用touchz命令:

hadoop  fs  -touchz  /user/new.txt

10、将hadoop上某个文件重命名

使用mv命令:

hadoop  fs  –mv  /user/test.txt  /user/ok.txt   (将test.txt重命名为ok.txt)

11、将hadoop指定目录下所有内容保存为一个文件,同时down至本地

hadoop dfs –getmerge /user /home/t

12、将正在运行的hadoop作业kill掉

hadoop job –kill  [job-id]
分享到:
评论

相关推荐

    Hadoop常用命令.pdf

    > hadoop jar test-1.0-SNAPSHOT-jar-with-dependencies.jar /user/test/input /user/test/out 2.运行Jar包指定类中的主函数 > java -cp test-1.0-SNAPSHOT-jar-with-dependencies.jar com.test.main.MainTest

    Hadoop常用命令

    ### Hadoop常用命令详解 Hadoop是一款开源软件框架,主要用于分布式存储与处理大规模数据集。在实际使用过程中,掌握一些常用的Hadoop命令对于管理和维护Hadoop集群至关重要。下面将详细介绍这些命令及其用法。 ##...

    hadoop常用命令详解,配有例子说明

    hadoop的常用命令详解,并配有例子说明详细信息

    hadoop常用命令

    这篇文档将详细介绍Hadoop的常用命令,以及如何在Windows环境下进行Hadoop的开发和操作。 首先,我们来了解一下Hadoop的基本命令。`hadoop fs`是Hadoop文件系统(HDFS)的交互接口,用于执行文件系统操作,如`ls`...

    Hadoop Shell命令大全

    下面将详细介绍一些常用命令的使用方法和示例: 1. cat命令:用于查看HDFS文件内容,命令格式为hadoop fs -cat URI [URI …]。例如,查看文件的内容,可以使用命令: ``` hadoop fs -cat hdfs://host1:port1/file...

    Hadoop的xmind的入门笔记

    【Hadoop的xmind入门笔记概述】 Hadoop是Apache软件基金会开发的一个开源分布式计算框架,主要处理和存储大规模数据。这个“Hadoop的xmind入门笔记”系列涵盖了从基础概念到高级应用的全面学习路径,旨在帮助初学者...

    hadoop大数据常用命令

    ### Hadoop大数据常用命令知识点详解 #### 一、启动与关闭Hadoop集群 **启动Hadoop** - **步骤**: 进入HADOOP_HOME目录,然后执行`sh bin/start-all.sh`。 - **作用**: 启动Hadoop集群,包括DataNodes和NameNode。...

    hadoop和HBase常用shell命令

    Hadoop 和 HBase 常用 shell 命令 在大数据处理中,Hadoop 和 HBase 是两个非常重要的组件。Hadoop 是一个分布式计算框架,用于处理大规模数据,而 HBase 是一个基于 Hadoop 的分布式数据库,用于存储和处理大规模...

    Hadoop shell常用命令

    该文档记录了在linux的shell环境下执行的hadoop的相关操作命令,包括多hafs文件的相关操作

    Hadoop集群部署、实战等相关培训资料

    接下来是《Hadoop常用命令.docx》,这是一份实用的工具文档,列举了Hadoop生态系统中常用的命令行工具,如hdfs dfs、hadoop fs、hadoop jar等,这些命令对于日常操作Hadoop集群至关重要。通过学习这些命令,用户可以...

    Hadoop-HDFS常用命令

    Hadoop-HDFS常用命令

    Hadoop HDFS分布式文件系统 常用命令汇总

    Hadoop HDFS分布式文件系统常用命令汇总 Hadoop HDFS分布式文件系统是大数据存储和处理的核心组件。作为一个分布式文件系统,HDFS提供了高可靠性、高可扩展性和高性能的存储解决方案。在使用HDFS时,经常需要执行...

    Linux常用的操作命令+hadoop安装指导.docx

    ### Linux常用的操作命令+hadoop安装指导 #### Linux用户与权限管理相关知识点 ##### 了解Linux用户与权限管理的重要性 在Linux系统中,用户管理和权限控制是确保系统安全性和稳定性的重要手段之一。通过合理地...

    【大数据】Hadoop常用启动命令.pdf

    本文主要讨论了在Hadoop环境中常用的启动和停止命令,这对于管理和维护Hadoop集群至关重要。Hadoop的组件主要包括HDFS(Hadoop分布式文件系统)和MapReduce,它们通过一系列守护进程协同工作。 Hadoop的启动和停止...

    hadoop 命令大全

    #### 二、常用Hadoop命令详解 **1. 查看支持的命令** 通过命令`$bin/hadoop fs -help`可以列出所有Hadoop Shell支持的命令及其简短的描述。 **2. 显示特定命令的帮助信息** 如果想要了解某个命令的具体使用方法...

    hadoop操作命令设置

    为了提升工作效率,简化Hadoop的日常操作,可以通过设置别名(alias)来将Hadoop的常用操作命令调整为更加熟悉、易于记忆的格式。下面,我们将详细探讨如何通过设置别名来优化Hadoop的操作体验。 ### 设置Hadoop...

    Hadoop面试45个题目及答案.pdf

    Hadoop常用命令 * `jps` 命令可以检查Namenode、Datanode、Task Tracker、Job Tracker是否正常工作。 * `fsck` 命令可以检查文件系统的完整性。 * `etc init.d` 命令可以检查守护进程(服务)的位置或状态。 ...

    hadoop大数据基础学习

    #### 五、Hadoop常用命令及操作 1. **HDFS命令**: - `hdfs dfs -ls`:列出目录下的文件。 - `hdfs dfs -put`:上传文件到HDFS。 - `hdfs dfs -get`:从HDFS下载文件。 2. **MapReduce命令**: - `hadoop jar ...

Global site tag (gtag.js) - Google Analytics