`

HADOOP基本操作命令

 
阅读更多

假设Hadoop的安装目录HADOOP_HOME/home/admin/hadoop

启动与关闭

启动HADOOP

1.         进入HADOOP_HOME目录。

2.         执行sh bin/start-all.sh

关闭HADOOP

1.         进入HADOOP_HOME目录。

2.         执行sh bin/stop-all.sh

文件操作

Hadoop使用的是HDFS,能够实现的功能和我们使用的磁盘系统类似。并且支持通配符,如*

查看文件列表

查看hdfs/user/admin/aaron目录下的文件。

1.         进入HADOOP_HOME目录。

2.         执行sh bin/hadoop fs -ls /user/admin/aaron

这样,我们就找到了hdfs/user/admin/aaron目录下的文件了。

我们也可以列出hdfs/user/admin/aaron目录下的所有文件(包括子目录下的文件)。

1.         进入HADOOP_HOME目录。

2.         执行sh bin/hadoop fs -lsr /user/admin/aaron

创建文件目录

查看hdfs/user/admin/aaron目录下再新建一个叫做newDir的新目录。

1.         进入HADOOP_HOME目录。

2.         执行sh bin/hadoop fs -mkdir /user/admin/aaron/newDir

删除文件

删除hdfs/user/admin/aaron目录下一个名叫needDelete的文件

1.         进入HADOOP_HOME目录。

2.         执行sh bin/hadoop fs -rm /user/admin/aaron/needDelete

删除hdfs/user/admin/aaron目录以及该目录下的所有文件

1.         进入HADOOP_HOME目录。

2.         执行sh bin/hadoop fs -rmr /user/admin/aaron

上传文件

上传一个本机/home/admin/newFile的文件到hdfs/user/admin/aaron目录下

1.         进入HADOOP_HOME目录。

2.         执行sh bin/hadoop fs –put /home/admin/newFile /user/admin/aaron/

下载文件

下载hdfs/user/admin/aaron目录下的newFile文件到本机/home/admin/newFile

1.         进入HADOOP_HOME目录。

2.         执行sh bin/hadoop fs –get /user/admin/aaron/newFile /home/admin/newFile

查看文件

我们可以直接在hdfs中直接查看文件,功能与类是cat类似

查看hdfs/user/admin/aaron目录下的newFile文件

1.         进入HADOOP_HOME目录。

2.         执行sh bin/hadoop fs –cat /home/admin/newFile

MAPREDUCE JOB操作

提交MAPREDUCE JOB

原则上说,Hadoop所有的MapReduce Job都是一个jar包。

运行一个/home/admin/hadoop/job.jarMapReduce Job

1.         进入HADOOP_HOME目录。

2.         执行sh bin/hadoop jar /home/admin/hadoop/job.jar [jobMainClass] [jobArgs]

杀死某个正在运行的JOB

假设Job_Id为:job_201005310937_0053

1.         进入HADOOP_HOME目录。

2.         执行sh bin/hadoop job -kill job_201005310937_0053

分享到:
评论

相关推荐

    hadoop基本操作.docx

    【Hadoop基本操作详解】 Hadoop是一个开源框架,主要用于存储和处理大数据。其核心组成部分包括分布式文件系统HDFS(Hadoop Distributed File System)和MapReduce计算模型。在Hadoop环境中,熟练掌握HDFS的基本...

    Linux下Hadoop伪分布式配置及操作命令

    测试例子可以帮助理解Hadoop的基本操作和工作原理,而编写自己的应用程序则可以实际运用Hadoop进行数据处理。 7. Hadoop操作命令: Hadoop的操作命令分为常规选项、用户命令和管理命令。常规选项通常用于配置和启动...

    实验2 Hadoop基本操作.docx

    【Hadoop基本操作详解】 Hadoop是一个开源框架,主要用于处理和存储大规模数据,尤其适合非结构化的分布式数据。它的核心组件主要包括Hadoop MapReduce和Hadoop Distributed File System(HDFS)。MapReduce是处理...

    Hadoop操作命令

    对于日常管理和维护HDFS中的文件和目录,掌握一些基本的操作命令至关重要。 本文将详细介绍HDFS中常用的命令,包括查看文件列表、文件移动、复制、删除以及上传下载等功能,并给出具体的使用示例。 #### 二、查看...

    hadoop的所有命令

    `hadoop dfsadmin -report`命令用于报告HDFS的基本统计信息。而`hadoop dfsadmin -decommission datanodename`命令则用于使Datanode节点退役。 管理员还可以使用`hadoop dfsadmin -finalizeUpgrade`命令在升级之前...

    Hadoop命令

    通过掌握这些基本的Hadoop命令,你可以有效地管理和操作Hadoop集群,进行大数据的存储和处理。实际工作中,还需要结合具体业务需求,学习如何编写MapReduce程序,优化性能,以及处理各种异常情况。希望这些信息对你...

    hadoop大数据常用命令

    #### 二、Hadoop文件系统操作命令 **查看指定目录下内容** - **命令**: `hadoop dfs –ls [文件目录]` - **示例**: `hadoop dfs –ls /user/wangkai.pt` - **作用**: 显示指定目录下的文件列表。 **打开某个已存在...

    hadoop基本命令

    Hadoop 基本命令 Hadoop 是一个基于分布式存储和并行计算的开源框架,常用于大数据处理和存储。Hadoop 提供了多种命令来管理和维护 Hadoop 集群,包括文件系统操作、作业管理、集群管理等。在本资源摘要信息中,...

    Hadoop fs命令详解.docx

    Hadoop fs命令是Hadoop分布式文件系统(HDFS)的命令行接口,提供了丰富的文件操作命令,方便用户管理和维护HDFS文件系统。本文将详细介绍Hadoop fs命令的使用方法和实践操作。 基本命令 hadoop fs命令的基本语法...

    hadoop 命令大全

    - **查看所有支持的命令**:命令`$bin/hadoop dfsadmin -help`能够列出所有当前支持的命令,例如`-report`用于报告HDFS的基本统计信息。 以上就是Hadoop命令大全的主要内容,通过对这些命令的学习和掌握,可以帮助...

    熟悉常用的Linux操作和Hadoop操作.docx

    ### 知识点详解 #### 实验一:熟悉常用的Linux操作和Hadoop操作 ...通过以上步骤,不仅可以熟悉Linux的基本操作,还能掌握如何在Linux环境下安装配置NTP服务器的基本流程,为后续学习Hadoop等大数据技术打下基础。

    hadoop软件以及安装指导Hadoop 配置-命令

    总的来说,理解和掌握Hadoop的安装配置及命令行操作是大数据工程师的基本功。通过这个资源包中的"命令"部分,用户可以深入学习和实践如何有效地管理和操作Hadoop集群,进一步提升在大数据处理领域的技能。

    hadoop常用命令

    首先,我们来了解一下Hadoop的基本命令。`hadoop fs`是Hadoop文件系统(HDFS)的交互接口,用于执行文件系统操作,如`ls`用于列出目录内容,`mkdir`创建目录,`put`上传本地文件到HDFS,`get`下载HDFS上的文件到本地...

    数据科学导论实验报告 实验1:常用Linux操作和 Hadoop操作

    本实验报告主要涵盖了两个核心部分:Linux操作系统的基本操作和Hadoop分布式文件系统的使用。 在Linux部分,实验旨在使学生熟悉一系列基础命令,这对于任何在Linux环境中工作的数据科学家都是必不可少的技能。例如...

    熟悉常用的Linux操作和Hadoop操作

    ### 常用Linux操作与Hadoop操作详解 #### 实验背景及目的 ...以上命令涵盖了 Linux 和 Hadoop 中常用的基本操作,通过实际操作这些命令,可以提高你在 Linux 系统管理和 Hadoop 数据处理方面的技能。

    Hadoop命令手册

    通过以上介绍,可以看出Hadoop命令手册不仅包含了基本的文件操作命令,还涉及到了集群管理和高级功能的支持。这对于初学者来说是一份非常宝贵的资源,可以帮助他们快速上手并深入理解Hadoop的工作原理及应用。

    hadoop-eclipse-plugin-1.1.1, hadoop基本文件操作

    3. **Hadoop Shell**:这里提到的`hadoop shell .txt`可能是一个文档,详细介绍了如何使用Hadoop的命令行工具,如`hadoop fs`命令,进行文件操作,集群管理等任务。这对于日常的Hadoop运维和开发工作是非常实用的。 ...

    Java操作Hadoop Mapreduce基本实践源码

    本文将深入探讨如何使用Java编程语言来操作Hadoop MapReduce进行基本实践,通过源码分析来理解其核心工作原理和编程模型。 MapReduce的核心思想是将大规模数据集分解成小块,然后在分布式集群上并行处理这些小块,...

    Hadoop HDFS分布式文件系统 常用命令汇总

    在使用HDFS时,经常需要执行一些基本操作,例如拷贝文件、查看目录内容、删除文件等。本文将总结HDFS的常用命令,以便大家更好地掌握HDFS的使用。 一、基本目录操作命令 1. 创建目录:使用mkdir命令创建一个新的...

Global site tag (gtag.js) - Google Analytics