`

Hadoop命令摘录

 
阅读更多

一:文件操作
1、建立目录
[hadoop@hadoop1:hadoop]$bin/hadoop dfs -mkdir testdir
在HDFS中建立一个名为testdir的目录
2、上传文件到HDFS
[hadoop@hadoop1:hadoop]$bin/hadoop dfs -put /home/hadoop/test.zip testfile.zip
把本地文件large.zip拷贝到HDFS的根目录/user/hadoop/下,文件名为testfile.zip
3、查看现有文件
[hadoop@hadoop1:hadoop]$bin/hadoop dfs -ls
4、从Hadoop分布式系统复制到本地文件系统查看
[hadoop@hadoop1:hadoop]$bin/hadoop dfs -get out /home/hadoop/output
5、查看HDFS上文件
[hadoop@hadoop1:hadoop]$hadoop dfs -cat out/*
6、删除HDFS上文件
[hadoop@hadoop1:hadoop]$hadoop dfs -rmr out
二:管理与更新
1、报告HDFS的基本统计信息
[hadoop@hadoop1:hadoop]$hadoop dfsadmin -report
2、退出安全模式
[hadoop@hadoop1:hadoop]$hadoop dfsadmin -safemode leave
3、进入安全模式
[hadoop@hadoop1:hadoop]$hadoop dfsadmin -safemode enter
4、负载均衡,平衡各个节点的分布
[hadoop@hadoop1:hadoop]$bin/start-balancer.sh
5、返回是否安全模式
[hadoop@hadoop1:hadoop]$hadoop dfsadmin -safemode get
6、查看块信息
[hadoop@hadoop1:hadoop]$hadoop fsck / -files -blocks
7、并行复制
[hadoop@hadoop1:hadoop]$hadoop distcp -help hdfs://namenode1/foo hdfs://namenode2/bar

分享到:
评论

相关推荐

    hadoop命令手册

    Hadoop 命令手册 Hadoop 命令是 Hadoop 分布式计算系统的核心组件之一,负责执行各种作业和管理任务。Hadoop 命令手册提供了一个详细的命令参考指南,帮助用户熟悉 Hadoop 命令,让云计算更上一步。 Hadoop 命令的...

    hadoop 命令大全

    ### Hadoop命令大全详解 #### 一、Hadoop配置与环境变量设置 **1. Hadoop配置文件** Hadoop的配置文件对于整个系统的稳定运行至关重要。`core-site.xml`是Hadoop配置中最核心的部分之一,它包含了Hadoop运行所需...

    Hadoop命令使用手册中文版

    ### Hadoop命令使用手册中文版知识点详解 #### 一、Hadoop概述 Hadoop是一款开源软件框架,主要用于处理大规模数据集(通常在集群环境中)。它能够高效地存储和处理非常大的数据集,使得用户能够在相对较低成本的...

    hadoop命令大全

    了解和熟练掌握Hadoop命令是大数据处理中的基础技能。下面我们将详细介绍一些重要的Hadoop命令及其应用场景。 1. **Hadoop Shell命令**: - `hadoop fs`:这是Hadoop文件系统的主要接口,用于执行文件操作,如创建...

    Hadoop命令手册

    由于提供的内容中并没有具体的知识点描述,而只是对于“Hadoop命令手册”的标题和描述,以及一些特殊的符号,显然这些符号并不能转换为有价值的IT知识点。但是既然您需要详细的知识点,那么接下来,我会根据标题...

    hadoop命令大全.pdf

    根据所提供的文件内容,我们可以提炼出一系列关于Hadoop命令的知识点,Hadoop是一个开源的分布式计算框架,由Apache基金会开发,用于存储和处理大量数据。接下来我们将详细解释这些知识点: 1. Hadoop命令行通用...

    Hadoop命令

    本教程将深入探讨Hadoop命令,帮助你更好地理解和运用这个强大的工具。 首先,我们要了解Hadoop的核心组件:HDFS(Hadoop Distributed File System)和MapReduce。HDFS是分布式文件系统,用于存储大量数据;...

    Hadoop Shell命令大全

    本文档将详细介绍如何使用Hadoop Shell命令来操作HDFS,包括命令的使用方法、示例及注意事项。 在Hadoop中,所有文件系统(FS)Shell命令都应以bin/hadoop fs 的形式调用。命令行中的URI路径用作参数,其格式为...

    windows 下执行hadoop命令的工具

    winutils windows hadoop 工具 模拟执行linux的几个命令用的。添加到 hadoop-2.2.0\bin下面就行了。

    hadoop命令

    本文档将详细介绍一系列常用的Hadoop命令,帮助开发者更好地理解和掌握Hadoop的使用方法。 #### 二、Hadoop Shell 命令 ##### 1. 列出所有Hadoop Shell 支持的命令 ``` $ bin/hadoop fs -help ``` 该命令可以展示...

    Hadoop常用命令

    在实际使用过程中,掌握一些常用的Hadoop命令对于管理和维护Hadoop集群至关重要。下面将详细介绍这些命令及其用法。 #### 1. 启动与停止Hadoop集群 - **start-all.sh**: 这个脚本用于启动Hadoop集群中的所有服务,...

    Hadoop Shell命令速查表.pdf

    HDFS命令有两种风格的命令,分别是带有“hadoop fs”前缀和“hdfs dfs”前缀的命令,两者功能相同,用户可以根据个人喜好选择使用。下面是Hadoop Shell命令的具体知识点: 1. 列出目录内容:使用hadoop fs -ls命令...

    Hadoop fs命令详解.docx

    Hadoop fs命令详解 Hadoop fs命令是Hadoop分布式文件系统(HDFS)的命令行接口,提供了丰富的文件操作命令,方便用户管理和维护HDFS文件系统。本文将详细介绍Hadoop fs命令的使用方法和实践操作。 基本命令 ...

    安装hadoop命令

    安装hadoop教程有很多网上,在安装过程中遇到坑记录下和处理命令

    hadoop的shell命令大全

    这里囊括了所有操作hadoop的shell命令,十分齐全,,。

    hadoop shell命令

    而掌握Hadoop Shell命令是进行数据管理和操作的基础技能之一。 ### Hadoop Shell 命令详解 #### 1. **hadoop fs** `hadoop fs` 命令是访问HDFS(Hadoop分布式文件系统)的主要方式,提供了与文件和目录相关的各种...

    Hadoop命令大全

    ### Hadoop命令详解 Hadoop是一款开源软件框架,主要用于存储和处理大规模数据集。它基于分布式文件系统(HDFS)和MapReduce编程模型构建,能够跨多台计算机集群高效运行。掌握Hadoop命令对于管理和操作Hadoop环境...

Global site tag (gtag.js) - Google Analytics