`
landyer
  • 浏览: 141987 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

初学Hadoop

阅读更多

创建目录

hadoop dfs -mkdir 目录名(dfs也可以用fs代替)

列取目录

hadoop dfs -ls .(当前目录)

hadoop dfs -ls 目录名

从本地文件系统复制文件到DFS

hadoop dfs -copyFromLocal 源文件 目标文件

源文件默认从当前目录中读取,如果目标文件是相对路径则是保存在DFS的/user/root/目录下

从DFS复制文件到本地文件系统

hadoop fs -copyToLocal 源文件 目标文件

如果源文件是相对路径这是从DFS的/user/root/目录中取得,目标文件默认保存在当前目录中

在执行操作的时候经常会遇到如下错误:

org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode

表示命名节点此时处于安全模式

执行:bin/hadoop dfsadmin -safemode leave    即可解决

分享到:
评论

相关推荐

    快速配置Hadoop开发环境 Win7+Eclipse&CentOS7+Hadoop2 5 1

    本文来自近一周从零开始摸索的操作的笔记 在此过程中得感谢XXTV 感谢互联网 整理出来一是自己备忘 二是希望能初学Hadoop的人一些参考 并节约宝贵时间 本文分两部分 第一部分为Hadoop2 5 1集群的架设 基于CentOS 7...

    初学Hadoop之图解MapReduce与WordCount示例分析

    Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,MapReduce则为海量的数据提供了计算。 HDFS是GoogleFileSystem(GFS)的开源实现。MapReduce是GoogleMapReduce的开源实现。HDFS和...

    32位hadoop2.6.4

    centos6.5 32位下编译的,编译花了一下午时间,所以分享给那些初学hadoop的人

    hadoop-HA搭建+hbase.docx

    初学Hadoop时试验搭建很多次的集群部署方案,步骤很详细。hadoop-2.6.5.tar.gz zookeeper-3.4.10.tar.gz Hbase1.2.6 ,两个nameNode+三dataNode

    Hadoop和Spark初学者指南:基础安装与实践应用 0基础!!易懂!!.html

    Hadoop和Spark初学者指南Hadoop和Spark初学者指南Hadoop和Spark初学者指南Hadoop和Spark初学者指南Hadoop和Spark初学者指南Hadoop和Spark初学者指南Hadoop和Spark初学者指南Hadoop和Spark初学者指南Hadoop和Spark...

    hadoop组件程序包.zip

    《Hadoop组件程序包详解:助力初学者轻松入门》 Hadoop,作为大数据处理领域的重要框架,因其分布式、可扩展的特性,深受广大开发者和企业的青睐。本文将针对标题为“hadoop组件程序包.zip”的资源,深入解析其中...

    hadoop环境配置

    单机版hadoop,hbase,thrift,hive环境配置,初学hadoop的可以很好的在自己的hadoop环境下学习

    hadoop几个实例

    这个压缩包文件包含的"hadop实用案例"很可能是为了帮助初学者理解和应用Hadoop技术。以下是关于Hadoop的一些核心知识点,以及可能在这些实例中涉及的内容。 1. **Hadoop架构**:Hadoop主要由两个核心组件构成,HDFS...

    hadoop-eclipse-plugin-2.6.0.jar.zip_2.6.0_hadoop_hadoop plugin

    《Hadoop Eclipse Plugin 2.6.0:高效开发与测试工具》 Hadoop作为大数据处理的核心框架,为开发者提供了强大的...对于Hadoop初学者和专业开发者来说,熟练掌握并运用这款插件,无疑是提升开发体验和工作效率的关键。

    hadoop2.7.5 在windows下需要的hadoop.dll winutils.exe等文件(bin目录)

    在Windows环境下搭建Hadoop 2.7.5开发环境时,常常会遇到一些特定的挑战,尤其是对于初学者而言。本文将详细介绍如何解决在Eclipse中开发Hadoop程序时遇到的`winutils.exe`错误,并提供所需的关键文件,如`hadoop....

    Hadoop 2.7.5 Windows 7 64位 编译bin(包含winutils.exe, hadoop.dll等)

    这个压缩包提供的bin目录,意味着用户可以直接使用这些预编译的文件,而无需经历复杂的编译过程,这对于初学者或不熟悉编译流程的开发者来说非常方便。用户只需要按照上述配置步骤,就可以在Windows 7 64位系统上...

    hadoop入门实战

    对于初学者来说,理解并掌握Hadoop是进入大数据行业的关键步骤。 1. **概述** Hadoop是基于Java实现的一个分布式计算框架,它设计的目标是处理和存储大规模数据。核心组件包括两个:Hadoop Distributed File ...

    hadoop-2.4.1版本大数据

    对于初学者来说,通过单机模拟分布式Hadoop环境是学习和理解Hadoop工作原理的有效方式。以下是一个简单的步骤指南: 1. **环境准备**:确保安装了Java环境,并设置好环境变量。 2. **下载Hadoop**:从Apache官网...

    Hadoop权威指南,hadoop权威指南pdf,Hadoop

    通过阅读《Hadoop权威指南》,无论是初学者还是有经验的开发者,都能对Hadoop有全面而深入的理解,从而更好地利用Hadoop处理大数据挑战。这本书不仅是理论知识的积累,更是实践操作的指南,对于从事大数据工作的专业...

    hadoop权威指南代码(Hadoop: The Definitive Guide code)

    《Hadoop权威指南》是Hadoop领域的经典著作,其配套代码资源可以帮助读者深入理解Hadoop的内部机制和实际应用。这本书全面介绍了Hadoop生态系统,包括HDFS、...无论是初学者还是有经验的开发者,都能从中受益匪浅。

    eclipse hadoop2 插件

    Eclipse Hadoop2 插件是为开发人员提供的一种强大工具,它允许用户在Eclipse集成开发环境中(IDE)直接编写、调试和管理Hadoop项目。这个插件针对Hadoop 2.x版本...无论是初学者还是经验丰富的开发者,都能从中受益。

    hadoop2.6.5中winutils.exe+hadoop.dll

    理解这两个文件的作用并正确配置它们,对于在Windows环境中进行大数据处理的初学者和专业人士都至关重要。通过这个压缩包提供的预配置文件,用户可以省去许多配置步骤,快速进入Hadoop的学习和开发阶段。

    Hadoop2.7.6 在windows下需要的hadoop.dll winutils.exe等文件

    对于初学者来说,这可能是一个复杂的过程,但这样做可以确保与系统环境的兼容性。 `bin`目录通常包含可执行文件和脚本,其中就包括`winutils.exe`。在Windows上运行Hadoop时,需要将`bin`目录添加到系统路径中,...

Global site tag (gtag.js) - Google Analytics