`
dzhxie
  • 浏览: 2600 次
  • 性别: Icon_minigender_1
  • 来自: 苏州
社区版块
存档分类
最新评论

hadoop hdfs 基本操作

 
阅读更多

我用的是hadoop 2.8.3 在 Centos 7 上面,所以下面的一些命令也是针对这个版本的。 因为不同的版本之间命令有可能是不一样的。

 

安装好hadoop 以后,就是看下怎么样往上面放文件了。目前主要是两种方式,一种是shell,也就是用hdfs 的命令方式,另外就是Java。

 

Shell 方式。

1.首先要cd 到hadoop 的bin 目录下,下面有hdfs 的命令。然后第一步是创建文件夹。下面会创建一个 kentest 文件夹 和 testdata001 子文件夹。



 

2. 然后在本地创建一个文件 test123.txt。 注意我是在 /root 下面创建的,不然下面的命令会报错。下面是上传本地的文件到hdfs 中去的具体命令。



 

3. 上传完了,可以查看hdfs 文件系统里刚刚上传的文件内容一确保是不是已经成功。




同时也可以在hadoop 的web 页面里来查看。hadoop 的默认访问主页地址是 http://masternodename:50070/

下图是具体的步骤。



 

 

Java 方式:

。。。

 

 

 

  • 大小: 6.8 KB
  • 大小: 8.6 KB
  • 大小: 6.1 KB
  • 大小: 22.5 KB
分享到:
评论

相关推荐

    java 从hadoop hdfs读取文件 进行groupby并显示为条形图

    通过以上步骤,我们可以构建一个完整的Java应用,实现从Hadoop HDFS读取数据,执行GROUP BY操作,并以条形图形式展示统计结果。这样的应用对于大数据环境下的数据分析和可视化工具有着重要的价值。

    python 操作 Hadoop hdfs

    `firstHadoop.py`可能是你的第一个Hadoop相关的Python脚本,它可能包含了上述基础操作的简单示例。通过学习和理解这些基本操作,你可以构建更复杂的Hadoop HDFS数据处理流程,例如批量读取、并行处理和上传结果等。 ...

    java整合spring和hadoop HDFS全部jar

    同时,考虑性能优化,比如使用HDFS的批量操作,或者根据业务需求调整Hadoop的配置参数。 5. **异常处理与日志记录**:在处理分布式系统时,异常处理和日志记录至关重要。确保捕获可能的异常并适当地记录,以便于...

    Hadoop hdfs文件操作,mr demo,topN demo

    本篇文章将详细讲解Hadoop HDFS文件操作、MapReduce(MR)示例以及如何实现TopN问题。 首先,HDFS是分布式文件系统,设计用于跨大量廉价硬件节点存储和处理大规模数据。它具有高容错性,能够自动数据复制,确保数据...

    大数据--Hadoop HDFS

    ### 大数据、Hadoop与HDFS详解 随着信息技术的快速发展和互联网的普及,数据量呈爆炸性增长态势。传统的数据处理工具和技术已无法满足如此大规模数据的存储、管理和分析需求。为此,Apache Hadoop应运而生,它提供...

    Hadoop HDFS和MapReduce架构浅析.pdf

    Hadoop HDFS和MapReduce架构浅析.pdf 更多资源请点击:https://blog.csdn.net/weixin_44155966

    hadoop hdfs 备份快照

    snapshot为hadoop2.1.0时新增加的功能。 主要为防止用户误删数据,和数据备份的作用 快照的对象为HDFS目录,前提是该目录是可以允许设置快照的(SnapShotable)

    基于Hadoop HDFS的分布式文件系统操作工具.zip

    基于Hadoop HDFS的分布式文件系统操作工具 项目简介 本项目是一个基于Hadoop HDFS(Hadoop Distributed File System)的分布式文件系统操作工具。它提供了一系列API和工具类,用于简化与HDFS的交互,包括文件的...

    hadoop-hdfs-2.7.3-API文档-中英对照版.zip

    赠送jar包:hadoop-hdfs-2.7.3.jar; 赠送原API文档:hadoop-hdfs-2.7.3-javadoc.jar; 赠送源代码:hadoop-hdfs-2.7.3-sources.jar; 赠送Maven依赖信息文件:hadoop-hdfs-2.7.3.pom; 包含翻译后的API文档:hadoop...

    基于Hadoop HDFS的分布式文件系统备份与恢复系统.zip

    基于Hadoop HDFS的分布式文件系统备份与恢复系统 内容概要 本项目是一个基于Hadoop HDFS的分布式文件系统备份与恢复系统。它包括备份节点(BackupNode)和数据节点(DataNode)的管理,以及与NameNode的通信。...

    《HDFS——Hadoop分布式文件系统深度实践》PDF

    通过阅读《HDFS——Hadoop分布式文件系统深度实践》,读者不仅可以掌握HDFS的基本操作,还能深入了解其内部机制,从而更好地利用HDFS来构建和管理自己的大数据存储系统。书中的实例和实践指导对于提升Hadoop开发者和...

    数据科学导论实验报告 实验2:熟悉常用的HDFS操作

    在本实验中,我们主要关注的是对Hadoop分布式文件系统(HDFS)的熟悉和操作。HDFS是Hadoop的核心组件之一,它...通过这样的实践,学习者可以更好地理解和掌握Hadoop HDFS的使用,为后续的数据科学项目打下坚实的基础。

    Hadoop HDFS分布式文件系统 常用命令汇总

    Hadoop HDFS分布式文件系统常用命令汇总 Hadoop HDFS分布式文件系统是大数据存储和...掌握HDFS的基本命令是使用HDFS的基础。通过本文总结的命令,您将能够更好地掌握HDFS的使用,并更好地应用于大数据存储和处理中。

    Hadoop HDFS原理分析,技术详解

    "Hadoop HDFS原理分析" HDFS(Hadoop Distributed File System)是Hadoop项目的一部分,是一个分布式文件管理系统。HDFS的设计理念是为了存储和管理大量的数据,具有高容错性、可扩展性和高性能的特点。 HDFS的...

    I001-hadoophdfs-mkdirs.7z

    标题"I001-hadoophdfs-mkdirs.7z"指向的是一个关于Hadoop HDFS(Hadoop Distributed File System)操作的压缩包文件,特别是关于创建目录(mkdirs)的教程或参考资料。Hadoop是Apache软件基金会开发的一个开源框架,...

    window客户端连接hadoop hdfs,完美解决障碍

    在Windows客户端连接...总之,连接Windows客户端到Hadoop HDFS需要正确配置客户端环境、理解HDFS的工作原理以及掌握相应的命令行或API操作。通过细心的调试和适当的工具辅助,可以克服连接障碍,实现高效的数据交互。

    hadoop-hdfs-fsimage-exporter:将Hadoop HDFS内容统计信息导出到Prometheus

    Prometheus Hadoop HDFS FSImage导出器 | 将Hadoop HDFS统计信息导出到包括 总数/每个用户/每个组/每个配置的目录路径/每个路径集 目录数 文件数 文件大小和大小分布(可选) 块数 文件复制(总体/每个用户摘要)...

    搭建hadoop后hdfs基本操作 ecplisec操作

    本文将深入探讨在搭建好Hadoop环境后,如何使用Eclipse进行HDFS的基本操作。 首先,我们要理解HDFS的基本概念。HDFS是一种分布式文件系统,它将大型文件分割成块,并将这些数据块分散存储在集群中的多台服务器上,...

    hadoop-hdfs-2.6.5-API文档-中文版.zip

    赠送jar包:hadoop-hdfs-2.6.5.jar; 赠送原API文档:hadoop-hdfs-2.6.5-javadoc.jar; 赠送源代码:hadoop-hdfs-2.6.5-sources.jar; 赠送Maven依赖信息文件:hadoop-hdfs-2.6.5.pom; 包含翻译后的API文档:hadoop...

    Hadoop hdfs.md

    Hadoop hdfs.md

Global site tag (gtag.js) - Google Analytics