`
rc123
  • 浏览: 27605 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
文章分类
社区版块
存档分类
最新评论

hadoop的HDFS

 
阅读更多
HDFS(Hadoop Distributed File System)分布式文件管理系统。
容错性:系统中某个节点(即服务器)脱机,整个系统也能正常运行不会有数据丢失(即不同服务器数据存在冗余)。
以流的形式访问文件系统中的数据。
hdfs适合一次写入多次查询(即不能修改,如果要修改文件数据,先删除,重新写添加),不支持并发写,小文件不适合。

FS SHELL命令
Usage: java FsShell
           [-ls <path>]
           [-lsr <path>]
           [-du <path>]
           [-dus <path>]
           [-count[-q] <path>]
           [-mv <src> <dst>]
           [-cp <src> <dst>]
           [-rm [-skipTrash] <path>]
           [-rmr [-skipTrash] <path>]
           [-expunge]
           [-put <localsrc> ... <dst>]
           [-copyFromLocal <localsrc> ... <dst>]
           [-moveFromLocal <localsrc> ... <dst>]
           [-get [-ignoreCrc] [-crc] <src> <localdst>]
           [-getmerge <src> <localdst> [addnl]]
           [-cat <src>]
           [-text <src>]
           [-copyToLocal [-ignoreCrc] [-crc] <src> <localdst>]
           [-moveToLocal [-crc] <src> <localdst>]
           [-mkdir <path>]
           [-setrep [-R] [-w] <rep> <path/file>]
           [-touchz <path>]
           [-test -[ezd] <path>]
           [-stat [format] <path>]
           [-tail [-f] <file>]
           [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
           [-chown [-R] [OWNER][:[GROUP]] PATH...]
           [-chgrp [-R] GROUP PATH...]
           [-help [cmd]]


查看文件
# hadoop fs -ls /   (查看hdfs根目录)
# hadoop fs -lsr /   (查看hdfs根目录所以文件、文件夹)
# hadoop fs -lsr hdfs://aly(主机名):9000/       (完整路径写法)

默认读取值为:# vi /home/hadoop-1.1.2/conf/core-site.xml 的
<property>
        <name>fs.default.name</name>
        <value>hdfs://aly:9000</value>
</property>

权限   冗余数   所有者   组   文件大小   时间   名称
-rw-------   1 root supergroup          4 2014-09-19 11:32 /usr/local/hadoop/tmp/mapred/system/jobtracker.info

创建文件夹、上传文件、下载文件
# hadoop fs -mkdir /test   (在hdfs根目录创建一个test文件夹)

# hadoop fs -put /root/m140730636.jpg /test  (在linux系统/root/m140730636.jpg 上传到 /test文件夹下)
注意:文件名已经存在,上传相同文件名是不允许的。即不能覆盖文件。

# hadoop fs -put /root/m140730636.jpg /test/abc   (再次上传,把文件名改成abc)

# hadoop fs -get /test/abc /root  (把hdfs系统中的abc文件下载到linux系统root文件夹下)

查看文件、删除文件
# hadoop fs -text /test/abc   (查看)
# hadoop fs -rm /test/abc     (删除)
# hadoop fs -rmr /test   (删除文件夹及以下文件)


# hadoop        (查看hadoop的命令)
# hadoop fs     (查看hadoop fs的命令)



Browse the filesystem无法打开,暂时使用下面链接
http://114.215.104.**:50075/browseDirectory.jsp?dir=%2Ftest&namenodeInfoPort=50070




使用java代码操作hdfs
public class AppHDFS {
	
	static String HDFS_PATH="hdfs://114.215.104.**:9000";
	
	public static void main(String[] args) throws Exception {
//		URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
//		URL url=new URL(HDFS_PATH+"/a.txt");
//		InputStream in=url.openStream();
//		IOUtils.copyBytes(in, System.out, 1024,true);//读取文件
		
		FileSystem fileSystem=FileSystem.get(new URI(HDFS_PATH),new Configuration());
		
		fileSystem.mkdirs(new Path(HDFS_PATH+"/test"));//创建文件夹
		
		FSDataOutputStream out= fileSystem.create(new Path(HDFS_PATH+"/test/abc.txt"));//本地上传文件
		FileInputStream ins=new FileInputStream("c://wxy.sql");
		IOUtils.copyBytes(ins, out, 1024,true);
		
		FSDataInputStream fds=fileSystem.open(new Path(HDFS_PATH+"/test/abc.txt"));//读取文件
		IOUtils.copyBytes(fds, System.out, 1024,true);
		
		fileSystem.delete(new Path(HDFS_PATH+"/test"),true);//删除文件夹
		
	}
}


分享到:
评论

相关推荐

    java 从hadoop hdfs读取文件 进行groupby并显示为条形图

    在Java编程环境中,结合Hadoop HDFS(Hadoop Distributed File System)进行大数据处理是一种常见的实践。本项目聚焦于从HDFS读取数据,执行GROUP BY操作,并将统计结果以条形图的形式展示出来,提供了直观的数据...

    java整合spring和hadoop HDFS全部jar

    Java整合Spring和Hadoop HDFS是一项常见的任务,特别是在大数据处理和分布式存储的场景下。这里,我们将深入探讨这个主题,了解如何将这三个关键技术融合在一起。 首先,Java是编写应用程序的通用编程语言,它提供...

    Hadoop HDFS和MapReduce架构浅析.pdf

    Hadoop HDFS和MapReduce架构浅析.pdf 更多资源请点击:https://blog.csdn.net/weixin_44155966

    python 操作 Hadoop hdfs

    在大数据处理领域,Hadoop HDFS(Hadoop Distributed File System)是广泛使用的分布式文件系统,它为大规模数据处理提供了高效、可靠的数据存储解决方案。而Python作为一种灵活易用的编程语言,常常被用来与Hadoop ...

    基于Hadoop HDFS的分布式文件系统备份与恢复系统.zip

    基于Hadoop HDFS的分布式文件系统备份与恢复系统 内容概要 本项目是一个基于Hadoop HDFS的分布式文件系统备份与恢复系统。它包括备份节点(BackupNode)和数据节点(DataNode)的管理,以及与NameNode的通信。...

    hadoop hdfs 备份快照

    snapshot为hadoop2.1.0时新增加的功能。 主要为防止用户误删数据,和数据备份的作用 快照的对象为HDFS目录,前提是该目录是可以允许设置快照的(SnapShotable)

    基于Hadoop HDFS的分布式文件系统操作工具.zip

    基于Hadoop HDFS的分布式文件系统操作工具 项目简介 本项目是一个基于Hadoop HDFS(Hadoop Distributed File System)的分布式文件系统操作工具。它提供了一系列API和工具类,用于简化与HDFS的交互,包括文件的...

    window客户端连接hadoop hdfs,完美解决障碍

    在Windows客户端连接Hadoop HDFS时,可能会遇到各种问题,如网络不通、配置不正确、驱动不兼容等。本文将详细介绍如何在Windows环境下完美解决这些问题,实现顺利连接Hadoop分布式文件系统(HDFS)。 首先,理解...

    Hadoop HDFS分布式文件系统 常用命令汇总

    Hadoop HDFS分布式文件系统常用命令汇总 Hadoop HDFS分布式文件系统是大数据存储和处理的核心组件。作为一个分布式文件系统,HDFS提供了高可靠性、高可扩展性和高性能的存储解决方案。在使用HDFS时,经常需要执行...

    I001-hadoophdfs-mkdirs.7z

    标题"I001-hadoophdfs-mkdirs.7z"指向的是一个关于Hadoop HDFS(Hadoop Distributed File System)操作的压缩包文件,特别是关于创建目录(mkdirs)的教程或参考资料。Hadoop是Apache软件基金会开发的一个开源框架,...

    大数据--Hadoop HDFS

    ### 大数据、Hadoop与HDFS详解 随着信息技术的快速发展和互联网的普及,数据量呈爆炸性增长态势。传统的数据处理工具和技术已无法满足如此大规模数据的存储、管理和分析需求。为此,Apache Hadoop应运而生,它提供...

    Hadoop HDFS原理分析,技术详解

    "Hadoop HDFS原理分析" HDFS(Hadoop Distributed File System)是Hadoop项目的一部分,是一个分布式文件管理系统。HDFS的设计理念是为了存储和管理大量的数据,具有高容错性、可扩展性和高性能的特点。 HDFS的...

    hadoophdfs写入文件原理详解共2页.pdf.zip

    本文件“hadoophdfs写入文件原理详解共2页.pdf.zip”虽然只有短短两页,但应该涵盖了HDFS文件写入的关键流程。以下是基于该主题的详细知识解析: 1. **HDFS架构**:HDFS是由NameNode和DataNode组成的。NameNode作为...

    深入理解Hadoop HDFS高级教程.txt打包整理.zip

    在大数据处理领域,Hadoop HDFS(Hadoop Distributed File System)是核心组件之一,它为大规模数据存储提供了可扩展、高容错性的解决方案。本高级教程将深入剖析HDFS的内部机制,帮助读者掌握其核心概念和实际操作...

    基于Java的Hadoop HDFS和MapReduce实践案例设计源码

    该套源码是个人学习Hadoop HDFS和MapReduce技术的实践案例集合,采用Java语言编写,包含45个文件,涵盖34个Java源文件、4个XML配置文件、3个偏好设置文件以及1个Git忽略文件等。内容涵盖HDFS的JAVA API操作,如文件...

    Hadoop HDFS初级部分

    ### Hadoop HDFS初级部分知识点概述 #### 一、HDFS简介 **HDFS**(Hadoop Distributed File System)是Hadoop项目的核心子项目之一,它是一个分布式文件系统,旨在为海量数据提供高吞吐量的访问能力。HDFS的设计目标...

    hadoop-hdfs-fsimage-exporter:将Hadoop HDFS内容统计信息导出到Prometheus

    Prometheus Hadoop HDFS FSImage导出器 | 将Hadoop HDFS统计信息导出到包括 总数/每个用户/每个组/每个配置的目录路径/每个路径集 目录数 文件数 文件大小和大小分布(可选) 块数 文件复制(总体/每个用户摘要)...

    windows平台使用hadoop hdfs文件进行中文分词的示例代码

    在Windows平台上,利用Hadoop HDFS(分布式文件系统)处理大量数据已经成为常见的操作。本示例将详述如何使用Eclipse集成开发环境(IDE)的Hadoop插件,执行一个基于HDFS的中文分词任务,对《唐诗三百首》进行分析,...

    Hadoop hdfs文件操作,mr demo,topN demo

    在大数据处理领域,Hadoop是不可或缺的开源框架,它的核心组件包括HDFS(Hadoop Distributed File System)和MapReduce。本篇文章将详细讲解Hadoop HDFS文件操作、MapReduce(MR)示例以及如何实现TopN问题。 首先...

    HadoopHDFS架构概述推荐系统框架图

    Hadoop HDFS 架构概述推荐系统框架图 Hadoop 是什么?Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构,主要解决海量数据的存储和海量数据的分析计算问题。Hadoop 通常是指一个更广泛的概念——Hadoop ...

Global site tag (gtag.js) - Google Analytics