hdfs热门博客列表 - ITeye博客频道 - 第6页

博客专栏推荐

本月博客排行

年度博客排行

设计一套实时分布式日志流收集平台(tail Logs --->HDFS)

目前业界大概这么几个开源的分布式日志系统，notify+rsync，Facebook 的Scribe，apache的chukwa，linkin的kafa和cloudera的flume。之所以自己设计一台这么一个平台，而没有采用开源，主要是基于这么考虑 1、以上这几种开源日志系统，虽然提供了日志tail实时输出的功能，但是在tail进程宕掉后，无法从收集的点开始收集，只能重新开始，这样 ...

HDFS Hadoop

wbj0110 评论(0) 有1373人浏览 2014-02-20 08:56

HDFS读写数据

一、文件的打开 1.1、客户端 HDFS打开一个文件，需要在客户端调用DistributedFileSystem.open(Path f, int bufferSize)，其实现为： public FSDataInputStream open(Path f, int bufferSize) throws IOException { return new DFSClient.DFS ...

hadoop hdfs

thd52java 评论(0) 有1993人浏览 2013-11-10 12:29

Hadoop分布式文件系统HDFS和OpenStack对象存储系统Swift有何不同？

1. HDFS使用集中式单一节点架构(NameNode)来维护文件系统元数据，而在Swift中，元数据分布在整个集群中并拥有多个副本。注意：集中式元数据存储使HDFS存在性能、单点故障和扩展性问题，因此规模越大就性能越低，就越容易不可用，就越难扩展甚至不能扩展，所幸的是HDFS2使用NameNode HA和HDFS Federation解决了这三个问题。 2. Swift在设计时考虑到了多租户 ...

HDFS HADOOP Swift Java OpenStack

yangshangchuan 评论(1) 有5474人浏览 2013-11-04 04:48

HDFS写文件过程源码分析

HDFS写入文件的重要概念 HDFS一个文件由多个block构成。HDFS在进行block读写的时候是以packet(默认每个packet为64K)为单位进行的。每一个packet由若干个chunk（默认512Byte）组成。Chunk是进行数据校验的基本单位，对每一个chunk生成一个校验和(默认4Byte)并将校验和进行存储。在写入一个block的时候，数据传输的基本单位是packet，每 ...

Hadoop hdfs

Vincent_Hu 评论(0) 有2069人浏览 2013-10-19 14:59

使用Fuse挂载HDFS

前提，已经安装好hadoop集群 1. 安装fuse 这里可以编译安装或yum安装 Shell代码 yum install fuse fuse-libs fuse-devel 2. 安装ant 使用yum安装

hdfs

xiajs 评论(0) 有1981人浏览 2013-09-27 15:28

Hadoop 2.1.0 beta HDFS SnapShot 介绍

Hadoop 2.1.0 Beta 版 HDFS 提供了SnapShot 模块。用于数据备份、回滚。已防止因用户的失误操作导致集群出现问题。本文先做一个简单的介绍，其他的文章在来介绍Snapshot 本身的实现机制。首先 HDFS 的Snapshot 大概有以下几个特性： Snapshot 创建的时间复杂度为O(1)，但是不包括INod ...

Hadoop 2.0 hadoop HDFS 大数据

jackchan 评论(0) 有915人浏览 2013-08-27 22:22

eclipse 上传文件到hadoop

其实很简单，只要配置正确，就行直接给代码吧 package com.younglibin.hadoop; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.a ...

hadoop eclipse java hdfs

younglibin 评论(0) 有5017人浏览 2013-08-15 17:41

Hadoop简介

Hadoop是Apache 下的一个项目，由HDFS、MapReduce、HBase、Hive 和ZooKeeper等成员组成。其中，HDFS 和MapReduce 是两个最基础最重要的成员。 HD ...

hadoop map reduce hdfs

welcome66 评论(0) 有1061人浏览 2013-07-03 12:28

Hadoop深入学习：HDFS分布式文件系统的体系结构

Hadoop之所以成为能够让用户可以轻松架构和使用的分布式计算平台，用户可以在其上管理、开发和并行处理大数据的应用，其根本就是由于HDF ...

HDFS Hadoop分布式文件系统

flyingdutchman 评论(0) 有2855人浏览 2013-05-24 13:48

java api 操作hdfs文件

package com.bfd.test; import java.io.IOException; import java.util.ArrayList; import java.util.Iterator; import java.util.List; import org.apache.commons.lang.math.NumberUtils; import org.ap ...

java hdfs 读写删除文件

ganliang13 评论(0) 有1430人浏览 2013-05-23 16:48

hdfs在手机下载平台中的应用

在我们的手机应用商店项目中，随着第三方应用的增长，传统的文件系统已经无法满足下载包的存储，经过初步考虑，我们打算使用hdfs来存储我们的下载包。 hdfs作为一种分布式存储方案，在可扩展性，稳定性方面有很大的优势，当磁盘不够时，只需要添加datanode,不影响下载服务，当一台datanode机器网络或硬件出现问题，也不会影响下载服务，hdfs会自动把出问题的datanode上的数 ...

hdfs java 分布式编程语言

bianchenglangzi 评论(0) 有1048人浏览 2013-05-06 16:48

Hypertable on HDFS(hadoop) 安装

Hypertable on HDFS(hadoop) 安装 Hadoop - HDFS 安装指南过程 4.2. Hypertable on HDFS 创建工作目录 $ hadoop fs -mkdir /hypertable $ hadoop fs -chmod 777 /hypertable 安装 Java 运行环境 yum ins ...

netkiller hypertable hdfs hadoop hql

netkiller.github.com 评论(0) 有1139人浏览 2013-04-23 19:01

Hadoop HDFS RPM包安装方案

文章出处：http://netkiller.github.io/storage/hdfs.html 5.2. Hadoop HDFS RPM包安装方案你是不是感觉hadoop 安装太复杂呢？下面是无障碍，无门槛安装方案，非常适合不懂java得系统管理。 HDFS: NameNode ：管理节点 DataNode ：数据节点 Se ...

netkiller hadoop hdfs

netkiller.github.com 评论(0) 有1303人浏览 2013-04-23 15:37

hadoop hdfs JAVA API 基本文件操作

本文主要介绍了 HADOOP HDFS JAVA API 对HDFS中的文件操作，如：创建文件，将文件上传到HDFS，从HDFS下载文件到本地，HDFS文件删除等话不多说，上代码： import java.io.File; import java.io.FileInputStream; import java.io.FileOutputStream ...

hadoop hdfs

suxain 评论(0) 有5612人浏览 2013-04-13 20:33

Hypertable + Ceph 分布式文件系统

我最近在研究Hypertable， Hypertable 安装分为单机安装与分布式文件系统，单击安装主要用于开发环境。生产环境一般都是采用分布式文件系统。Hypertable 系统以下几种组合。 Hypertable + HDFS（Hadoop） Hypertable + KFS Hypertable + MapR Hypertable + ThriftBroker ...

netkiller Hypertable ceph HDFS Hadoop

netkiller.github.com 评论(0) 有1879人浏览 2013-04-10 18:36

Hadoop HDFS架构和设计

引言　　Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现 ...

hadoop hdfs block replication dfs dfsadmin

greatwqs 评论(0) 有2975人浏览 2013-04-01 19:34

查看HBase表在HDFS中的文件结构

为了查看HBASE表在HDFS中的文件结构. 在HBASE中建立一张表结构如下: {NAME => 'USER_TEST_TABLE', MEMSTORE_FLUSHSIZE => '67108864', MAX_FILESIZE => '1073741824', FAMILIES => [ {NAME => 'info', BLOOMFILTER ...

HBase hadoop HDFS .regioninfo hbase表结构

greatwqs 评论(3) 有26672人浏览 2013-03-30 18:41

读取hdfs文件系统中的文件

从hdfs中下载文件,下载的文件默认存储在E:盘下,如需修改下载路径,只需修改downloadPath,具体代码: public static void readFromHdfs(String filename,String downloadPath) throws FileNotFoundException,IOException { String dst = "hdfs: ...

hadoop hdfs java

sunasheng 评论(0) 有889人浏览 2013-03-09 20:46

删除hdfs文件系统中的数据文件

删除hdfs文件系统中的数据文件,要提供的是文件名称,具体代码如下: /** 从HDFS上删除文件 */ public static void deleteFromHdfs(String deleteFile) throws FileNotFoundException,IOException { String dst = "hdfs://192.168.248.129:90 ...

Hadoop HDFS java

sunasheng 评论(0) 有1585人浏览 2013-03-09 20:44

本地文件上传至hdfs文件系统

将本地文件存储到Hadoop中的hdfs中去,uploadPath问本地文件的路径,hdfsFileName为存入hdfs中的文件名, 一般路径的格式为: String hdfsPath="hdfs://192.168.248.129:9000/"+hfdsFileName 具体代码: public static void save(String upload ...