博客首页 → hdfs

最新文章列表

hadoop学习笔记之一：初识hadoop请在这里输入日志标题

转自淘宝QA组技术博客 引言 最近了解到淘宝使用hadoop的项目多了起来，hadoop对于许多测试人员来说或许是个新鲜玩儿，因此，把自己之前整理的学习 ...
hadoopHDFSMapReduce 
yypiao 评论(0) 有952人浏览 2011-12-21 17:31

Hadoop配置的关键（Hdfs部分）

Hadoop配置的关键（Hdfs部分） Hadoop配置的关键（Hdfs部分）指的是namenode和datanode几点的区别： 相同点：           1.安装hadoop相同           2.安装jdk相同（注意：jdk1.6以上）   不同点：           1.namenode和datanode的/etc/hosts中指定的内容不同：         ...
hadoopnamenodedatanodehdfscore-site.xml 
zhangpuego 评论(0) 有726人浏览 2011-12-02 10:24

HDFS study

http://varyall.iteye.com/blog/763783 http://www.docin.com/p-203214495.html http://blog.csdn.net/fly542/article/details/6817444 《hadoop实战指南》 HDFS实验 设计前提与目标 体系结构 保证可靠性 常用操作 列 ...
hadoophdfs 
chnsslf 评论(0) 有970人浏览 2011-11-16 21:18

在不同版本hdfs集群之间转移数据

本文仅供记录一下程序心得：     很多人会有这样一个需求：将一个hdfs集群上的数据写入另一个hdfs集群所在的hbase数据库。通常情况下两个hdfs集群的版本差距并不大，这样的程序会很容易写。但有时会跨大版本。比如作者所在的厂子，数据都在基于hadoop0.19.2版本修改的hdfs集群上，要将这样的数据导入版本为0.20.2+的hdfs集群，就不能使用同一个hadoop jar包来完成了。如 ...
javahdfshbase 
lc_koven 评论(3) 有7206人浏览 2011-10-26 18:56

php通过thrift获取hadoop资源

php可以通过thrift连接hbase，同样php可以通过thrift读取hadoop资源(HDFS资源)。 准备： php需要thrift的libary packages:hadoop-0.20.2\src\contrib\thriftfs\gen-php 源码： <?php $GLOBALS['THRIFT_ROOT'] = ROOTPATH . '/lib/thrift'; ...
hadoopthriftphpjavahdfs 
zhangcs053 评论(4) 有5311人浏览 2011-10-25 11:36

学习 Hadoop 源代码分析（一零）

学习 Hadoop 源代码分析（一零） 在继续分析DataNode之前，我们有必要看一下系统的工作状态。启动HDFS的 时候，我们可以选择以下启动参数： 启动选项枚举 StartupOption    FORMAT  ("-format")：格式化系统    REGULAR ("-regular")：正常启动    BACKUP  (& ...
hadoophdfsdatastorage 
liaobinxu 评论(0) 有1965人浏览 2011-10-12 23:05

hadoop的hdfs的namnode源码分析(一)

RandomAccessFile 此类的实例支持对随机访问文件的读取和写入。随机访问文件的行为类似存储在文件系统中的一个大型 byte 数组。存在指向该隐含数组的光 ...
hadoophdfsnamenode源码分析 
liaobinxu 评论(0) 有4409人浏览 2011-10-09 22:22

Hadoop-HDFS分布式环境搭建

最近在考虑一个移动互联网的AppStore项目，就应用及游戏如何存储，对多种内容存储容器进行了选型，其中也包括了对HDFS的考察，本篇是对HDFS的分布式环境搭建进行一个备忘录，以备日后参考。   HDFS简单介绍 HDFS的英文全称是Hadoop Distributed File System，顾名思义，就是Hadoop分布式文件系统，是根据Google的GFS的论文，由Doug C ...
HadoopHDFSNOSQLHDFS教程 
nada_forever 评论(0) 有2745人浏览 2011-10-06 18:23

HDFS:解决HDFS跨版本兼容问题

    HDFS提供用户客户端服务，在协助用户操作集群数据的同时，内部也包含大量的控制逻辑。这样我们就可以把HDFS客户端理解为两部分:一部分提供客 ...
hdfsclassloaderhadoop 
langyu 评论(0) 有5025人浏览 2011-09-21 11:10

HDFS:NameNode的Proxy该怎样做

    在上篇blog中提到了HDFS的功能扩展点：Service plugin，它存在于NameNode和DataNode中。HDFS赋予它们可以操作这两个大对象的能力，这也完全提供我们在HDFS ...
hdfsnamenode 
langyu 评论(6) 有4025人浏览 2011-09-05 11:10

Hadoop学习笔记－入门伪分布式配置（Mac OS,0.21.0,Eclipse 3.6）

说实话，Hadoop的入门学习配置比我想像中的要简单，当然，Hadoop本身是比较复杂的（那么厚厚的一本书就能说明问题）。 开发环境：Mac OS（Unix） Hadoop版本：0.21.0 Eclipse版本: 3.6.0 第一步：下载Hadoop 下载地址：http://hadoop.apache.org/common/releases.html#Download 注意，当前21版本的Had ...
分布式HadoopHDFS配置Unix 
andy_ghg 评论(3) 有24933人浏览 2011-09-04 22:47

HDFS: EditLog的完整性增强

　　用户对HDFS的每步操作都会先记录到NameNode磁盘中的EditLog文件中。为了避免频繁操作磁盘对用户操作效率的影响，HDFS为EditLog在内存中分配两个buffer:一个用于接收用户操作指令；另外一个在用户想要刷新第一个buffer内数据时开始担当接收用户指令的职责。之后两块buffer不断切换角色，进行着上述操作。 　　正是因为有内存中buffer的存在，当管理员shutdo ...
namenodehdfseditlog 
langyu 评论(0) 有5334人浏览 2011-09-04 15:42

HDFS用户指南

转载自 ---- http://www.blogjava.net/killme2008/archive/2008/08/14/222097.html   HDFS用户指南 原文地址：http://hadoop.apache.org/core/docs/current/hdfs_user_guide.html 译者：dennis zhuang(killme2008@gmail.com),有 ...
HadoopHDFS 
zhangyiqian 评论(0) 有1196人浏览 2011-08-19 12:04

HDFS文件系统结构解析

转载自 ---- http://weilaiyxj.iteye.com/blog/933553   NameNode节点是就是HDFS的大脑。想了解HDFS文件系统，必须了解大脑结构。 咱们就从NameNode节点开始。NameNode类中，关于HDFS文件系统的存储和管理都交给了FSNamesystem负责。下面介绍一下 FSNamesystem的逻辑组成和类图。    1. ...
hdfs 
zhangyiqian 评论(0) 有755人浏览 2011-08-19 12:00

hadoop 基本文件操作命令

1.将本地文件拷贝到 hdfs 文件系统中 bin/hadoop fs -copyFromLocal /server/bin/nutch/urls/url.txt   urls 2.将hdfs中的文件拷贝到本地路径 bin/hadoop fs -copyToLocal  urls(hdfs文件)  /opt/index (本地路径) 2.查看hdfs文件系统内文件列表 bin/ha ...
hadoophdfscopyfromlocal 
黎明lm 评论(1) 有2236人浏览 2011-08-18 16:01

一个HDFS Error

  ERROR: hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException: Bad connect ack with firstBadLink While running a job once I got the following exception 10/12/10 21:09:05 INFO hd ...
HadoopHDFS 
standalone 评论(0) 有1528人浏览 2011-06-11 21:53

HDFS中不起作用的buffer size

/** * Create a new output stream to the given DataNode. * @see ClientProtocol#create(String, FsPermission, String, boolean, short, long) */ DFSOutputStream(String src, FsPermiss ...
HDFS 
standalone 评论(1) 有1452人浏览 2010-05-12 11:38

HDFS

Run hadoop fsck / will give you summary of current HDFS status including some useful information :  Minimally replicated blocks:   51224 (100.0 %)  Over-replicated blocks:        0 (0.0 %)  Under-repli ...
HadoopHDFSCloud 
standalone 评论(0) 有1065人浏览 2010-01-27 09:26

Exceptions in HDFS

Log them here for later analysis.     2009-08-26 01:17:37,798 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in receiveBlock for block blk_5223350282761282817_281131 java.nio.channe ...
HadoopHDFS 
standalone 评论(1) 有4045人浏览 2009-08-26 09:57

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics