`
bojiang
  • 浏览: 15008 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论
文章列表
声明:本博客所有文章均本人原创,首发自个人博客http://jiangbo.me,此处同步转载

HDFS RAID

    博客分类:
  • HDFS
引自个人blog: http://jiangbo.me/blog/2012/12/21/hdfs-raid/     一、背景 HDFS是构建在普通机器上的分布式文件系统,而这类系统需要解决的一个首要问题就是容错,允许部分节点失效。而为了解决数据的可靠性,HDFS采用了副本策略。默认会为所有的block存放三个副本(具体参见HDFS设计文档)。 副本机制能够有效解决部分节点失效导致数据丢失的问题,但对于大规模的HDFS集群,副本机制会带来大量的存储资源消耗。例如为了存储1PB的数据,默认需要保留3个副本,这意味着实际存储所有副本需要至少3PB的空间。存储空间浪费达到200%。减小浪费的方 ...
原文引自:http://jiangbo.me/blog/2012/10/23/mount-hdfs-with-fuse-dfs/ 介绍 Hadooop源码中自带了contrib/fuse-dfs模块,用于实现通过libhdfs和fuse将HDFS mount到*inux的本地。 编译 环境 Linux: 2.6.18-164.el5 x86_64 JDK: 1.6.0_23 64bit Hadoop: 0.19.1 下面假设源码目录为$HADOOP_SRC_HOME Ant: 1.8.4 GCC: 4.1.2(系统默认) 编译libhdfs 修改configure执行权限 $chmo ...
原文发表于个人博客:http://jiangbo.me/blog/2011/08/19/velocity_overview/ 一、概述 Velocity模板引擎处理机制分为五个基本步骤: 引擎初始化,通过设置的引擎属性初始化引擎,包括国际化支持,ResourceLoader设置,字符编码等。 获 ...
原文首发自个人博客,http://jiangbo.me/blog/2011/08/26/velocity_introspection/ 此处同步转载 一、何为Introspection Instrospection(自省,xing,“吾日三省吾身”的“省”)源自哲学术语,指的是一种自我检视的精神行为。 Introspection is the self-observation and reporting of conscious inner thoughts, desires and sensations. It is a conscious and purposive ...
Global site tag (gtag.js) - Google Analytics