博客首页 → HBase

最新文章列表

hbase中region的flush

都知道memstore大小到一定程度后会flush到disk上去，这个大小是由hbase.hregion.memstore.flush.size定义的。flush的时候也不是说马上就flush出去，会有个检查，就是下面这个方法了：   code：hbase 0.20.6， MemStoreFlusher.java   /* * A flushRegion that checks s ...
HBase 
standalone 评论(0) 有8784人浏览 2011-01-20 15:52

impact of total region numbers?

这几天tune了hbase的几个参数，有些有意思的结果。具体看我下面的邮件吧。   For example, I have total some data and I can tune hbase.hregion.max.filesize to increase/decrease total region number, rite? I want t ...
hadoophbasecloud 
standalone 评论(0) 有925人浏览 2011-01-19 16:31

Will all HFiles managed by a regionserver kept open

code 没看仔细，所以在hbase 的mail list上面问了这么个问题。其实再仔细看一下big table的paper就知道肯定是open的。现在分析的结果是hbase random read的performance决定在几个方面： 1）HDFS的seek操作，平均每次random get导致几次seek？ 2）memory copy; 这个问题尤其在data locality差的时候，比 ...
HBase 
standalone 评论(0) 有1467人浏览 2011-01-19 10:29

细说HBase怎么完成一个Get操作 (server side)

上面有一篇记录了client边的过程，现在看看RegionSever这边怎么进行下去。 经过HBaseRPC后，调用传递到HRegionServer.get(byte[] regionName, Get get).     HRegion region = getRegion(regionName); return region.get(get, getLockFromId(get.get ...
HBasecloud 
standalone 评论(0) 有4313人浏览 2011-01-14 16:33

zookeeper的简易安装配置

官网的user guide在这： http://hadoop.apache.org/zookeeper/docs/current/zookeeperStarted.html#sc_RunningReplicatedZooKeeper   zookeeper的配置只需要更改两个文件 一个是 ./conf/zoo.cfg 一个是zoo.cfg中配置的dataDir的目录下的myid文件，这个m ...
HadoopHBasezkvimJSP 
chakey 评论(0) 有3067人浏览 2011-01-12 17:24

分布式系统漫谈一 ——　Google三驾马车: GFS,mapreduce,Bigtable

分布式系统漫谈一 ——　Google三驾马车: GFS,mapreduce,Bigtable (2007-11-08 17:01:41) 标签：it ...
MapreduceGoogleHadoopHBaselucene 
andylin02 评论(0) 有2361人浏览 2011-01-11 20:28

HBase的安装、配置、管理与编程

环境准备需要环境：PC-1 Suse Linux 9  10.192.1.1PC-2 Suse Linux 9  10.192.1.2PC-3 Suse Linux 9  10.192.1.3PC-4 Suse Linux 9  10.192.1.4其中，PC-1做namenode节点，PC-2、PC-3和PC-4做datanode节点。并且已经安装成功Hadoop-0.20.1及以上版本。安装包准 ...
配置管理HBase编程HadoopSuSE 
085567 评论(0) 有1214人浏览 2011-01-10 11:39

Hbase配置和开发中的几个注意事项

在配置Hadoop和Hbase的过程中，虽然官方网站上有很多丰富的文档，但是常常仍然会有一些细枝末节的问题，成为阻碍项目配置成功以及后续开发的绊脚石。下面就记录几个Hbase配置以及开发过程中需要注意的事项： (1)修改节点主机名的问题在配置文件中使用机器主机名（如WAMDM1）作为通讯方式的时候，需要修改2个文件：/etc/hosts 以及 /etc/hostname (2)修改Classpa ...
HBaseEclipseHadoopXML 
085567 评论(0) 有1176人浏览 2011-01-10 11:23

Hadoop代码分析（一）

本来是要复习考试的，但是看得那个什么编译原理的书就头大。。最近搜了一下hadoop的源码分析，在javaeye上面有一个blog写的不错：http://caibinbupt.iteye.com/blog/262412，毕竟是别人的，自己原来是看过hadoop源码但是没有自己总结过，现在再重新从头整理一下。 hadoop是apache就google提出来的map/reduce分布式计算框架的 ...
HadoopHBase算法框架数据结构 
jiji879 评论(0) 有1130人浏览 2011-01-09 14:09

NoSql选型：Hbase+hadoop想说爱你不容易之单机配置(二)

Hbase+hadoop想说爱你不容易之单机配置(一)，看起来很容易啊，怎么不容易呢？ 过程是这样的，先前hbase-site.xml文件是这样配置的 <value>hdfs://129.42.13.118:9000/hbase</value> 于是得到如下错误 java.lang.IllegalArgumentException: Wrong FS: hdfs://12 ...
HBaseHadoopNoSQLJavaApache 
lxiaodao 评论(0) 有3540人浏览 2011-01-06 19:56

NoSql选型：Hbase+hadoop想说爱你不容易之单机配置(一)

Hbase+hadoop单机配置经历     Hbase默认使用本地文件系统，如果使用hdfs，就需要修改一下配置文件。官方建议不要修改hbase-default.xml的默认配置，而是采用hbase-site.xml里面加入配置进行覆盖相同的配置项。我觉得这个默认规则很好，保持hbase-default不变，修改项全部在hbase-site里面，查阅起来很方便。如果hbase-default修改多 ...
HBaseHadoopNoSQLXSLXML 
lxiaodao 评论(0) 有2771人浏览 2011-01-06 19:55

hadoop的运行原理

接上篇博客写的.今天现简单介绍下hadoop的运行原理. hadoop的配置在这里我就不详细讲了，网上关于这方面的文章很多，有单机版的，也有集群的。 hadoop主要由三方面组成:1、HDFS 2、MapReduce 3、Hbase Hadoop框架中最核心的设计就是：MapReduce和HDFS。MapReduce的思想是由Google的一篇论文所提及而被广为流传的， 简单的一 ...
HadoopMapreduce多线程HBase配置管理 
p_x1984 评论(2) 有12833人浏览 2011-01-06 09:52

hadoop

Hadoop的概要介绍 Hadoop，是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。 简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。该平台使用的是面向对象编程语言Java实现的，具有良好的可移植性。  Hadoop的发展历史        Hadoop是Doug Cu ...
HadoopMapreduceGoogleHBase网络应用 
mxdxm 评论(0) 有1990人浏览 2010-12-31 17:24

hbase性能相关选项说明

首先我们简要说明下hbase的运行过程： 1.新数据在hdfs中生成hlog的日志文件,同时插入到内存的memtable中 2.当memtable的大小超过hbase.hregion.memstore.flush.size的时候，将会把数据刷新到hdfs中存成hfile格式 3.当hfile超过hbase.hregion.max.filesize，则会split成2个hfile文件，根据region ...
HBase 
lingqi1818 评论(0) 有1856人浏览 2010-12-30 16:10

Dynamo VS Bigtable

存储云结构比较——Dynamo VS Bigtable     比较典型的存储云基础系统有Amazon 公司的Dynamo 系统与Google 公司的Bigtable 系统，这两种系统不但已经开始是商用（参见S3 服务和 Google App Engine 服务），而且都公开了比较详细的实现论文（尤其dynamo 系统论文格外详尽——可见Amazon 公 ...
云计算数据结构HBase虚拟机应用服务器 
yinwufeng 评论(0) 有1853人浏览 2010-12-28 09:57

Hadoop源代码分析 针对包和类（收藏）

  Hadoop的升级和回滚   搞定Shindig和HBase的接口   Hadoop源代码分析（重读GFS的文章）   Hadoop源代码分析（MapReduce概论）  
HadoopMapreduceHBaseApache 
liuxinglanyue 评论(0) 有1287人浏览 2010-12-28 09:02

hbase初探之二(转）

在看wiki时有这样的字样： HBase: Bigtable-like structured storage for Hadoop HDFS 觉得不对劲，明明是说是面向列族儲存的（希疏的数据），怎么又说成是结构化儲存呢？今天在别人blog得到确认。 Hadoop Hbase适合存储哪类数据？(转) 今天在看中科院家伙的文章说是：半结构化或非结构化数据 的结构化存储（see csdn ...
HBaseHadoopBlog 
leibnitz 评论(0) 有870人浏览 2010-12-27 23:23

lucene + hadoop 分布式搜索运行框架

lucene + hadoop 分布式搜索运行框架 Nut 1.0a8 [url]http://code.google.com/p/nutla/ [/url] Nut开发环境搭建(虚拟机下hadoop0.20.2+zookeeper3.3.1+hbase0.20.6开发环境的搭建) http ...
框架luceneHadoopHBasememcached 
sealbird 评论(0) 有1602人浏览 2010-12-24 11:34

基于Hadoop的Hbase环境搭建

转：http://www.tech126.com/hadoop-hbase/ 基于现有的Hadoop集群，来搭建Hbase的环境 整个过程还是比较简单的 1. 下载Hbase源码，并解压 cp hbase-0.20.6.tar.gz /opt/hadoop/cd /opt/hadoop/tar zxvf hbase-0.20.6.tar.gzln -s hbase-0.20.6 hb ...
HBaseHadoopzkJSPJDK 
liuxinglanyue 评论(0) 有1318人浏览 2010-12-22 20:47

[转] KFS,一个克隆GFS的文件系统

KFS（KOSMOS DISTRIBUTED FILE SYSTEM），一个类似GFS、Hadoop中HDFS 的一个开源的分布式文件系统。 PS: google的三大基石 gfs,bigtable,map-reduce 相对应的开源产品 gfs:kfs(据传google创史人的同窗所创)，hdfs(hadoop的子项目) bigtable:hbase(hadoop的子项目)，Hypertable ...
HadoopLinuxHBaseGoogleMapreduce 
varsoft 评论(0) 有872人浏览 2008-06-27 00:08

最近博客热门TAG

Oracle(49876) MySQL(37268) SQL Server(17623) Access(9329) DB2(4271) Redis(3181) Sybase(2414) 数据挖掘(2098) MongoDB(2014) SQLite(1817) PostgreSQL(1635) HBase(1492) NoSQL(1000) HSQLDB(620) Informix(581) Derby(578) Cassandra(375) PowerBuilder(333) CouchDB(113) TokyoCabinet(87)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics