博客首页 → HBase

最新文章列表

hbase的replication使用

hbase-0.90.0的一个重要改进是引入了replication机制，使它的数据完整性得到了进一步的保障。虽然这一功能还不太完善，但是今后必然会变得更加重要。 hbase的replication机制很像mysql statement-based replication。它是通过WALEdit和hlog来实现的。当请求发送给master cluster时，hlog日志放入hdfs的同时进入rep ...
HBasezkHadoopMapreduceITeye 
lc_koven 评论(1) 有11604人浏览 2011-04-02 00:05

zookeeper清除日志文件工具

    zookeeper运行时间长了以后，日志会成为一个比较大的问题。比如作者压力测试hbase一周以后，zookeeper日志文件达到了10G的规模。由于zookeeper日志文件不能随意删除，因为一个长时间不更新的节点完全有可能存在于几天前的一个日志文件中。那么如何安全地删除它们呢？可以自己编写程序处理，但是zookeeper也提供给了我们一个方便的小工具：PurgeTxnLog     用 ...
HBaseEXTJavaApache 
lc_koven 评论(0) 有6094人浏览 2011-04-01 22:06

hbase开启lzo压缩

hbase只支持对gzip的压缩,对lzo压缩支持不好。在io成为系统瓶颈的情况下，一般开启lzo压缩会提高系统的吞吐量。但这需要参考具体的应用场景，即是否值 ...
HBaseHadoopJavaOpenSourceGoogle 
lc_koven 评论(2) 有10506人浏览 2011-04-01 21:23

HBase vs Cassandra: 我们迁移系统的原因

HBase vs Cassandra: 我们迁移系统的原因 原文: http://ria101.wordpress.com/2010/02/24/hbase-vs-cassandra-why-we-moved/原作者：Dominic Williams原文发布日期：February 24, 2 ...
HBaseCassandraNoSQLHadoopMapreduce 
xiaobian 评论(0) 有1683人浏览 2011-04-01 14:52

hbase 介绍

hbase 介绍 一、简介 history  started by chad walters and jim 2006.11 G release paper on BigTable 2007.2 inital HBase prototype created as Hadoop contrib 2007.10 First useable Hbase 2008.1 Hadoop b ...
HBaseHadoop网络应用数据结构NoSQL 
xiaobian 评论(0) 有1541人浏览 2011-04-01 14:51

HBase技术介绍

From:http://www.searchtb.com/2011/01/understanding-hbase.html HBase简介 HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase是Google Bigtable的开源实现，类似Google ...
HBaseHadoopMapreduce数据结构Google 
xiaobian 评论(0) 有1721人浏览 2011-04-01 14:49

HBase与BigTable的比较(翻译)

知，HBase是Google的BigTable架构的一个开源实现。但是我个人觉得，要做到充分了解下面两点还是有点困难的：一 HBase涵盖了BigTable规范的哪些部分？二 HBase与BigTable仍然有哪些区别？下面我将对这两个系统做些比较。在做比较之前，我要指出一个事实：HBase是非常接近BigTable论文描述的东西。撇开一些细微的不同，比如HBase 0.20使用ZooK ...
HBaseHadoopMapreduce数据结构配置管理 
xiaobian 评论(0) 有1975人浏览 2011-04-01 13:41

bulk-load装载hdfs数据到hbase小结

bulk-load的作用是用mapreduce的方式将hdfs上的文件装载到hbase中，对于海量数据装载入hbase非常有用，参考http://hbase.apache.org/docs/r0.89.20100621/bulk-loads.html： hbase提供了现成的程序将hdfs上的文件导入hbase,即bulk-load方式。它包括两个步骤（也可以一次完成）： 1 将文件包装成hfil ...
HBaseHadoopMapreduceXMLApache 
lc_koven 评论(15) 有26293人浏览 2011-04-01 11:36

dbthink1

<!-- Header --> Home 个人简介 a db thinker's home An Oracle DBA's thought about DB,Web Architect etc.. CommentsPosts  
HBaseCassandraNoSQLFacebookMySQL 
hellowiki 评论(0) 有1004人浏览 2011-03-31 23:12

Cassandra Vs HBase

Cassandra vs HBaseBy Vaibhav Puranik Translated By Jametong我们是一家广告网络公司.我们需要存储展示与点击信息.我们在为我们的新项目评估多个不同的大批量数据(或nosql,或任何你喜欢的称呼)系统.过去8个月中,我们一直在一个测试产品上使用HBase,并且满意它的表现,但是,最近Cassandra的风头很高,因此,我们决定对它做个测试.我认为 ...
HBaseCassandraHadoopFacebook数据结构 
xiaobian 评论(1) 有2106人浏览 2011-03-31 17:27

Hadoop 状态分析系统Chukwa

http://hi.baidu.com/ops_bd/blog/item/5f39abde48a10f3f10df9b12.html     Apache 的开源项目 hadoop， 作为一个分布式存储和计算系统，已经被业界广泛应用。很多大型企业都有了各自基于 hadoop 的应用和相关扩展。当 1000+ 以上个节点的 hadoop 集群变得常见时，集群自身的相关信息如何收集和分析呢？针对这 ...
Hadoop数据结构HBaseMySQL企业应用 
xiaobian 评论(0) 有1556人浏览 2011-03-31 16:50

Hadoop知识分享文稿 ( by quqi99 )

                            Hadoop知识分享文稿 ( by quqi99 ) 作者：张华 写于：2010-08-15   发表于：2011-03-31 版权声明：可以任意转载，转载时请务必以超链接形式标明文章原始出处和作者信息及本版权声明 ( http://blog.csdn.net/quqi99 ) 内容目录 目 录 1 hadoop 理论基础 3 1.1 h ...
HadoopSSHMapreduceApacheHBase 
javavsnet 评论(0) 有1473人浏览 2011-03-31 15:45

HBase迁移数据方案1（两个集群不能通信）

前一篇文章里面介绍了 两个可以直接通信的集群之间很容易拷贝数据从而迁移HBase数据。   但是如果两个集群在不同的网络，没法通信呢？   今天测试了一个方案：   把某个表(table1)从集群1迁移到集群2（两个集群互相看不见），步骤如下   1、拷贝集群1的表文件到本地磁盘 : /app/cloud/hadoop/bin/hadoop fs -copyToLocal /hba ...
HBaseHadoopjruby 
iammonster 评论(0) 有3854人浏览 2011-03-30 18:23

监控hbase集群

对于稳定维护hbase，全面掌握分布式系统中的每一台主机状况，以及检测系统可能或正在出现的瓶颈，强大的监控是必须的。 比如： 　　region数、block住的内存大小、请求数、命中率、flush/split/compact次数和时间、读写响应时间分布、storefile数目、jvm状况、 本文介绍将hbase监控加入ganglia中 hbase本身集成了jmx进行数据采集，这也是沿用had ...
HBaseHadoopApacheJVMHTML 
lc_koven 评论(3) 有10118人浏览 2011-03-29 17:48

Hadoop NameNode单点问题解决方案之一 AvatarNode

翻译自Facebook Hadoop架构师(Dhruba Borthakur)的一篇文章 我们遇到的情况 Hadoop NameNode存在单点问题。这个问题会影响分布式平台24*7运行。先说说我们的情况 ...
HadoopHBase设计模式FacebookLinux 
weilaiyxj 评论(2) 有8936人浏览 2011-03-29 17:16

hbase-0.20.6数据写入服务端代码性能瓶颈分析

目前我的实际配置是4台8核CPU，装4个regionServer，同时读写CPU load维持在4左右，iostat查看，数据写入率也很低。 所以只能从代码层面粗略分析下： 其实hbase写入的过程大方向还是比较简单的： 1.如果有必要刷新MemStoreMemory，这个过程会短暂的持有锁，因为需要做一些CPU中的计算，（我个人觉得问题不是很大），因为作为大头的compactionReque ...
HBase 
lingqi1818 评论(0) 有1763人浏览 2011-03-29 16:33

Hive 与 Hbase 的简单区别

Hive是為簡化編寫MapReduce程序而生的，使用MapReduce做過數據分析的人都知道，很多分析程序除業務邏輯不同外，程序流程基本一樣。在這種情況下，就需要Hive這樣的用戶編程接口。Hive本身不存儲和計算數據，它完全依賴於HDFS和MapReduce，Hive中的表純邏輯表，就是些表的定義等，也就是表的元數據。使用SQL實現Hive是因為SQL大家都熟悉，轉換成本低，類似作用的Pig就不 ...
HBaseMapreduceSQL搜索引擎 
xiaobian 评论(0) 有4157人浏览 2011-03-28 11:10

hbase 源码解析之master篇2

HMaster的RPC接口，分两类：   HMaster与RegionServer通讯接口，总共只有两个 -->regionServerStartup: 当regionserver启动时会调用该接口 -->将发请起求的RS的信息写入serverInfo，注意这里的hostname为master所识别的hostname，而非RS告诉master的 -->调用ser ...
HBasezk数据结构Cache 
lc_koven 评论(5) 有3364人浏览 2011-03-27 16:52

hbase 源码解析之master篇1

master启动过程：   -->首先初始化HMaster -->创建一个rpcServer，其中并启动 -->启动一个Listener线程，功能是监听client的请求，将请求放入nio请求队列，逻辑如下： -->创建n个selector，和一个n个线程的readpool，n由"ipc.server.read.threadpool.si ...
HBase工作配置管理UP 
lc_koven 评论(2) 有8648人浏览 2011-03-24 23:56

Hadoop Hbase适合存储哪类数据？

Hadoop Hbase适合存储哪类数据？ 最适合使用Hbase存储的数据是非常稀疏的数据（非结构化或者半结构化的数据）。Hbase之所以擅长存储这类数据，是因为Hbase是column-oriented列导向的存储机制，而我们熟知的RDBMS都是row- oriented行导向的存储机制（郁闷的是我看过N本关于关系数据库的介绍从来没有提到过row- oriented行导向存储这个概念）。 ...
HBaseHadoop数据结构PythonGoogle 
lovnet 评论(0) 有913人浏览 2008-04-27 22:37

最近博客热门TAG

Oracle(49876) MySQL(37268) SQL Server(17623) Access(9329) DB2(4271) Redis(3181) Sybase(2414) 数据挖掘(2098) MongoDB(2014) SQLite(1817) PostgreSQL(1635) HBase(1492) NoSQL(1000) HSQLDB(620) Informix(581) Derby(578) Cassandra(375) PowerBuilder(333) CouchDB(113) TokyoCabinet(87)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics