博客首页 → HBase

最新文章列表

常用命令记录下

hadoop namenode -format start-all.sh hadoop dfs -mkdir input hadoop fs -ls hadoop dfs -rmr output/ hadoop dfs -copyFromLocal ./conf/* input/ hadoop jar hadoop-0.20.2-examples.jar wordcount inp ...
HadoopHBaseJSPWeb 
pengpeng 评论(0) 有848人浏览 2011-04-15 19:18

hbase的缺陷

      hbase 的并发读写是比较差得；原因如下：   1>顺序存储结构，而且一个机器只有一个HRegionServer来提供RPC服务；多线程写数据时：多个线程有可能会路由到同一个RegionServer上，导致竞争服务的现象；没有分布式的优势；   2>r如果内存中的memstore大于flush.size就会写到磁盘，如果磁盘文件大于filesize，就会spl ...
HBase多线程数据结构 
pengpeng 评论(0) 有1158人浏览 2011-04-15 19:16

Region Server意外退出之后...

早晨上班好好的，突然nagios报出一台regionserver挂了。顿时忙碌起来。 上去一看，从log中看到这样一条信息 2011-04-08 04:02:22,083 ERROR org.apache.hadoop.hbase.regionserver.HRegionServer: ZooKeeper session expired 之后， regionserver就理直气壮地退 ...
HBasezkHadoopApachenagios 
杨俊华 评论(0) 有1919人浏览 2011-04-13 22:53

Git 实战

  1.登录GitHub账号，将HBase tm-5的版本做一份fork Fork后，就相当于从原来的版本中copy一份，之后，就可以在上面做任何的改动而不影响他人了。 2. 配置GitHub 这里，需要将本地机器的ssh public key设置到GitHub的用户中。详细请看
GitHBaseSSHUbuntu配置管理 
杨俊华 评论(0) 有1452人浏览 2011-04-13 22:51

利用Splunk收集HBase集群日志

什么是splunk Splunk是日志界的google。支持任何服务器产生的日志，其对日志进行处理的方式是进行高效索引之后让管理员可以对日志中出现的各种情况进行搜索，并且通过非常好的图形化的方式展现出来。让管理员彻底从繁琐的ssh，grep中解放出来。 我们可以通过配置splunk，收集cluster内的HBase/Hadoop以及一切由log4j生成的日志。 1. 安装splu ...
HBaselog4j配置管理HadoopSSH 
杨俊华 评论(0) 有2183人浏览 2011-04-13 22:48

[翻译]HBase 架构101 –预写日志系统 (WAL)

  什么是预写日志WAL? 之前的文章我们简单介绍了HBase的存储结构。其中提到了预写日志。这里，我们要介绍它的实现细节，所有的描述都基于HBase 0.20. ...
HBaseHadoop数据结构应用服务器Mapreduce 
杨俊华 评论(0) 有2066人浏览 2011-04-13 22:45

hbase中的缓存的计算与使用

      hbase中的缓存分了两层：memstore和blockcache。       其中memstore供写使用，写请求会先写入memstore，regionserver会给每个region提供一个memstore，当memstore满64MB以后，会启动flush刷新到磁盘。当memstore的总大小超过限制时（heapsize * hbase.regionserver.globa ...
HBaseCache 
lc_koven 评论(0) 有8348人浏览 2011-04-13 20:20

HBASE入门

转载：http://samuschen.iteye.com/blog/763921 HBase是Hadoop中的一个简单数据库。它与Google的Bigtable特别相似，但也存在许多的不同之处。 数据模型 HBase数据库使 ...
HBase应用服务器Hadoop数据结构Google 
bbym010 评论(0) 有752人浏览 2011-04-12 09:27

[转载]Hbase和RDBMS的区别

转载：http://www.jdon.com/jivejdon/thread/38244 最近因为项目原因，研究了Cassandra,Hbase等几个NoSQL数据库，最终决定采用HBase。在这里，我就向大家分享一下自己对HBase的理解。 在说HBase之前，我想再唠叨几句。做互联网应用的哥们儿应该都清楚，互联网应用这东西，你没办法预测你的系统什么时候会被多少人访问，你面临的用户到底有多少， ...
HBase互联网CassandraSQL ServerNoSQL 
bbym010 评论(0) 有1911人浏览 2011-04-12 09:25

看facebook分享hbase经验的笔记

  http://www.qconbeijing.com/download/Nicolas.pdf 重点看了下facebook做了哪些改进以及他们的运维经验，比较重要的有以下几点：   改进： 1 加强了行级的ACID约束 2 改善了数据的分布规则，可以配置hdfs的replicas所在节点 3 改写了master的assign规则，利用zk来进行assign 4 不用停机地重启cl ...
FacebookHBasezk 
lc_koven 评论(1) 有3456人浏览 2011-04-10 00:34

对提高hbase写性能的一些思考

以下为使用hbase一段时间的三个思考，由于在内存充足的情况下hbase能提供比较满意的读性能，因此写性能是思考的重点。希望读者提出不同意见讨论   ...
HBase网络应用GoogleApacheBlog 
lc_koven 评论(0) 有8250人浏览 2011-04-09 17:40

太过平淡的QCon第一天上午

    依旧是公司团体票，家住河北，早上5点就起床出发，这意味着我对这次QCon有着很高的期望。其实在公司时，团队一帮人就为第一天的票而争个不停，最后，我说，我住河北，于是，获胜，上午，同事南方，下午。   早上是三场专题演讲，分别是Facebook的《支撑Facebook消息处理的HBase存储系统》，Oracle的《Java EE 7平台：走进云计算》以及《在实践中实现企业的敏捷性》 ...
HBaseFacebook敏捷开发Oracle云计算 
ronghao 评论(0) 有979人浏览 2011-04-08 23:46

hbase数据备份数

昨天重新把hadoop hbase整理了一下。 以前是2台Datanode节点，现在变成了三台，我设置的hdfs副本数为2，启动后没有什么问题，把本地的文件放上去，下载下来都没有问题，查看显示也是2个Replication，但是当我启动hbase的时候，却发现/hbase目录下面的所有数据Replication显示为3，而我去查看hbase-default.xml里也并没有设置这个副本数。 以前 ...
HBaseHadoopXML 
亦梦亦真 评论(0) 有3630人浏览 2011-04-08 10:16

Redis几个认识误区

Redis几个认识误区 Saturday, Dec 4th, 2010 by Tim | Tags: key value store, redis 转自timyang. 前几天微博发生了一起大的系统故障，很多技术的朋友都比较关心，其中 ...
RedisHBasememcached互联网数据结构 
peterwei 评论(0) 有1482人浏览 2011-04-07 23:46

关于删除hbase表内容

hbase这个功能很是郁闷，使用它给定的API删除某个表的一些内容 public class testDelete extends TestCase { public static void main(String[] args){ testDelete test = new testDe ...
HBase 
亦梦亦真 评论(2) 有12069人浏览 2011-04-07 11:29

HBase介绍（转）

在说HBase之前，我想再唠叨几句。做互联网应用的哥们儿应该都清楚，互联网应用这东西，你没办法预测你的系统什么时候会被多少人访问，你面临的用户到底有多少，说不定今天你的用户还少，明天系统用户就变多了，结果您的系统应付不过来了了，不干了，这岂不是咱哥几个的悲哀，说时髦点就叫“杯具啊”。 其实说白了，这些就是事先没有认清楚互联网应用什么才是最重要的。从系统架构的角度来说，互联网应用更加看重系统性能以及 ...
HBase互联网CassandraSQL ServerNoSQL 
smallbee 评论(0) 有2026人浏览 2011-04-07 10:41

hadoop集群添加新节点

Hadoop添加节点的方法 1.将cluster停止。 2. 在新加的节点上配置好环境，包括ssh，jdk，并将其它datanode上的hadoop和hbase文件夹全部copy过去； 3. 将新的datanode的host加到集群namenode及其他datanode中去； 4. 将新的datanode的host加到master的conf/slaves中； 5. 再次启动cluster,在clus ...
HadoopHBaseSSHjrubyJDK 
亦梦亦真 评论(1) 有6260人浏览 2011-04-06 16:49

转载：几种常见的基于Lucene的开源搜索解决方案对比

一  直接使用 Lucene  ( http://lucene.apache.org ) 说明：Lucene 是一个 JAVA 搜索类库，它本身并不是一个完整的解决方案，需要额外的开发工作 优点：成熟的解决方案，有很多的成功案例。apache 顶级项目，正在持续快速的进步。庞大而活跃的开发社区，大量的开发人员。它只是一个类库，有足够的定制和优化空间：经过简单定制，就可以满足绝大部分常见的需求 ...
luceneHBaseSolrCassandraHadoop 
rabbit9898 评论(0) 有1322人浏览 2011-04-06 14:38

HBase 运行在security-enabled Hadoop

考虑到安全性，对Hadoop使用了Kerberos进行安全性验证 hbase需要运行在security-enabled Hadoop， 需要对hbase打个补丁,见附件 patch -p1 < ../HBASE-3582_2.patch 成功以后，会显示： patching file src/main/java/org/apache/hadoop/hbase/master/HMaster ...
HBaseSecurityHadoopJavaApache 
奔跑的羚羊 评论(0) 有2498人浏览 2011-04-03 13:06

2011互联网技术发展浅析

(转载） http://timyang.net/ Tuesday, Feb 22nd, 2011 by Tim | 3 Comments Filed under: 编程 说明：这是2011年初发表在InfoQ《架构师》一篇文章，重新整理到博客上，相比原文有更新。 编程语言 由于iPhone及iPad的魅力，Objective-C获得了飞速发展。另外Python也在国外也得到稳步增长，Python在 ...
互联网Redis编程HBaseFacebook 
bocai2015 评论(0) 有808人浏览 2011-04-02 10:39

最近博客热门TAG

Oracle(49876) MySQL(37268) SQL Server(17623) Access(9329) DB2(4271) Redis(3181) Sybase(2414) 数据挖掘(2098) MongoDB(2014) SQLite(1817) PostgreSQL(1635) HBase(1492) NoSQL(1000) HSQLDB(620) Informix(581) Derby(578) Cassandra(375) PowerBuilder(333) CouchDB(113) TokyoCabinet(87)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics