博客首页 → HBase

最新文章列表

hbase性能测试小结

性能测试小结： 测试环境： 机器：1 client 5 regin server 1 master 3 zookeeper 配置：8 core超到16 /24G内存，region server分配了4G heap /单seta磁盘,raid10后500GB 系统：Red Hat Enterprise Linux Server release 5.4 版本：hadoop-0.20.2+737 / h ...
HBaseHadoopLinux算法工作 
lc_koven 评论(2) 有3998人浏览 2011-03-24 13:26

eclipse中编译hadoop（hive）源码

本人按照下面编译Hadoop 所说的方法在eclipse中编译hive没有成功。 在windows上重新装了一个ant1.8，在cmd中直接用ant编译成功。     eclipse中编译没有成功原因是  D:\workspace\hive\build-common.xml:392: java.lang.UnsupportedClassVersionError: Bad version n ...
EclipseHadoopAntHBaseMapreduce 
samuschen 评论(0) 有3410人浏览 2011-03-24 13:20

hbase集群配置

其实网上这样的配置很多，但是我看了很多，有的并不正确。其实，hadoop是一个namenode管理多个datanode。同样，hbase也是一个hmaster管理多个zookeeper。 hadoop的配置就不说了，配置都一样。我主要是想写hbase 首先，假设我们的群群有四台计算机，一台namenode三台Datanode（da1,da2,da3） 解压hbase-0.20.6。配置regions ...
HBase配置管理HadoopXML 
亦梦亦真 评论(0) 有1603人浏览 2011-03-23 16:10

使用Hive读取Hbase中的数据

第一步，启动hadoop，命令：./start-all.sh 第二步，启动hive，命令： ./hive --auxpath /home/dream-victor/hive-0.6.0/lib/hive_hbase-handler.jar,/home/dream-victor/hive-0.6.0/lib/hbase-0.20.3.jar,/home/dream-victor/hive-0.6. ...
HBase数据结构HadoopDerbyJDBC 
victorzhzh 评论(3) 有21324人浏览 2011-03-23 11:24

HBase安装

第一步，配置hbase-env.sh： export JAVA_HOME=/home/dream-victor/jdk1.6.0_21--指向自己的JDK export HBASE_MANAGES_ZK=true export HBASE_LOG_DIR=/home/dream-victor/hbase-0.20.6/logs--指向自己定义的logs文件夹  第二步，配置hbase-sit ...
HBaseHadoopzkXMLJDK 
victorzhzh 评论(0) 有1553人浏览 2011-03-23 09:42

MapReduce：一个重大的倒退

转载http://www.cnblogs.com/chinacloud/archive/2010/12/03/1895366.html 这篇文章是由databasecolumn 的几个数据库大牛写的，简要的介绍了MapReduce以及将其与现代数据库管理系统进行了对比，并指出了一些不足之处。本文纯属学习性翻译，从多方面来了解MapReduce，不代表完全赞同原文的观点。请读者也 ...
Mapreduce数据结构HBase数据挖掘编程 
foreversunyao 评论(2) 有1622人浏览 2011-03-22 23:09

Paxos algorithm

Paxos is a family of protocols for solving consensus in a network of unreliable processors. Consensus is the process of agreeing on one result among a group of participants. This problem become ...
算法配置管理HBase应用服务器VB 
foreversunyao 评论(0) 有1098人浏览 2011-03-22 22:12

详解NoSQL数据库使用实例

一、NoSQL基础知识    1.关于在"NoSQL"一词，实际上是一个叫Racker的同事创造的，当约翰埃文斯埃里克要组织一次活动来讨论开源的分布式数据库。这个名称和概念都由此而来。    有些人反对NoSQL术语，因为它听起来像我们定义自己是什么.在一定程度，但长期仍然是有价值的，因为当一个关系数据库是唯一的工具，你知道，每一个问题，看起来像一个大拇指。 NoSQL是让人们知 ...
NoSQL数据结构CassandraCouchDBHBase 
chengyue2007 评论(0) 有4058人浏览 2011-03-22 16:08

HFile存储格式

HBase中的所有数据文件都存储在Hadoop HDFS文件系统上，主要包括两种文件类型： 1. HFile， HBase中KeyValue数据的存储格式，HFile是Hadoop的二进制格式文件，实际上StoreFile就是对HFile做了轻量级包装，即StoreFile底层就是HFile 2. HLog File，HBase中WAL（Write Ahead Log） 的存储格式，物理上是 ...
HBaseHadoop数据结构DOSCache 
085567 评论(0) 有830人浏览 2011-03-21 19:26

Cassandra vs MongoDB vs CouchDB vs Redis vs Riak vs HBase比较

原文: http://kkovacs.eu/cassandra-vs-mongodb-vs-couchdb-vs-redis Cassandra vs MongoDB vs CouchDB vs Redis vs Riak vs HBase comparison While SQL databases are insanely useful tools, their tyranny of ~1 ...
HBaseRedisCouchDBMongoDBCassandra 
085567 评论(0) 有1684人浏览 2011-03-21 19:03

NoSQL：Cassandra和MongoDB最受欢迎

转自：http://cloud.csdn.net/a/20110303/292969.html   这是一篇关于NoSQL就业趋势的报告分析。该报告重点调查了在NoSQL下的8个工具，包括Cassandra, Redis, Voldemort, Si ...
NoSQLMongoDBCassandraRedisHBase 
085567 评论(0) 有1276人浏览 2011-03-21 18:48

飞信SNS FEED分享

感谢飞信首席架构师@steadwater的分享和@suxiaoyong的总结。 SNS feed的特点：写入密集，高频度，小数据量，数据失效快。读写比大约50/1 飞信的技术选型： 1. 消息异步写入； 2. 推拉结合，对于粉丝多的用户用拉，普通用户用推，在应用层进行合并； 3. 普通用户的事件尽量保证实时性，名博可以异步处理； 4. 在数据sharding时，对名博和普通用户分别处理； ...
SNSMySQLRedisHBaseCassandra 
isoloist 评论(0) 有1960人浏览 2011-03-20 15:36

ycsb的使用

ycsb是一个非常方便的针对分布式文件系统的测试工具：https://github.com/brianfrankcooper/YCSB 特点： 1 可以任意设置读写比例、线程数量，打印结果比较详细 2 它是hbase等nosql官方jira上面的测试标准，与人交流时ycsb的测试数据最能说明问题 缺点： 1 每次测试时数据需要重新写入，否则读取时选取不了正确的key值，导致内存命中率低 2 key ...
HBaseAntNoSQLHadoopGit 
lc_koven 评论(0) 有8937人浏览 2011-03-20 12:06

hbase条件查询

一、环境 HBase版本hbase-0.20.5，Hadoop的版本hadoop-0.20.2，JDK1.6 二、需求背景       在HBase中，进行条件查询，很多的文件都说过，但是大多数都是 ...
HBaseHadoop.netBlog工作 
085567 评论(0) 有2623人浏览 2011-03-18 17:25

HBase加载大数据

一、概述 HBase有很多种方法将数据加载到表中，最简单直接的方法就是通过MapReduce调用TableOutputFormat方法，或者在client上调用API写入数据。但是，这都不是最有效的方式。 这篇文档将向你描述如何在HBase中加载大数据。采用MapReduce作业，将数据以HBase内部的组织格式输出成文件，然后将数据文件加载到已运行的集群中。（注：就是生成HFile，然后加 ...
HBaseMapreduceHadoopApache 
085567 评论(0) 有985人浏览 2011-03-18 17:15

HBase Trouble shooting

最近HBase经常自动退出，查看日志发现以下错误： 2011-03-18 06:59:19,523 INFO org.apache.zookeeper.ClientCnxn: Attempting connection to server ***/****:2222 2011-03-18 06:59:26,191 WARN org.apache.zookeeper.ClientCnxn: ...
HBaseHadoopApacheSUN 
swordice 评论(0) 有1402人浏览 2011-03-18 15:53

hbase中对deadserver处理的困扰

hbase在一个regionServer死掉后，即使重启了这个server，deadlist中也不会去掉原先死去的deadserver。 例如： hbase shell >status 5 servers, 0 dead, 6.2000 average load 停掉其中一个节点 hbase-daemon.sh stop regionserver 然后 hbase shell >s ...
HBaseJavaApache 
lc_koven 评论(0) 有4580人浏览 2011-03-17 10:50

hive与hbase整合

  Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信，相互通信主要是依靠hive_hbase-handler.jar工具类 (Hive Storage Handlers)， 大致意思如图所示： 口水： 对 hive_hbase-handler.jar 这个东东还有点兴趣，有空来磋磨一下。 一、2个注意事项：1、需要的软件有 Hadoop、Hive、Hbase、 ...
HBaseHadoopvimEXTJVM 
085567 评论(2) 有1642人浏览 2011-03-16 15:12

zookeeper集群配置注意项

项目中需要使用hbase，故准备在本机搭建hbase，考虑到hbase对zookeeper的依赖，故先搭建zookeeper集群，选择的zookeeper版本是 3.3.2，在搭建时遇到一些问题，在这里记录下。   1：集群配置中 dataDir=/home/dikar/hadoop/zookeeperTest  这个目录需要自己先建好，否则报错说这个目录不存在，在单机时会自动建立，集群配置 ...
HBaseHadoop 
dikar 评论(0) 有2658人浏览 2011-03-16 01:05

Nutch Trunk（2.0） 编译

今天下载了Nutch的Trunk版本，调用ant编译的时候无法编译通过 [ivy:resolve] :::::::::::::::::::::::::::::::::::::::::::::: [ivy:resolve] ::          UNRESOLVED DEPENDENCIES ...
AntmavenHBaseGoogleSUN 
leongfans 评论(0) 有2161人浏览 2011-03-14 23:48

最近博客热门TAG

Oracle(49876) MySQL(37268) SQL Server(17623) Access(9329) DB2(4271) Redis(3181) Sybase(2414) 数据挖掘(2098) MongoDB(2014) SQLite(1817) PostgreSQL(1635) HBase(1492) NoSQL(1000) HSQLDB(620) Informix(581) Derby(578) Cassandra(375) PowerBuilder(333) CouchDB(113) TokyoCabinet(87)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics