最新文章列表

hbase+hadoop

玩了几天了,今天终于搭建Pseudo-distributed模式的hadoop和hbase成功,并且能够通过远程终端通过java api连接操作hbase了。 看来官方的文档还是有待加强啊,安装过程中碰到了无数的问题。 安装版本如下 hbase-0.89.20100621 hadoop-0.20.2 服务器端配置如下: hadoop: core-site.xml <property> ...
clican 评论(0) 有1118人浏览 2010-08-05 15:23

快速升级Hadoop和HBase的小脚本

比如我在host1上把hadoop和hbase配置什么的搞好,打成tar包,运行以下脚本,即可在cluster升级。 我的cluster中有host1,host2,host3,host4,host5,host6,host21,host24,host0,hostut。注意这些host之间用用户hbase都可免密码ssh访问。 hbase和hadoop都会被安装在/Development下   ...
tangay 评论(0) 有1760人浏览 2010-08-04 13:44

hadoop入门

Hadoop是项目的总称,起源于作者儿子的一只吃饱了的大象的名字。主要是由HDFS、MapReduce和Hbase组成。   HDFS是Google File System(GFS)的开源实现。   ...
weijinxian 评论(0) 有986人浏览 2010-08-02 00:28

Hadoop备忘

available forums: http://bbs.hadoopor.com http://www.hadoopor.com http://forum.hadoopor.com available blogs: http://blog.chinaunix.net/u3/105041/ 分析源码 http://caibinbupt.iteye.com/       分析源码 http://jim ...
weijinxian 评论(0) 有1333人浏览 2010-08-01 23:58

如何在windows平台上用Eclipse调试运行HBase

1. 下载和安装cygwin(http://www.cygwin.com/) 2. 下载新的Zookeeper包和HBase包,我这里ZooKeeper版本为3.3.1,HBase版本为0.20.4 3. 把利用它们的源码包在Eclipse下生成2个独立的Project,注意:zookeeper工程,你要把那个conf目录加入到工程的src中去 4. 修改zookeeper工程下的conf目录 ...
tangay 评论(3) 有10713人浏览 2010-07-29 17:17

HBase与BigTable的比较(翻译)

知,HBase是Google的BigTable架构的一个开源实现。但是我个人觉得,要做到充分了解下面两点还是有点困难的: 一 HBase涵盖了BigTable规范的哪些部分? 二 HBase与BigTable仍然有哪些区别? 下面我将对这两个系统做些比较。 在做比较之前,我要指出一个事实:HBase是非常接近BigTable论文描述的东西。撇开一些细微的不同,比如HBase 0.20使用Zo ...
tangay 评论(0) 有5912人浏览 2010-07-29 16:12

MapReduce(转)

  这篇文章是由databasecolumn的几个数据库大牛写的,简要的介绍了MapReduce以及将其与现代数据库管理系统进行了对比,并指出了一些不足之处。本文纯 ...
huze104 评论(0) 有1221人浏览 2010-07-19 01:01

hbase的org.apache.hadoop.hbase.client.RetriesExhaustedException:错误记录

今天启动hbase后,所有hbase shell命令会出现org.apache.hadoop.hbase.client.RetriesExhaustedException异常,web接口60010也打不开。但是60030打开,里面显示no regionserver。网上查了很多资料都没有解决。最后发现运行start-hbase.sh时生成的两个文件hbase-hadoop-master.pid 和h ...
085567 评论(0) 有3724人浏览 2010-07-16 20:00

深入Java对象大小

  在大规模Java 应用开发中,总会遇到内存泄漏的问题。通常的做法,通过 Profile 工具,分析 Java  Heap ,一般能够发现哪些对象内存占用巨大,而引起的泄漏问题。为了更好地深入了解问题的本质,以及从另外一个角度来分析问题,特写这篇文章。   可能不少的读者,并不清楚Java 对象到底占居多少的空间(单位:字节 =8 比特)。文章中会使用 JDK ...
mercyblitz 评论(32) 有6965人浏览 2010-07-12 19:10

Hbase分析报告

Hbase分析报告 本文基于环境hadoop-0.16.4 和 hbase-0.1.3 编写 Hbase是一个分布式开源数据库,基于Hadoop分布式文件系统,模仿并提供了基于Google文件系统的Bigtable数据库的所有功能。 Hbaes的目标是处理非常庞大的表,可以用普通的计算机处理超过10亿行数据,并且有数百万列元素组成的数据表。 Hbase可以直接使用本地文件系 ...
085567 评论(0) 有1996人浏览 2010-07-12 15:00

Hadoop 上大矩阵乘法

参考一:[url]http://forum.hadoop.tw/viewtopic.php?f=7&t=12&view=next [/url] 目前自己架設了 Hadoop + HBase 叢集 但是在 eclipse 上卻始終不能順利 run 程式 嘗試了好久...終於找到方法了~~~ 主因是我使用的電腦並不是叢集的一部分... 所以程式執行時,zookeeper 預設是連到 ...
085567 评论(0) 有1605人浏览 2010-07-11 16:10

hadoop知识

hadoop 技术论坛。http://bbs.hadoopor.com/index.php 1.hadoop0.20.0 + eclipse环境搭建http://bbs.hadoopor.com/thread-43-1-1.html 台湾一个人写的,很好。hadoop0.20.0 + eclipse环境搭建http://trac.nchc.org.tw/cloud/wiki/waue/2009/ ...
p_x1984 评论(0) 有2160人浏览 2010-07-10 10:35

了解 NoSQL 的必读资料

    NoSQL 是非关系型数据存储的广义定义。它打破了长久以来关系型数据库与 ACID 理论大一统的局面。NoSQL 数据存储不需要固定的表结构,通常也不存在连接 操作。在大数据存取上具备关系型数据库无法比拟的性能优势。该术语在 2009 年初得到了广泛认同。      当今的应用体系结构需要数据存储在横向伸缩性 上能够满足需求。而 NoSQL 存储就是为了实现这个需求 ...
Blackbaby 评论(0) 有806人浏览 2010-06-30 14:09

What Is Hadoop?

What Is Hadoop? The Apache Hadoop project develops open-source software for reliable, scalable, distributed computing. Hadoop includes these subprojects:     * Hadoop Common: The common utilities tha ...
fangyong2006 评论(0) 有978人浏览 2010-06-16 21:42

大规模数据处理

今天看了一个百度运维工程师的分享:百度大规模数据处理,主要讲的是hdfs的一些基本情况及百度在使用中遇到的问题及对策。 hadoop这个词我从去年开始听说,一直不知道它是干什么用的,听了这个哥们的分享,有了大致的了解。 HDFS: Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS. 具有以下优势: 支持海量存储 全局命名空间 高可用 ...
csliu.xjtuse 评论(0) 有1147人浏览 2010-06-07 20:27

简单分布式系统体系结构介绍

一、分布式、并行计算、计算机网络1. 分布式计算:多个节点运算,为同一个目标2. 并行计算:一个巨型机,并行处理大任务二、几种互联网时代的分布 ...
netli 评论(0) 有1996人浏览 2010-06-05 12:46

hbase 结构及工作过程

最近关注 Hadoop ,因此 也顺便关注了一下 Hadoop相关的项目 。 HBASE就是基于 Hadoop的一个开源项目,也是对 Google的 BigTable的一种实现。        BigTable是什么? Google的 Paper对其作了充分的说明。字面上看就是一张大表,其实和我们想象的传统数据 库的表还是有些差别的。松散数据可以说是介于 Map ...
fishyu0817 评论(0) 有3602人浏览 2010-06-04 19:00

hbase 数据持久

在hbase/conf/hbase-default.xml中设置hbase.rootdir的值,来设置文件的保存位置,默认是在/tmp中,重启机 器会清空tmp中的所有东西
fishyu0817 评论(0) 有1213人浏览 2010-06-04 16:47

我写的Ap聚类备忘

1. StartDriver.java是程序入口,只需运行这个程序即可 ApClusterParameters.java是程序的一些参数设置。必须由你自己重新设定的是“pointsTotalNum”=总共多少个点 ...
gushuizerotoone 评论(0) 有1765人浏览 2010-05-28 16:35

No-SQL与关系型数据库

引自:http://www.jdon.com/jivejdon/thread/38776   “sql本可只做存储方面事,但很多人看中其强健的select 功能,复杂的select 不只是从存储读取,还有筛选 搜索 排序等等,这些功能对巨大数据量就力不从心了,hadoop t级数据排序创有史最快,这些我们都要好好利用。谈得更深入些,如果按照OO设计,领域驱动设计,将业务计算都由领域模型驱动,过去 ...
dc_726 评论(0) 有730人浏览 2010-05-11 21:09

最近博客热门TAG

Oracle(49876) MySQL(37268) SQL Server(17623) Access(9329) DB2(4271) Redis(3181) Sybase(2414) 数据挖掘(2098) MongoDB(2014) SQLite(1817) PostgreSQL(1635) HBase(1492) NoSQL(1000) HSQLDB(620) Informix(581) Derby(578) Cassandra(375) PowerBuilder(333) CouchDB(113) TokyoCabinet(87)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics