- 浏览: 562664 次
- 性别:
- 来自: 杭州
文章分类
- 全部博客 (478)
- lucene (45)
- oracle (19)
- nutch (2)
- blog (2)
- 垂直搜索 (19)
- java综合 (89)
- spring (15)
- Hibernate (9)
- Struts (9)
- Hadoop (16)
- Mysql (12)
- nosql (10)
- Linux (3)
- MyEclipse (4)
- Ant (1)
- 设计模式 (19)
- JBPM (1)
- JSP (1)
- HtmlParser (5)
- SVN (2)
- 插件 (2)
- 收藏 (7)
- Others (1)
- Heritrix (18)
- Solr (4)
- 主题爬虫 (31)
- 内存数据库 (24)
- 分布式与海量数据 (32)
- httpclient (14)
- Tomcat (1)
- 面试宝典 (6)
- Python (14)
- 数据挖掘 (1)
- 算法 (6)
- 其他 (4)
- JVM (12)
- Redis (18)
最新评论
-
hanjiyun:
本人水平还有待提高,进步空间很大,看这些文章给我有很大的指导作 ...
JVM的内存管理 Ⅲ -
liuxinglanyue:
四年后的自己:这种方法 不靠谱。 使用javaagent的方式 ...
计算Java对象占用内存空间的大小(对于32位虚拟机而言) -
jaysoncn:
附件在哪里啊test.NoCertificationHttps ...
使用HttpClient过程中常见的一些问题 -
231fuchenxi:
你好,有redis,memlink,mysql的测试代码吗?可 ...
MemLink 性能测试 -
guyue1015:
[color=orange][/color][size=lar ...
JAVA同步机制
HBase安装及测试 1.单机安装 1.1安装HBase 执行命令: cd /usr/hadoop mkdir v20hadoop 将hbase-0.20.0拷贝至/usr/hadoop/v20hadoop 1.2启动/关闭HBase bin/start-hbase.sh bin/stop-hbase.sh 1.3测试HBase bin/hbase shell create ‘bigtable1’ ‘data’ put ‘bigtable1’,’row1’,’data:aa’,’value1’ put ‘bigtable1’,’row2’,’data:bb’,’value2’ list scan ‘bigtable1’ 1.4HBase数据格式概述 HBase以键值对的形式来表示数据,如 001云计算: {0001:电信研究院云计算组,0002:北京邮电大学实验室 2.多机安装 2.1安装hadoop-0.20.1 安装步骤同hadoop0.18.3,区别在于配置文件设置 conf/core-site.xml配置: <configuration> <property> <name>fs.default.name</name> <value>hadoop6:9000</value> </property> </configuration> conf/hdfs-site.xml配置: <configuration> <property> <name>dfs.name.dir</name> <value>/usr/hadoop/filesystem/name</value> </property> <property> <name>dfs.data.dir</name> <value>/usr/hadoop/filesystem/data</value> </property> </configuration> conf/mapred-site.xml配置: <configuration> <property> <name>mapred.job.tracker</name> <value>hadoop5:9001</value> </property> <property> <name>mapred.local.dir</name> <value>/usr/hadoop/mr/localdata</value> </property> <property> <name>mapred.system.dir</name> <value>/usr/hadoop/mr/systemdata</value> </property> <property> <name>mapred.tasktracker.map.tasks.maximum</name> <value>2</value> </property> <property> <name>mapred.tasktracker.reduce.tasks.maximum</name> <value>2</value> </property> 2.2配置hbase-0.20.0 在conf/hbase_env.sh尾部加入 export JAVA_HOME=/usr/java/jdk1.6.0_12 在conf/regionservers尾部加入 hadoop3 conf/hbase-site.xml配置: <property> <name>hbase.rootdir</name> <value>hdfs://hadoop6:9000/hbase</value> </property> <property> <name>hbase.zookeeper.property.clientPort</name> <value>2181</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> 在stop-hbase.sh文件中加入"$bin"/hbase-daemons.sh --config "${HBASE_CONF_DIR}" \ --hosts "${HBASE_REGIONSERVERS}" start regionserver。 3.常用API 函数名/对象名 简述 所在包/类 备注 HBaseConfiguratio.HBaseConfiguration() HBase配置对象 org.apache.hadoop.hbase.HBaseConfiguratio HTable.HTable(HBaseConfiguration conf, byte[] tableName) 定位HBase之table org.apache.hadoop.hbase.client.HTable put) 添加提交 org.apache.hadoop.hbase.client.HTable get) 读提交 org.apache.hadoop.hbase.client.HTable HTable.getScanner(byte[] family) 表扫描 org.apache.hadoop.hbase.client.HTable Put.put(byte[] row) 定位行 org.apache.hadoop.hbase.client.Put Put.add (byte[] family, byte[] qualifier, long ts, byte[] value) 添加值 org.apache.hadoop.hbase.client.Put Get.Get(byte[] row) 读定位行 org.apache.hadoop.hbase.client.Get Get.addColumn(byte[] column) 读定位列 org.apache.hadoop.hbase.client.Get Result 结果对象 org.apache.hadoop.hbase.client.Result ResultScanner 扫描结果对象 org.apache.hadoop.hbase.client.ResultScanner
发表评论
-
基于Hadoop的Hbase环境搭建
2010-12-22 20:47 1316转:http://www.tech126.com/hado ... -
Hbase Shell的常用命令
2010-12-22 20:32 1662总结的一些Hbase shell的命令 都很简单,可以h ... -
HBase的性能优化和相关测试
2010-12-22 20:29 1586HBase的写效率还是很高的,但其随机读取效率并不高 可 ... -
understanding redis internal - 持久化机制
2010-12-05 09:28 1107redis 持久化有2种方式,定时快照与append only ... -
understanding redis internal - 主体结构与启动流程
2010-12-05 09:27 1084一. redis的定义 官方wiki对redis的定 ... -
MemcacheDB, Tokyo Tyrant, Redis performance test
2010-11-29 21:05 874I had tested the following ke ... -
mongodb API
2010-11-28 21:17 829http://api.mongodb.org/java/2.3 ... -
MongoDB 安装与启动
2010-11-28 19:06 982主要介绍在Windows 与 Linux 下的安装与启动 ... -
分布式key-value数据库mongoDB 安装
2010-11-28 19:05 1132Mongo是一个高性能,开源,模式自由(schema-free ... -
NoSQL数据库MongoDB之Windows安装
2010-11-28 19:04 1684就像和被人们当初炒得沸沸扬扬的SOA、OSGi等技术一 ... -
HBase使用例子(中文翻译)
2010-11-28 17:33 1552通过编码(java)的形式对HBase进行一系列的管理 ... -
HBase安装
2010-11-28 17:23 996官方文档:http://hbase.apache.org/ ... -
在Windows中使用Cygwin安装HBase
2010-11-28 17:21 13481.简介 HBase是 Hadoop 的 ... -
hbase的安装配置
2010-11-28 17:21 917standalone&pseudo-distribut ... -
javaeye上一些hbase讲解的链接
2010-11-28 17:20 10601.比较多的一些讲解http://beyiwork.iteye ... -
HBase入门
2010-11-28 15:58 1015HBase入门 部分内容参考于http://www.na ... -
HBase的安装配置
2010-11-28 15:56 940首先需要先下载HBase最新且稳定的版本:http://www ... -
MongoDB
2010-11-28 14:18 1282软硬件环境 MySQL版本:5.1.50,驱动版本:5. ... -
Berkeley DB Java Edition Research
2010-11-27 14:10 1021一、Berkeley DB Java Edition ... -
Berkeley DB
2010-11-27 13:28 1099Berkeley DB(简称dbd)是oracle下一款开源的 ...
相关推荐
1. **概述**:单机模式是 HBase 默认的安装模式,适用于测试和开发环境。在此模式下,HBase 使用本地文件系统存储数据,不依赖于 Hadoop 和 HDFS。 2. **启动 HBase**:在根用户下启动 HBase 服务。 ```bash bin...
在本文中,我们将详细讲解Hbase的安装过程以及基本操作,特别针对在Linux环境下使用清华大学镜像进行下载的情况。Hbase是一个分布式的、面向列的数据库,常用于大数据存储,是Apache Hadoop生态系统的一部分。以下是...
总的来说,这个教程覆盖了从零开始安装和使用Hadoop及HBase的全过程,对希望涉足大数据领域的学习者非常有价值。通过实践这些步骤,用户可以搭建起一个运行良好的Hadoop-HBase环境,为后续的大数据操作和分析奠定...
3. **HBase测试**:启动HBase,运行 `start-hbase.sh` 命令,然后可以使用HBase的命令行工具 `hbase shell` 进行基本操作,如创建表、插入数据、查询数据等,来检查HBase是否工作正常。 **HBase启动流程:** HBase...
【分布式数据库HBase安装配置与实践】 HBase是一款基于Google Bigtable理念设计的开源NoSQL数据库,它构建在Hadoop之上,适用于处理大规模数据。在本文档中,我们将详细介绍如何在Linux环境中安装、配置和实践HBase...
五、测试HBase 1. 启动Hadoop,使用bin/start-all.sh命令。 2. 启动HBase,使用bin/start-hbase.sh命令。 3. 启动HBase shell,使用bin/hbase shell命令。输入status命令以查看状态。 六、HBase的基本概念 HBase...
例如,在“hbase+phoenix测试文档及查询速度说明.docx”文件中,可能会详细记录这些测试步骤和结果,包括查询语句的编写、查询时间的对比以及性能优化的建议。 总结来说,HBase与Phoenix的结合,使得我们在处理...
"HBase性能测试详细设计文档及用例" 本文档旨在详细介绍HBase性能测试的设计文档和实践经验,涵盖了HBase性能测试需要注意的一些参数设置和测试用例。下面是从该文档中提炼的相关知识点: 1.1 Pre-Creating ...
当配置YCSB以测试HBase时,需要将HBase的lib目录下的所有jar包和hbase-site.xml配置文件拷贝到YCSB中相应的位置,完成安装。 YCSB通过内置的多种压力测试场景文件来模拟不同的工作负载。例如,workloada场景是一个...
在对HBase进行性能测试时,我们关注的关键指标包括数据读写速度、系统资源消耗以及MapReduce框架的运行效率。以下是对文档中提到的几个重要性能指标的详细解读: 1. **顺序写入(Sequential Write)**: - **FILE:...
4. 通过HBase Shell进行安装环境测试。 二、实验内容 1. 在Windows上安装虚拟机并安装Ubuntu 64位操作系统。 2. 在Linux系统中安装JDK 1.8。 3. 安装Hadoop 2.2的伪分布式版本。 4. 以伪分布式方式安装HBase 1.2.1...
本资源包主要涵盖HBase的安装与配置、Kylin的安装过程以及相关的安装测试题,旨在帮助读者深入理解和掌握这两个关键技术。 首先,让我们深入探讨HBase,它是Apache Hadoop生态系统中的一个非关系型分布式数据库...
《深入理解HBase:源码剖析与测试实践》 HBase,全称为Hadoop Database,是一种基于Apache Hadoop的开源分布式非关系型数据库。它的设计灵感来源于Google的Bigtable,旨在处理大规模数据集,通常在PB级别以上。...
5. **启动与测试**:启动HBase的Master和RegionServer进程,使用HBase Shell或自定义应用程序进行测试,确保HBase可以正常运行并存取数据。 6. **监控与管理**:通过HBase的Web UI(默认端口16010)监控HBase集群的...
6. **测试与验证**:启动HBase集群,创建表并插入数据,然后检查是否正确使用了LZO压缩。你可以通过HBase的监控界面或命令行工具查看RegionServer的状态,确认数据是否被正确压缩。 7. **注意Master节点的角色**:...
使用场景及目标:适用于希望部署个人开发测试环境,或在小规模生产环境中采用HBase作为数据存储解决方案的技术人员。 其他说明:文档不仅介绍了如何安装配置HBase,还展示了HBase命令行界面的基本操作,如创建、插入...
### Hadoop、Hive、HBase 的安装配置详解 #### 一、Hadoop 安装配置 ##### 1. 创建用户与安装 JDK 在安装 Hadoop 前,首先需要创建一个专用的用户账户用于运行 Hadoop 相关服务,并确保 Java 环境已经正确安装。 ...