- 浏览: 565277 次
- 性别:
- 来自: 杭州
文章分类
- 全部博客 (478)
- lucene (45)
- oracle (19)
- nutch (2)
- blog (2)
- 垂直搜索 (19)
- java综合 (89)
- spring (15)
- Hibernate (9)
- Struts (9)
- Hadoop (16)
- Mysql (12)
- nosql (10)
- Linux (3)
- MyEclipse (4)
- Ant (1)
- 设计模式 (19)
- JBPM (1)
- JSP (1)
- HtmlParser (5)
- SVN (2)
- 插件 (2)
- 收藏 (7)
- Others (1)
- Heritrix (18)
- Solr (4)
- 主题爬虫 (31)
- 内存数据库 (24)
- 分布式与海量数据 (32)
- httpclient (14)
- Tomcat (1)
- 面试宝典 (6)
- Python (14)
- 数据挖掘 (1)
- 算法 (6)
- 其他 (4)
- JVM (12)
- Redis (18)
最新评论
-
hanjiyun:
本人水平还有待提高,进步空间很大,看这些文章给我有很大的指导作 ...
JVM的内存管理 Ⅲ -
liuxinglanyue:
四年后的自己:这种方法 不靠谱。 使用javaagent的方式 ...
计算Java对象占用内存空间的大小(对于32位虚拟机而言) -
jaysoncn:
附件在哪里啊test.NoCertificationHttps ...
使用HttpClient过程中常见的一些问题 -
231fuchenxi:
你好,有redis,memlink,mysql的测试代码吗?可 ...
MemLink 性能测试 -
guyue1015:
[color=orange][/color][size=lar ...
JAVA同步机制
转:http://www.tech126.com/hadoop-hbase/ 基于现有的Hadoop集群,来搭建Hbase的环境 整个过程还是比较简单的 1. 下载Hbase源码,并解压 cp hbase-0.20.6.tar.gz /opt/hadoop/ 2.修改hbase-env.sh,加入java环境,并修改log位置 export JAVA_HOME=/opt/java/jdk 3. 修改hbase-site.xml,配置hbase <property> 几个配置的说明: 4. 编辑regionservers文件,设置regionservers的服务器,和hadoop的slaves一样即可 5. 启动Hbase /opt/sohuhadoop/hbase/bin/start-hbase.sh Hbase默认只有一个Master,我们可以也启动多个Master: /opt/sohuhadoop/hbase/bin/hbase-daemon.sh start master 不过,其它的Master并不会工作,只有当主Master down掉后 其它的Master才会选择接管Master的工作 Hbase也有一个简单的web界面,来查看其状态 http://10.10.71.1:60010/master.jsp http://10.10.71.1:60010/zk.jsp
cd /opt/hadoop/
tar zxvf hbase-0.20.6.tar.gz
ln -s hbase-0.20.6 hbase
export HBASE_LOG_DIR=/opt/log/hbase
export HBASE_MANAGES_ZK=true
<name>hbase.rootdir</name>
<value>hdfs://zw-hadoop-master:9000/hbase</value>
<description>The directory shared by region servers.</description>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
<description>The mode the cluster will be in. Possible values are
false: standalone and pseudo-distributed setups with managed Zookeeper
true: fully-distributed with unmanaged Zookeeper Quorum (see hbase-env.sh)
</description>
</property>
<property>
<name>hbase.master</name>
<value>hdfs://zw-hadoop-master:60000</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>zw-hadoop-slave225,zw-hadoop-slave226,zw-hadoop-slave227</value>
<description>Comma separated list of servers in the ZooKeeper Quorum. For example, "host1.mydomain.com,host2.mydomain.com,host3.mydomain.com". By default this is set to localhost for local and pseudo-distributed modes of operation. For a fully-distributed setup, this should be set to a full list of ZooKeeper quorum servers. If HBASE_MANAGES_ZK is set in hbase-env.sh this is the list of servers which we will start/stop ZooKeeper on.
</description>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/opt/log/zookeeper</value>
<description>Property from ZooKeeper's config zoo.cfg.
The directory where the snapshot is stored.
</description>
</property>
/opt/sohuhadoop/hbase/bin/stop-hbase.sh
http://10.10.71.1:60030/regionserver.jsp
发表评论
-
Hbase Shell的常用命令
2010-12-22 20:32 1666总结的一些Hbase shell的命令 都很简单,可以h ... -
HBase的性能优化和相关测试
2010-12-22 20:29 1593HBase的写效率还是很高的,但其随机读取效率并不高 可 ... -
understanding redis internal - 持久化机制
2010-12-05 09:28 1112redis 持久化有2种方式,定时快照与append only ... -
understanding redis internal - 主体结构与启动流程
2010-12-05 09:27 1087一. redis的定义 官方wiki对redis的定 ... -
MemcacheDB, Tokyo Tyrant, Redis performance test
2010-11-29 21:05 882I had tested the following ke ... -
mongodb API
2010-11-28 21:17 836http://api.mongodb.org/java/2.3 ... -
MongoDB 安装与启动
2010-11-28 19:06 986主要介绍在Windows 与 Linux 下的安装与启动 ... -
分布式key-value数据库mongoDB 安装
2010-11-28 19:05 1142Mongo是一个高性能,开源,模式自由(schema-free ... -
NoSQL数据库MongoDB之Windows安装
2010-11-28 19:04 1689就像和被人们当初炒得沸沸扬扬的SOA、OSGi等技术一 ... -
HBase使用例子(中文翻译)
2010-11-28 17:33 1558通过编码(java)的形式对HBase进行一系列的管理 ... -
HBase安装及测试
2010-11-28 17:25 1458HBase安装及测试 1. ... -
HBase安装
2010-11-28 17:23 1002官方文档:http://hbase.apache.org/ ... -
在Windows中使用Cygwin安装HBase
2010-11-28 17:21 13541.简介 HBase是 Hadoop 的 ... -
hbase的安装配置
2010-11-28 17:21 923standalone&pseudo-distribut ... -
javaeye上一些hbase讲解的链接
2010-11-28 17:20 10631.比较多的一些讲解http://beyiwork.iteye ... -
HBase入门
2010-11-28 15:58 1019HBase入门 部分内容参考于http://www.na ... -
HBase的安装配置
2010-11-28 15:56 946首先需要先下载HBase最新且稳定的版本:http://www ... -
MongoDB
2010-11-28 14:18 1295软硬件环境 MySQL版本:5.1.50,驱动版本:5. ... -
Berkeley DB Java Edition Research
2010-11-27 14:10 1029一、Berkeley DB Java Edition ... -
Berkeley DB
2010-11-27 13:28 1103Berkeley DB(简称dbd)是oracle下一款开源的 ...
相关推荐
### 基于Hadoop集群搭建HBase集群详解 #### 一、引言 随着大数据技术的迅猛发展,海量数据的高效存储与处理成为企业关注的重点。Hadoop作为一款能够处理大量数据的基础框架,被广泛应用于各类场景之中。然而,在...
该文档将分为四部分:Hadoop 集群环境搭建、HBase 集群环境搭建、Hive 集群环境搭建和 Sqoop 集成使用。 一、Hadoop 集群环境搭建 1.1 JDK 安装与配置 在开始搭建 Hadoop 集群环境前,我们需要先安装并配置 JDK。...
2. HBase:HBase是一个基于Hadoop的分布式数据库,用于存储和处理大规模数据。 3. ZooKeeper:ZooKeeper是一个分布式协调服务,用于管理Hadoop和HBase集群。 二、机器集群结构分布 在本文中,我们将使用8台曙光...
2. **HBase**:HBase是一个基于Hadoop的分布式数据库,适合实时读写操作,尤其适合半结构化和非结构化数据。它提供了一个高可靠性、高性能、列式存储、可伸缩的数据库。 - **HBase安装与配置**: - 在Hadoop集群...
Hadoop和HBase是大数据处理领域中的重要组件,它们在分布式存储和实时数据访问...通过这个名为“hbase全jar包”的压缩文件,开发者可以获得完整的一套HBase相关jar包,从而快速搭建开发环境,进行HBase的学习和实践。
### Hadoop+Hbase搭建云存储的关键知识点 #### 一、Hadoop文件系统特性与应用场景 **1. 容错性与成本效益** - **关键特性:** Hadoop文件系统(HDFS)的设计核心在于其对廉价硬件的兼容性和高度的容错能力。它...
3. HBase:HBase是基于Hadoop的分布式列式数据库,能够提供实时读写访问,适用于大规模稀疏数据集。它将数据存储在HDFS上,但通过Zookeeper进行元数据管理和区域分配。在搭建HBase集群时,我们需要配置HBase的主...
Hbase是基于Hadoop的分布式NoSQL数据库,提供了高效的数据存储和检索能力。Spark是基于内存的数据处理引擎,能够快速处理大规模数据。Hive是基于Hadoop的数据仓库工具,提供了高效的数据处理和分析能力。本文档旨在...
本项目“基于hadoop+hbase+springboot实现分布式网盘系统”旨在利用这些技术搭建一个高效、可扩展的存储解决方案。 **Hadoop** 是一个开源的分布式计算框架,主要由HDFS(Hadoop Distributed File System)和...
接下来是HBase,一个基于Hadoop的分布式数据库,适用于半结构化数据的存储。HBase2.1.0提供了更好的性能和稳定性。配置HBase集群需要: 1. 设置Hadoop依赖:在`hbase-site.xml`中指定Hadoop的配置目录。 2. 配置...
HBase是基于Hadoop的NoSQL数据库,用于存储和处理大规模数据。安装HBase需要下载hbase-0.96.2-hadoop2-bin.tar.gz安装包,然后解压缩并配置HBase。 集群环境搭建 搭建Hadoop2.2+Zookeeper3.4.5+HBase0.96集群环境...
本篇将详细阐述如何在Hadoop 2.7.1环境下搭建HBase 1.2.1集群,并进行性能优化,以提升系统效率。 首先,我们需要了解Hadoop和HBase的基本概念。Hadoop是基于分布式文件系统HDFS(Hadoop Distributed File System)...
大数据综合实验环境搭建(3个集群、Zookeeper、Hive、HBase) 本资源摘要信息主要对大数据综合实验环境搭建进行了详细的介绍,涵盖了 JDK 的安装和配置、免密码登录的设置、Zookeeper 的安装、Hive 和 HBase 的安装...
4. HBase:基于Hadoop的分布式NoSQL数据库,支持实时读写。 九、验证Hadoop安装 1. 使用hadoop fs -ls 命令查看HDFS中的文件。 2. 运行WordCount示例,体验Hadoop的MapReduce计算过程。 通过以上步骤,你已经成功...
Hadoop是一个开源框架,主要用于分布式存储和计算,而HBase是基于Hadoop的分布式列式数据库,适用于实时查询和大规模数据处理。本教程将详述如何搭建一个高可用的Hadoop和HBase测试环境。 首先,我们要理解高可用性...
HBase 2.2.2则是基于Hadoop的分布式数据库,适用于大数据的实时访问。 1. **Hadoop安装与配置**: - 解压Hadoop 3.1.3压缩包到指定目录,例如`C:\hadoop`。 - 修改`etc\hadoop\hadoop-env.cmd`,设置`HADOOP_HOME...
【标题】基于Hadoop的云盘系统 在云计算领域,数据存储和管理是核心问题之一。基于Hadoop的云盘系统是一种分布式存储解决方案,利用Hadoop的可扩展性和高容错性来处理大规模数据。Hadoop是Apache软件基金会的一个...
2. HBase:HBase是基于Hadoop的分布式NoSQL数据库,提供了高性能的数据存储和检索能力。 3. Pig:Pig是基于Hadoop的数据处理语言,提供了高效的数据处理和分析能力。 4. Hive:Hive是基于Hadoop的数据仓库工具,提供...
Hbase是基于Hadoop的一个分布式数据库,其安装配置过程也较为复杂。 ##### 6.1 解压及重命名 将Hbase压缩包解压至指定目录,并进行必要的重命名。 ##### 6.2 配置文件修改 - **hbase-site.xml** - 设置Hbase的...