Hbase+hadoop单机配置经历
Hbase默认使用本地文件系统,如果使用hdfs,就需要修改一下配置文件。官方建议不要修改hbase-default.xml的默认配置,而是采用hbase-site.xml里面加入配置进行覆盖相同的配置项。我觉得这个默认规则很好,保持hbase-default不变,修改项全部在hbase-site里面,查阅起来很方便。如果hbase-default修改多了,以后就忘了到底修改了哪些,查询很麻烦,不利于维护。
hadoop配置文件展示
core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://129.42.13.118:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/root/hadoop/tmp</value>
</property>
</configuration>
hadoop-env.sh
如果修改ssh端口,可以修改hadoop-env.sh的配置
export HADOOP_SSH_OPTS="-p 9092"
hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.name.dir</name>
<value>/root/hadoop/namenode</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/root/hadoop/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.block.size</name>
<value>5120000</value>
<description>The default block size for new files.</description>
</property>
</configuration>
mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>129.42.13.118:9001</value>
</property>
</configuration>
masters和slaves单机的时候就可以不修改。
Hbase配置文件展示
hbase-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://icache-9200.site:9000/hbase</value>
<description>The directory shared by region servers.
</description>
</property>
</configuration>
以上配置就可以正常工作,先启动hadoop,后启动hbase
运行hadoop/hbase,命令根据实际的目录为准,不一定与我的一致:
1. hadoop-0.20.2/bin/hadoop namenode -format
2. hadoop-0.20.2/bin/start-all.sh
3. hbase-0.20.6/bin/start-hbase.sh
分享到:
相关推荐
1. **Hadoop单机版**:Hadoop是Apache基金会开发的一个开源分布式计算平台,主要解决大规模数据处理的问题。在单机版的安装中,我们首先需要下载Hadoop 2.7.3的版本,然后在CentOS7系统上进行配置。这包括设置环境...
标题 "Hadoop+HBase+Java API" 涉及到三个主要的开源技术:Hadoop、HBase以及Java API,这些都是大数据处理和存储领域的关键组件。以下是对这些技术及其结合使用的详细介绍: **Hadoop** 是一个分布式计算框架,由...
Hbase是基于Hadoop的分布式NoSQL数据库,提供了高效的数据存储和检索能力。Spark是基于内存的数据处理引擎,能够快速处理大规模数据。Hive是基于Hadoop的数据仓库工具,提供了高效的数据处理和分析能力。本文档旨在...
HBase是一个分布式的、基于列族的NoSQL数据库,它构建在Hadoop文件系统(HDFS)之上,提供高吞吐量的数据访问。而Hadoop则是开源的分布式计算框架,主要由HDFS和MapReduce两部分组成。 1. **Hadoop简介** - **HDFS...
2. **HBase**: HBase 是一个基于 Google 的 Bigtable 模型构建的开源非关系型分布式数据库(NoSQL),它运行在 Hadoop 文件系统(HDFS)之上。HBase 提供了实时读写、随机访问和强一致性保证,适合存储大规模结构化...
标题 "Hadoop Zookeeper HBase集群" 涉及到的是大数据处理领域中的三个关键组件:Hadoop、Zookeeper和HBase。这三个组件在构建分布式系统中起着至关重要的作用。 首先,Hadoop是Apache软件基金会开发的一个开源框架...
HBase是基于Google Bigtable设计的开源分布式NoSQL数据库,运行在Hadoop之上。它为大规模半结构化数据提供了高并发、低延迟的随机读写能力。HBase采用行式存储,适合处理大规模稀疏数据。 将Flume、Kafka和HBase...
这种背景下,NoSQL数据库应运而生,HBase便是其中的一种,它构建在Hadoop之上,为大规模数据的管理和处理提供了新的解决方案。 #### HBase概述 HBase是一个开源的、非关系型的(NoSQL)分布式数据库,作为Apache...
大数据平台搭建之 Hadoop+Zookeeper+Hbase+Hive 部署指南 大数据平台搭建是指通过集成多种大数据处理技术,构建一个功能强大、可靠、高效的数据处理平台。本文档主要介绍如何部署 Hadoop、Zookeeper、Hbase、Hive ...
HBase是一个基于Google的Bigtable设计的开源NoSQL数据库,它运行在Hadoop之上,提供高度可扩展的、高性能的、随机访问的、列族式的分布式存储系统。HBase适合处理大规模的数据集,尤其是在需要实时读写操作的场景下...
该文档将分为四部分:Hadoop 集群环境搭建、HBase 集群环境搭建、Hive 集群环境搭建和 Sqoop 集成使用。 一、Hadoop 集群环境搭建 1.1 JDK 安装与配置 在开始搭建 Hadoop 集群环境前,我们需要先安装并配置 JDK。...
- **第2章:入门指南**:通过一个简单的例子来展示如何安装配置HBase环境,以及如何使用命令行工具进行基本操作,如创建表、插入数据和查询数据。 - **第3章:分布式HBase、HDFS和MapReduce**:深入探讨HBase如何...
为搭建Hadoop2.2+Zookeeper3.4.5+HBase0.96集群环境,需要至少3台Linux机器,建议使用Centos6.4 64位操作系统,每台机器建议配置不低于4G内存和10G磁盘空间。 软件方面,需要安装jdk-7u55-linux-x64.rpm、apache-...
Hadoop是一个分布式存储和计算框架,而HBase是一个构建在Hadoop之上的非关系型数据库(NoSQL),特别适合处理大规模数据。这里我们将详细探讨Java如何与这两个组件进行交互,并重点关注所需的jar包。 首先,Java...
《数据算法:Hadoop+Spark大数据处理技巧》是一本深入探讨大数据处理技术的专业书籍,主要聚焦于两大主流的大数据处理框架——Hadoop和Spark。这本书不仅涵盖了基础理论,还提供了丰富的实践指导,对于想要深入了解...
本项目“基于hadoop+hbase+springboot实现分布式网盘系统”旨在利用这些技术搭建一个高效、可扩展的存储解决方案。 **Hadoop** 是一个开源的分布式计算框架,主要由HDFS(Hadoop Distributed File System)和...
HBase是建立在Hadoop之上的NoSQL数据库,适合处理大规模结构化数据。在分布式云盘系统中,HBase用于存储用户的文件数据,提供高并发、低延迟的读写操作。它的列族和时间戳特性,使得数据查询和版本管理变得高效,...