`
lxiaodao
  • 浏览: 121556 次
  • 性别: Icon_minigender_1
  • 来自: 成都
社区版块
存档分类
最新评论

NoSql选型:Hbase+hadoop想说爱你不容易之单机配置(一)

阅读更多
Hbase+hadoop单机配置经历
    Hbase默认使用本地文件系统,如果使用hdfs,就需要修改一下配置文件。官方建议不要修改hbase-default.xml的默认配置,而是采用hbase-site.xml里面加入配置进行覆盖相同的配置项。我觉得这个默认规则很好,保持hbase-default不变,修改项全部在hbase-site里面,查阅起来很方便。如果hbase-default修改多了,以后就忘了到底修改了哪些,查询很麻烦,不利于维护。
    hadoop配置文件展示
     core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
 <property>
   <name>fs.default.name</name>
   <value>hdfs://129.42.13.118:9000</value>
</property>

<property>
    <name>hadoop.tmp.dir</name>
    <value>/root/hadoop/tmp</value>
</property>
</configuration>

    hadoop-env.sh
如果修改ssh端口,可以修改hadoop-env.sh的配置
 export HADOOP_SSH_OPTS="-p 9092"

    hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>   

<property>  
	<name>dfs.name.dir</name>  
	<value>/root/hadoop/namenode</value>  
</property>  
<property>  
	<name>dfs.data.dir</name>  
	<value>/root/hadoop/data</value>  
</property>

<property>
   <name>dfs.replication</name>
   <value>1</value>
</property>

<property>
  <name>dfs.block.size</name>
  <value>5120000</value>
  <description>The default block size for new files.</description>
</property>

</configuration>

   mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration> 

<property>
      <name>mapred.job.tracker</name>
      <value>129.42.13.118:9001</value>
   </property>

</configuration>

masters和slaves单机的时候就可以不修改。
Hbase配置文件展示
hbase-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://icache-9200.site:9000/hbase</value>
    <description>The directory shared by region servers.
    </description>
  </property>
</configuration>

以上配置就可以正常工作,先启动hadoop,后启动hbase
运行hadoop/hbase,命令根据实际的目录为准,不一定与我的一致:
1. hadoop-0.20.2/bin/hadoop namenode -format
2. hadoop-0.20.2/bin/start-all.sh
3. hbase-0.20.6/bin/start-hbase.sh


分享到:
评论

相关推荐

    搭建hadoop单机版+hbase单机版+pinpoint整合springboot.zip

    1. **Hadoop单机版**:Hadoop是Apache基金会开发的一个开源分布式计算平台,主要解决大规模数据处理的问题。在单机版的安装中,我们首先需要下载Hadoop 2.7.3的版本,然后在CentOS7系统上进行配置。这包括设置环境...

    Hadoop+HBase+Java API

    标题 "Hadoop+HBase+Java API" 涉及到三个主要的开源技术:Hadoop、HBase以及Java API,这些都是大数据处理和存储领域的关键组件。以下是对这些技术及其结合使用的详细介绍: **Hadoop** 是一个分布式计算框架,由...

    Hadoop+Hbase+Spark+Hive搭建

    Hbase是基于Hadoop的分布式NoSQL数据库,提供了高效的数据存储和检索能力。Spark是基于内存的数据处理引擎,能够快速处理大规模数据。Hive是基于Hadoop的数据仓库工具,提供了高效的数据处理和分析能力。本文档旨在...

    hbase+hadoop下载(linux中的tar包)

    HBase是一个分布式的、基于列族的NoSQL数据库,它构建在Hadoop文件系统(HDFS)之上,提供高吞吐量的数据访问。而Hadoop则是开源的分布式计算框架,主要由HDFS和MapReduce两部分组成。 1. **Hadoop简介** - **HDFS...

    19:Flume+HBase+Hive集成大数据项目离线分析.rar

    2. **HBase**: HBase 是一个基于 Google 的 Bigtable 模型构建的开源非关系型分布式数据库(NoSQL),它运行在 Hadoop 文件系统(HDFS)之上。HBase 提供了实时读写、随机访问和强一致性保证,适合存储大规模结构化...

    Hadoop Zookeeper HBase集群

    标题 "Hadoop Zookeeper HBase集群" 涉及到的是大数据处理领域中的三个关键组件:Hadoop、Zookeeper和HBase。这三个组件在构建分布式系统中起着至关重要的作用。 首先,Hadoop是Apache软件基金会开发的一个开源框架...

    16:Flume+HBase+Kafka集成开发.rar

    HBase是基于Google Bigtable设计的开源分布式NoSQL数据库,运行在Hadoop之上。它为大规模半结构化数据提供了高并发、低延迟的随机读写能力。HBase采用行式存储,适合处理大规模稀疏数据。 将Flume、Kafka和HBase...

    论文:HBase: A NoSQL database

    这种背景下,NoSQL数据库应运而生,HBase便是其中的一种,它构建在Hadoop之上,为大规模数据的管理和处理提供了新的解决方案。 #### HBase概述 HBase是一个开源的、非关系型的(NoSQL)分布式数据库,作为Apache...

    Hadoop+Zookeeper+Hbase+Hive部署.doc

    大数据平台搭建之 Hadoop+Zookeeper+Hbase+Hive 部署指南 大数据平台搭建是指通过集成多种大数据处理技术,构建一个功能强大、可靠、高效的数据处理平台。本文档主要介绍如何部署 Hadoop、Zookeeper、Hbase、Hive ...

    Hbase和Hadoop JMX监控实战

    HBase是一个基于Google的Bigtable设计的开源NoSQL数据库,它运行在Hadoop之上,提供高度可扩展的、高性能的、随机访问的、列族式的分布式存储系统。HBase适合处理大规模的数据集,尤其是在需要实时读写操作的场景下...

    Hadoop hbase hive sqoop集群环境安装配置及使用文档

    该文档将分为四部分:Hadoop 集群环境搭建、HBase 集群环境搭建、Hive 集群环境搭建和 Sqoop 集成使用。 一、Hadoop 集群环境搭建 1.1 JDK 安装与配置 在开始搭建 Hadoop 集群环境前,我们需要先安装并配置 JDK。...

    HBase学习利器:HBase实战

    - **第2章:入门指南**:通过一个简单的例子来展示如何安装配置HBase环境,以及如何使用命令行工具进行基本操作,如创建表、插入数据和查询数据。 - **第3章:分布式HBase、HDFS和MapReduce**:深入探讨HBase如何...

    Hadoop2.2+Zookeeper3.4.5+HBase0.96集群环境搭建

    为搭建Hadoop2.2+Zookeeper3.4.5+HBase0.96集群环境,需要至少3台Linux机器,建议使用Centos6.4 64位操作系统,每台机器建议配置不低于4G内存和10G磁盘空间。 软件方面,需要安装jdk-7u55-linux-x64.rpm、apache-...

    java集成hadoop-hbase用到的jar包

    Hadoop是一个分布式存储和计算框架,而HBase是一个构建在Hadoop之上的非关系型数据库(NoSQL),特别适合处理大规模数据。这里我们将详细探讨Java如何与这两个组件进行交互,并重点关注所需的jar包。 首先,Java...

    数据算法: Hadoop+Spark大数据处理技巧.pdf

    《数据算法:Hadoop+Spark大数据处理技巧》是一本深入探讨大数据处理技术的专业书籍,主要聚焦于两大主流的大数据处理框架——Hadoop和Spark。这本书不仅涵盖了基础理论,还提供了丰富的实践指导,对于想要深入了解...

    基于hadoop+hbase+springboot实现分布式网盘系统.zip

    本项目“基于hadoop+hbase+springboot实现分布式网盘系统”旨在利用这些技术搭建一个高效、可扩展的存储解决方案。 **Hadoop** 是一个开源的分布式计算框架,主要由HDFS(Hadoop Distributed File System)和...

    基于SpringMVC+Spring+HBase+Maven搭建的Hadoop分布式云盘系统.zip

    HBase是建立在Hadoop之上的NoSQL数据库,适合处理大规模结构化数据。在分布式云盘系统中,HBase用于存储用户的文件数据,提供高并发、低延迟的读写操作。它的列族和时间戳特性,使得数据查询和版本管理变得高效,...

Global site tag (gtag.js) - Google Analytics