`
lifei0327
  • 浏览: 33801 次
社区版块
存档分类
最新评论

单机版hbase

阅读更多
hadoop-0.20.2
hbase-0.90.5

免密码ssh设置
现在确认能否不输入口令就用ssh登录localhost:
$ ssh localhost


/etc/hosts
192.168.10.147 fredmaster


如果不输入口令就无法用ssh登陆localhost,执行下面的命令:
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys


HADOOP配置
1,core-site.xml

<configuration>
	<!-- In: conf/core-site.xml -->
	<property>
	  <name>hadoop.tmp.dir</name>
	  <value>/hadoop/hdata/tmp</value>
	  <description>A base for other temporary directories.</description>
	</property>

	<property>
	  <name>fs.default.name</name>
	  <value>hdfs://fredmaster:9000</value>
	  <description>The name of the default file system.  A URI whose
	  scheme and authority determine the FileSystem implementation.  The
	  uri's scheme determines the config property (fs.SCHEME.impl) naming
	  the FileSystem implementation class.  The uri's authority is used to
	  determine the host, port, etc. for a filesystem.</description>
	</property>

	<property>
	  <name>fs.checkpoint.dir</name>
	  <value>/hadoop/hdata/secondname</value>
	  <description>Determines where on the local filesystem the DFS secondary
	      name node should store the temporary images to merge.
	      If this is a comma-delimited list of directories then the image is
	      replicated in all of the directories for redundancy.
	  </description>
	</property>

	<property>
	  <name>dfs.http.address</name>
	  <value>fredmaster:50070</value>
	  <description>
	    The address and the base port where the dfs namenode web ui will listen on.
	    If the port is 0 then the server will start on a free port.
	  </description>
	</property>
</configuration>


2,hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.6.0_29
 export HADOOP_SSH_OPTS="-p 22"


3,hdfs-site.xml
<configuration>
	<!-- In: conf/hdfs-site.xml -->
	<property>
	   <name>dfs.name.dir</name>
	   <value>/hadoop/hdata/name</value>
	</property>
	<property>
	   <name>dfs.data.dir</name>
	   <value>/hadoop/hdata/data</value>
	</property>
	<property>
	  <name>dfs.replication</name>
	  <value>3</value>
	  <description>Default block replication.
	  The actual number of replications can be specified when the file is created.
	  The default is used if replication is not specified in create time.
	  </description>
	</property>
	<property>  
	  <name>dfs.datanode.max.xcievers</name>  
	  <value>4096</value>  
	</property>  
</configuration>

4,mapred-site.xml
<configuration>
	<!-- In: conf/mapred-site.xml -->
	<property>
	  <name>mapred.job.tracker</name>
	  <value>fredmaster:10001</value>
	  <description>The host and port that the MapReduce job tracker runs
	  at.  If "local", then jobs are run in-process as a single map
	  and reduce task.
	  </description>
	</property>
</configuration>


5,masters
fredmaster


6,slaves
fredmaster


执行
格式化一个新的分布式文件系统:
$ bin/hadoop namenode -format

启动Hadoop守护进程:
$ bin/start-all.sh

hadoop dfs -mkdir /hbase

http://192.168.10.147:50070/dfshealth.jsp

浏览NameNode和JobTracker的网络接口,它们的地址默认为:

NameNode - http://localhost:50070/
JobTracker - http://localhost:50030/

完成全部操作后,停止守护进程:
$ bin/stop-all.sh

HBASE配置
1,hbase-env.sh
export HBASE_SSH_OPTS="-p 22"
export HBASE_MANAGES_ZK=true


2,hbase-site.xml
<configuration>
  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://fredmaster:9000/hbase</value>
  </property>

  <property>
      <name>hbase.cluster.distributed</name>
      <value>false</value>
      <description>The mode the cluster will be in. Possible values are
              false: standalone and pseudo-distributed setups with managed Zookeeper
             true: fully-distributed with unmanaged Zookeeper Quorum (see hbase-env.sh)
      </description>
  </property>

  <property>
      <name>hbase.master</name>
      <value>fredmaster:60000</value>
  </property>

  <property>
      <name>hbase.zookeeper.quorum</name>
      <value>fredmaster</value>
  </property>

  <property>
      <name>hbase.zookeeper.property.dataDir</name>
      <value>/hadoop/hdata/zookeeper</value>
      <description>Property from ZooKeeper's config zoo.cfg.
          The directory where the snapshot is stored.
      </description>
  </property>

  <property>
      <name>zookeeper.session.timeout</name>
      <value>60000</value>
  </property>

  <property>
      <name>hbase.zookeeper.property.clientPort</name>
      <value>2181</value>
  </property>

  <property>
      <name>hbase.regionserver.restart.on.zk.expire</name>
      <value>true</value>
  </property>
</configuration>


3,regionservers
fredmaster


http://192.168.10.147:60010/master.jsp
分享到:
评论

相关推荐

    搭建hadoop单机版+hbase单机版+pinpoint整合springboot.zip

    搭建一个完整的Hadoop单机版、HBase单机版以及Pinpoint与SpringBoot的整合环境,需要对大数据处理框架和微服务监控有深入的理解。在这个过程中,我们将涉及到以下几个关键知识点: 1. **Hadoop单机版**:Hadoop是...

    HBase配置项说明及调优建议.zip

    在大数据存储领域,HBase作为一个分布式列式数据库,被广泛应用于处理海量结构化数据。它基于Google的Bigtable设计,并由Apache基金会维护。HBase以其高并发、低延迟的特性,成为了许多大型互联网公司处理实时大数据...

    HBase单机版部署教程

    HBase单机版部署教程 HBase是一种基于Hadoop的分布式、面向列的NoSQL数据库,它提供了高性能、可扩展、灵活的数据存储解决方案。下面是HBase单机版部署的详细教程: 安装JDK 首先,我们需要安装JDK,因为HBase...

    centos7 安装 hbase单机版

    首先下载hbase安装包 wget http://mirror.bit.edu.cn/apache/hbase/stable/hbase-2.2.3-bin.tar.gz 解压压缩包 tar -zxvf hbase-2.2.3-bin.tar.gz 修改/opt/hbase-2.2.3/conf/hbse-env.sh文件 第一步 设置javahome ...

    基于Spring Boot和HBase的HBase客户端应用.zip

    - **HBase集群搭建**:使用Docker容器化技术,快速搭建单机版HBase集群,包括数据节点、主节点、名称节点、区域服务器和Zookeeper。 - **Spring Boot集成**:利用Spring Boot的自动配置和依赖注入特性,简化HBase...

    第二步-hbase-hbase-1.2.9在centos7上部署安装(单机版).zip

    单机版的HBase适用于学习和测试,不适用于生产环境。在生产环境中,你需要配置分布式模式,以确保高可用性和可扩展性。 以上就是HBase 1.2.9在CentOS 7上的单机部署过程,以及与Hadoop的简单整合。对于Pinpoint和...

    hbase-2.3.5单机一键部署工具

    注意:zookeeper3.4.13和hbase2.3.5都是采用docker-compose方式部署 原文链接:https://blog.csdn.net/m0_37814112/article/details/120915194 说明:使用外部zookeeper3.4.13之hbase2.3.5一键部署工具,支持部署、...

    Sqoop数据采集工具简介、安装、使用学习笔记(配合Hive和Hbase)

    - **安装模式**:为了简化流程,选择安装单机版 HBase。 - **环境配置**: - 解压并配置环境变量。 - 修改 `hbase-env.sh` 文件,设置 `HBASE_MANAGES_ZK=true`,使用 HBase 自带的 Zookeeper。 - 配置 `hbase-...

    Hbase单机配置超详细版本(图)

    Linux环境下Hbase单机配置超详细版本,图文教程

    hbase-2.4.17-bin 安装包

    HBase是Apache Hadoop生态系统中的一个分布式、版本化、列族式存储系统,设计用于处理大规模数据集。这个“hbase-2.4.17-bin”安装包提供了HBase的最新稳定版本2.4.17,适用于大数据处理和分析场景。下面将详细介绍...

    Hbase 的shell基本操作

    HBase是Apache的一个开源非关系型分布式数据库(NoSQL),它是建立在Hadoop文件系统(HDFS)之上,适用于需要快速读/写访问大量随机数据的场景。HBase采用了Google的Bigtable数据模型,底层物理存储采用了列存储的...

    AMWU-大数据一:hello HBase (HBase1.03伪单机版本安装,Windows7 JAVA远程调用

    HBase AMWU-大数据一:hello HBase (HBase1.03伪单机版本安装,Windows7 JAVA远程调用)

    hbase安装与使用

    1. **概述**:单机模式是 HBase 默认的安装模式,适用于测试和开发环境。在此模式下,HBase 使用本地文件系统存储数据,不依赖于 Hadoop 和 HDFS。 2. **启动 HBase**:在根用户下启动 HBase 服务。 ```bash bin...

    基于 HBase 安装 OpenTSDB 单机环境

    基于HBase安装OpenTSDB单机环境的知识点涵盖了从操作系统环境准备到各个组件安装配置的详细步骤,下面是根据提供的内容整理出的知识点。 1. 环境说明 环境说明部分通常会介绍部署OpenTSDB所需的软硬件环境要求。...

    hbase2.2安装文件

    1. `hbase-2.2.2-bin.tar.gz`:这是HBase的二进制发行版,包含了运行HBase所需的所有可执行文件、库和配置文件。解压后,你可以直接在支持Java的环境中启动HBase服务,进行集群或单机模式的部署。 2. `hbase-2.2.2-...

    hbase 数据库

    在这个“hbase 安装包”中,包含的文件“hbase-1.2.1”可能是HBase的特定版本,如1.2.1版的源码或二进制发行包。 安装HBase涉及以下几个关键步骤: 1. **系统需求**:首先,确保你的操作系统是支持HBase的,通常是...

    Hbase的安装过程及基本操作

    对于初学者,可以先在单机模式下配置Hbase。在`hbase-site.xml`中设置`hbase.cluster.distributed`属性为`false`。 8. **启动与测试**: 使用`start-hbase.sh`命令启动Hbase,然后运行`jps`命令查看进程列表。...

    Hbase 安装与基本使用

    2. **下载HBase**:从Apache官网下载最新稳定版的HBase二进制包,解压到指定目录。 3. **配置环境变量**:在系统环境变量中添加HBASE_HOME,并将HBase的bin目录添加到PATH变量中。 4. **配置Hadoop**:HBase需要与...

    windows中安装Hadoop与Hbase

    在Windows系统中安装和配置Hadoop和Hbase,是为了建立起一个适合单机测试和开发的本地大数据环境。Hadoop是一个由Apache基金会开发的开源框架,用于存储和处理大规模数据,它通过可靠的分布式存储(HDFS)和分布式...

    hbase 完全使用手册

    首先,手册从介绍 HBase 入手,然后通过快速入门指南引导用户搭建起单机版的 HBase 环境,接着深入探讨了 HBase 的配置细节,包括配置文件和运行模式等内容。此外,手册还介绍了一些基本的准备工作,比如安装 Java ...

Global site tag (gtag.js) - Google Analytics