- 浏览: 1044591 次
- 性别:
- 来自: 北京
文章分类
- 全部博客 (538)
- 奇文共赏 (36)
- spring (13)
- hibernate (10)
- AOP/Aspectj (9)
- spring security (7)
- lucence (5)
- compass (3)
- jbmp (2)
- jboss rule(drools) (0)
- birt (1)
- jasper (1)
- cxf (3)
- flex (98)
- webgis (6)
- 设计模式 (1)
- 代码重构 (2)
- log4j (1)
- tomcat (9)
- 神品音乐 (1)
- 工作计划 (2)
- appfuse (1)
- svn (4)
- 寻章摘句 (3)
- eclipse (10)
- arcgis api for flex (1)
- 算法 (5)
- opengis-cs (1)
- bug心得 (13)
- 图标 (1)
- software&key (14)
- java (17)
- 搞笑视频 (13)
- sqlserver (9)
- postgresql (1)
- postgis (0)
- geoserver (5)
- 日子 (50)
- 水晶报表 (1)
- 绝对电影 (3)
- Alternativa3D (1)
- 酷站大全 (10)
- c++ (5)
- oracle (17)
- oracle spatial (25)
- flashbuilder4 (3)
- TweenLite (1)
- DailyBuild (6)
- 华山论贱 (5)
- 系统性能 (5)
- 经典古文 (6)
- SOA/SCA/OSGI (6)
- jira (2)
- Hadoop生态圈(hadoop/hbase/pig/hive/zookeeper) (37)
- 风水 (1)
- linux操作基础 (17)
- 经济 (4)
- 茶 (3)
- JUnit (1)
- C# dotNet (1)
- netbeans (1)
- Java2D (1)
- QT4 (1)
- google Test/Mock/AutoTest (3)
- maven (1)
- 3d/OSG (1)
- Eclipse RCP (3)
- CUDA (1)
- Access control (0)
- http://linux.chinaunix.net/techdoc/beginner/2008/01/29/977725.shtml (1)
- redis (1)
最新评论
-
dove19900520:
朋友,你确定你的标题跟文章内容对应???
tomcat控制浏览器不缓存 -
wussrc:
我只想说牛逼,就我接触过的那点云计算的东西,仔细想想还真是这么 ...
别样解释云计算,太TM天才跨界了 -
hw_imxy:
endpoint="/Hello/messagebr ...
flex+java代码分两个工程 -
gaohejie:
rsrsdgrfdh坎坎坷坷
Flex 与 Spring 集成 -
李涤尘:
谢谢。不过说得有点太罗嗦了。
Oracle数据库数据的导入及导出(转)
http://blog.csdn.net/dajuezhao/archive/2010/07/07/5717541.aspx
一、安装准备 1、下载HBASE 0.20.5版本:http://www.apache.org/dist/hbase/hbase-0.20.5/ 2、JDK版本:jdk-6u20-linux-i586.bin 3、操作系统:Linux s132 2.6.9-78.8AXS2smp #1 SMP Tue Dec 16 02:42:55 EST 2008 x86_64 x86_64 x86_64 GNU/Linux 4、默认前提是安装完hadoop 0.20.2版本: 192.168.3.131 namenode 192.168.3.132 datanode 192.168.3.133 datanode 二、操作步骤(默认在namenode上进行) 1、拷贝以上文件到Linux的“/root”目录下。同时新建目录“/jz”。 2、安装JDK,此步省略... 3、解压hbase到/jz目录下。tar -zxvf hbase-0.20.5.tar.gz -C /jz 4、修改/jz/hbase-0.20.5/conf/hbase-env.sh文件。指定本地的JDK安装路径: 2、进入/jz/hbase-0.20.5/bin目录,执行hbsae shell命令,进入hbase控制台,显示如下。 四、一些异常的和注意事项 1、安装hbase 0.20.5版本自带了zookeeper-3.2.2,所以不需要单独安装zookeeper。 2、hbase默认通过zookeeper管理,配置项在/jz/hbase-0.20.5/conf/hbase-env.sh文件中: 如果需要采用自带安装的zookeeper,可以将注释取消,把true修改为false。否则启动hbase的时候将会提示地址被占用。不过不影响hbase正常使用。 3、通过shell控制台想hbase插入中文数据将会报错,这是由于hbase中只是存放字节,采用程序将汉字改为字节录入即可。 4、在hbase脚本中执行shell命令,如果出现以下错误,表示hbase中有节点不能正常运行。
export JAVA_HOME=/usr/java/jdk1.6.0_20
5、修改/jz/hbase-0.20.5/conf/hbase-site.xml。内容如下:
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://m131:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.master.port</name>
<value>60000</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>m131,s132,s133</value>
</property>
</configuration>
6、修改/jz/hbase-0.20.5/conf/regionservers文件(同hadoop的slaves文件内容相同),内容如下:
s132
s133
7、 将 “/jz/hbase-0.20.5” 目录分别拷贝到192.168.3.132和192.168.3.133下。
8、修改/etc/profile文件,在文件末尾加上环境变量:
export HBASE_HOME=/jz/hbase-0.20.5
export PATH=$PATH:$HBASE_HOME/bin
将文件拷贝到192.168.3.132和192.168.3.133对应的目录下,分别在各个控制台输入:source /etc/profile,使之生效。
9、修改/etc/hosts文件,如下:
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1 localhost
192.168.3.131 m131
192.168.3.132 s132
192.168.3.133 s133
然后将文件拷贝到192.168.3.132和192.168.3.133对应的目录下
三、启动HBase
1、通过shell脚本启动hbase。
sh /jz/hbase-0.20.5/bin/start-hbase.sh
[root@m131 conf]# hbase shell
HBase Shell; enter 'help<RETURN>' for list of supported commands.
Version: 0.20.5, r956266, Sat Jun 19 12:25:12 PDT 2010
hbase(main):001:0>
hbase(main):001:0> list
0 row(s) in 0.0610 seconds
hbase(main):002:0>
4、WEB查看hbase
查看Master
http://192.168.3.131:60010/master.jsp
查看Region Server
http://192.168.3.132:60030/regionserver.jsp
查看ZK Tree
http://192.168.3.131:60010/zk.jsp
# Tell HBase whether it should manage it's own instance of Zookeeper or not.
# export HBASE_MANAGES_ZK=true
NativeException: org.apache.hadoop.hbase.client.RetriesExhaustedException: Trying to contact region server 192.168.3.139:60020 for region .META.,,1, row '', but failed after 7 attempts.
5、有疑问或是写的不对的地方欢迎大家发邮件交流:dajuezhao@gmail.com
发表评论
-
一网打尽当下NoSQL类型、适用场景及使用公司
2014-12-28 20:56 958一网打尽当下NoSQL类型、适用场景及使用公司 http:// ... -
别样解释云计算,太TM天才跨界了
2014-02-25 09:41 2431http://mp.weixin.qq.com/s?__bi ... -
Build, Install, Configure and Run Apache Hadoop 2.2.0 in Microsoft Windows OS
2013-12-09 11:17 2523http://www.srccodes.com/p/arti ... -
hadoop的超时设置
2013-06-23 11:47 2416from http://blog.163.com/zheng ... -
hadoop与panasas
2012-12-26 09:53 875在应用的场景中,hadoop当然希望使用全部的本地硬盘,但是对 ... -
程序开过多线程,导致hadoop作业无法运行成功
2012-10-23 16:14 7057Exception in thread "Threa ... -
mount盘异常,导致hadoop作业无法发送
2012-10-23 16:12 946异常信息 2012-10-23 21:10:42,18 ... -
HDFS quota 設定
2012-08-02 16:22 5507http://fenriswolf.me/2012/04/04 ... -
hadoop常用的指令
2011-10-09 16:50 1698hadoop job -kill jobid 可以整个的杀掉 ... -
Hadoop基准测试
2011-08-08 10:04 1269http://www.michael-noll.com/ ... -
Hadoop Job Scheduler作业调度器
2011-05-21 11:02 2519http://hi.baidu.com/zhengxiang3 ... -
hadoop指定某个文件的blocksize,而不改变整个集群的blocksize
2011-03-20 17:20 2103文件上传的时候,使用下面的命令即可 hadoop f ... -
Hadoop Job Tuning
2011-02-28 15:53 811http://www.searchtb.com/2010/12 ... -
如何在不重启整个hadoop集群的情况下,增加新的节点
2011-02-25 10:12 13921.在namenode 的conf/slaves文件中增加新的 ... -
对hadoop task进行profiling的几种方法整理
2011-02-10 21:57 1647对hadoop task进行profiling的几种方法整 ... -
如何对hadoop作业的某个task进行debug单步跟踪
2011-02-10 21:56 2076http://blog.csdn.net/AE86_FC/ar ... -
hadoop 0.20 程式開發 eclipse plugin
2011-01-26 19:36 2252http://trac.nchc.org.tw/cloud/w ... -
hadoop-0.21.0-eclipse-plugin无法在eclipse中运行解决方案
2011-01-26 09:47 3592LINUX下将hadoop-0.21自带的hadoop ecl ... -
How to Benchmark a Hadoop Cluster
2011-01-19 22:15 2841How to Benchmark a Hadoop Clu ... -
json在线格式化
2010-12-21 16:23 2427http://jsonformatter.curiouscon ...
相关推荐
在深入了解HBase分布式事务与SQL实现前,我们首先需要明确几个核心概念和组件,这些包括HBase基础架构、Google Percolator模型、TiDB分布式数据库,以及它们之间的关系。 HBase是一款分布式的、开源的NoSQL数据库,...
hbase分布式安装(zookeeper3.4.8+hbase2.1.0).pdf
### HBase 1.2 分布式安装分享 #### 一、概述 HBase是Apache Hadoop生态系统中的一个重要的组成部分,它提供了一种分布式的、面向列的存储系统,能够处理非常大量的数据,并且可以实时地进行读写操作。本文档主要...
第零章 大数据概述(2学时) 第一章 Hadoop概述(2学时) 第二章 Hadoop环境搭建(6学时) ...第五章 分布式数据库HBase(6学时) 第六章 分布式数据仓库Hive(8学时) 第七章 综合实例(8学时)
本手册介绍在多个节点上安装配置HBase分布式系统的详细步骤和知识点。首先,为了保证在多个节点上部署成功,需确保Hadoop环境已经搭建完毕。文档中提到实验环境包含三个结点,主机名为master, slave1和slave2。HBase...
HBase伪分布式环境搭建及数据操作测试 本人成功搭建伪分布式的操作以及截图
在这个“hbase分布式.rar”压缩包中,我们主要探讨HBase的分布式架构、核心概念以及如何在实际应用中部署和管理HBase集群。 一、HBase的分布式架构 HBase的架构基于行键(Row Key)存储,它将数据分布在多个节点上...
本项目为基于Java语言的HBase分布式数据库设计源码,包含5415个文件,涵盖了4575个Java源文件、223个Ruby脚本、118个XML配置文件、68个Protocol Buffers文件、64个AsciiDoc文件、49个Shell脚本、41个PNG图像文件、29...
HBase分布式集群的安装与配置主要包括以下几个步骤: 1. 安装HBase:根据HBase的版本要求,在所有Hadoop节点上下载并安装HBase的tar包。 2. 配置HBase:编辑HBase的配置文件,主要是修改hbase-site.xml文件,设置...
HBase的安装与配置,HBase管理与HBase Shell。 1、掌握HBase数据库服务的启动、停止; 2、掌握HBase Shell操作命令; 3、掌握使用HBase Shell命令创建表; 4、掌握使用HBase Shell操作数据表。
HBase是一种分布式的、面向列的开源数据库...总之,HBase分布式安装涉及到多个组件的协同工作,每个组件都有其特定的角色和配置需求。正确地安装和配置这些组件,可以构建一个强大、可靠的分布式大数据存储和处理平台。
内容概要:本文档详细介绍了一个高可靠性、高性能、面向列、可扩展的分布式存储系统——HBase。首先阐述了HBase的基本概念及其优势特点,接着详述了HBase的安装步骤,包括操作系统的要求、Java与Hadoop的前置条件...
本文将详细介绍如何在本地环境中进行Hadoop2.7.5与HBase1.2.6的伪分布式安装,这是一个适合初学者入门的实践教程。 Hadoop是Apache基金会的一个开源项目,主要由HDFS(Hadoop Distributed File System)和MapReduce...
Hbase分布式数据库 v2.2.6 稳定版.gz
基于HBASE分布式存储的通用海量日志系统设计方法研究涉及的关键技术主要包括分布式存储系统HBASE和REDIS分布式缓存技术,以及海量日志数据的高效存储与查询处理。以下详细解析了文章中提到的关键知识点。 HBASE...
**HBase分布式数据库详解** HBase,全称为Apache HBase,是构建在Hadoop文件系统(HDFS)之上的开源、非关系型、分布式数据库。它属于NoSQL数据库的一种,特别适合于处理海量数据,尤其适用于实时读写操作。HBase v...
首先,确保已安装Hadoop、JDK、HBase和Zookeeper。然后,在Hbase的`hbase-env.sh`文件中配置JAVA_HOME,并在`hbase-site.xml`中设置`hbase.rootdir`以指定数据存储位置。单机模式启动时,只需执行`start-hbase.sh`,...
该项目是一款基于Java的HBase分布式数据库设计源码,融合了多种编程语言,包括Ruby、Shell、Python、HTML、CSS、JavaScript、C++、PHP、C和C。源码文件总数达到5259个,其中Java源文件占主导地位,高达4436个。该...
标题中的“电信设备-基于HBase分布式环境下移动对象并行网格索引同步方法”揭示了一个关键的技术主题,即如何在HBase分布式环境下对移动对象进行高效的索引和同步。下面我们将详细探讨这一领域的核心知识点。 1. ...
该项目为HBase分布式数据库的设计源码,采用Java作为主要开发语言,并融合了Ruby、Shell、Python、HTML、JavaScript、CSS、C++、C、PHP等语言,总文件量达到5854个。其中,Java文件占主导地位,达4975个,其他文件...