`
tangay
  • 浏览: 94654 次
  • 性别: Icon_minigender_1
  • 来自: 南京
社区版块
存档分类
最新评论

快速升级Hadoop和HBase的小脚本

阅读更多

比如我在host1上把hadoop和hbase配置什么的搞好,打成tar包,运行以下脚本,即可在cluster升级。

我的cluster中有host1,host2,host3,host4,host5,host6,host21,host24,host0,hostut。注意这些host之间用用户hbase都可免密码ssh访问。

hbase和hadoop都会被安装在/Development下

 

 

Hadoop=hadoop-0.20.2
HBase=hbase-tm-2#45
HostList=’2
3
4
5
6
21
24
0
ut’

for i in $HostList; do
echo sending archive to host$i…
scp $Hadoop.tar  $HBase.tar hbase@host$i:/Development
done
for i in $HostList; do
echo host$i extracting and making symbolic link…
ssh hbase@host$i “cd /Development; rm hbase; rm hadoop;rm -rf $Hadoop;rm -rf $HBase; tar -xf $Hadoop.tar; tar -xf $HBase.tar; ln -s -f $HBase hbase; ln -s -f $Hadoop hadoop”

done

for i in $HostList; do
echo host$i ‘add excuting right on hbase/bin/* and hadoop/bin/*’
ssh hbase@host$i ‘cd /Development/hbase/bin; chmod +x *; cd /Development/hadoop/bin; chmod +x *’
done

脚本说明:

脚本的最上端是定义hadoop和hbase的版本

再下来是host列表

接着就是传送文件,解压,创建软连接,添加bin目录下的文件的执行权限

分享到:
评论

相关推荐

    Hadoop和Hbase 配置文件-完整好的

    通过这份详尽的配置文件集合,你可以快速搭建起一个基本的Hadoop和HBase环境,并根据实际工作负载进行优化。记住,每个参数的调整都可能影响到系统的性能、可用性和扩展性,因此在调整时要谨慎行事。

    hadoop+hbase+hive集群搭建

    在构建Hadoop+HBase+Hive集群的过程中,涉及了多个关键步骤和技术要点,下面将对这些知识点进行详细的解析。 ### 1. 时间同步:NTP配置 在分布式系统中,时间的一致性至关重要,特别是在处理日志、事件排序以及...

    windows中安装Hadoop与Hbase

    在Windows系统中安装和配置Hadoop和Hbase,是为了建立起一个适合单机测试和开发的本地大数据环境。Hadoop是一个由Apache基金会开发的开源框架,用于存储和处理大规模数据,它通过可靠的分布式存储(HDFS)和分布式...

    zookeeper+hadoop+hbase.rar

    【标题】"zookeeper+hadoop+hbase.rar" 提供了一个集成的大数据处理环境,其中包含了三个关键组件:Zookeeper、Hadoop和HBase。这些组件在大数据生态系统中扮演着重要角色,尤其对于分布式存储和计算。 【Zookeeper...

    Hadoop&Hbase安装完美教程

    在IT行业中,大数据处理与分析是至关重要的领域,而Hadoop和HBase是其中的两大核心组件。Hadoop是一个开源的分布式计算框架,它允许在大规模集群上存储和处理大量数据,而HBase是一个基于Hadoop的数据存储系统,提供...

    Hadoop之Hbase从入门到精通

    2. **高性能**:通过列式存储和优化的数据访问模式,HBase能够快速查询大量数据。 3. **面向列**:数据按列族组织,允许高效地存储和检索特定列的数据。 4. **可伸缩性**:随着数据的增长,HBase会自动将数据分片...

    Hadoop与HBase自学笔记

    Hadoop与HBase是大数据领域的重要技术组件,通过上述步骤可以实现Hadoop和HBase的基本安装配置,并进一步了解如何使用它们进行大数据处理。对于初学者来说,掌握这些基础知识是非常重要的,可以帮助更好地理解和应用...

    hadoop_hbase_pig

    Hadoop是一个开源框架,主要用于处理和存储大量数据,而HBase是建立在Hadoop之上的分布式列式数据库,Pig则是一个用于大数据分析的高级脚本语言。接下来,我们将深入探讨这三个关键组件。 1. **Hadoop**: Hadoop...

    hadoop&hbase;高可用测试环境搭建

    在构建大数据处理和存储系统时,Hadoop和HBase是两个关键组件。Hadoop是一个开源框架,主要用于分布式存储和计算,而HBase是基于Hadoop的分布式列式数据库,适用于实时查询和大规模数据处理。本教程将详述如何搭建一...

    Hadoop、HBase、Hive、Pig、Zookeeper资料整理

    在大数据处理领域,Hadoop、HBase、Hive、Pig和Zookeeper是五款非常重要的工具,它们各自承担着不同的角色,共同构建了一个高效、可靠的分布式计算环境。以下是关于这些技术的详细解释: 1. **Hadoop**:Apache ...

    第10章Hadoop与HBase分布式集群安装与配置.pdf

    Hadoop和HBase是大数据领域中两个非常重要的开源分布式存储与处理系统,通常被广泛应用于大规模数据集的存储和处理。Hadoop3.x是Hadoop项目的一个主要版本,它对Hadoop进行了许多重要的改进和优化,包括对资源管理、...

    hadoop2.2+hbase0.96+hive0.12安装整合详细高可靠文档及经验总结

    综上所述,本文详细介绍了如何安装和整合Hadoop2.2、HBase0.96和Hive0.12,并提供了一些常见的问题解决方案。对于初次接触这些技术的新手来说,遵循上述步骤可以大大减少安装过程中可能出现的问题。此外,对于那些...

    hadoop+HBase+Kylin集群启动停止命令.txt

    hadoop+HBase+Kylin集群启动停止命令

    Hbase和Hadoop JMX监控实战

    在大数据处理领域,HBase和Hadoop是两个关键的组件,它们在分布式存储和处理大量数据方面发挥着重要作用。JMX(Java Management Extensions)是一种Java平台标准,用于管理和监控应用程序。在本实战中,我们将深入...

    基于hadoop+hbase+springboot实现分布式网盘系统.zip

    【基于Hadoop、HBase和SpringBoot实现分布式网盘系统】 在现代信息技术领域,随着大数据的不断增长,处理和存储海量数据的需求日益增加。在这个背景下,一个基于Hadoop、HBase和SpringBoot的分布式网盘系统应运而生...

    hadoop2.2 hbase0.96 hive0.12安装整合详细高可靠文档及经验总结

    - **Hadoop/HBase环境**: 已经安装好的Hadoop和HBase环境。 - **JDK**: 确认JDK版本与Hive兼容。 **3.2 Hive安装步骤** - **下载并解压Hive**: 下载Hive 0.12版本,解压至指定目录。 - **配置Hive环境**: 修改`/...

    hadoop中安装hbase及创建表等.docx

    在大数据领域,分布式数据库HBase是处理海量结构化半结构化数据的重要工具,尤其是在与Hadoop结合使用时,能够提供高效、可扩展的数据存储和查询能力。本文将详细讲解如何在Hadoop环境中安装HBase以及如何使用Java ...

    大数据 hdfs hadoop hbase jmeter

    文件"jmeter-hdfs_hadoop-hbase"可能是这个测试项目的源代码或者配置文件,包含了JMeter脚本和相关的配置信息。 总的来说,理解和掌握Hadoop、HDFS、HBase以及JMeter对于大数据处理和性能测试至关重要。通过实际...

Global site tag (gtag.js) - Google Analytics