`
lg70124752
  • 浏览: 61680 次
  • 性别: Icon_minigender_1
  • 来自: 成都
社区版块
存档分类
最新评论

hadoop hbase lzo 安装

阅读更多
安装 LZO 压缩
1、下载LZO并解压
http://www.oberhumer.com/opensource/lzo/download/
2、安装LZO
进入解压后的目录,执行如下命令
#./configure  --enable-shared
#make
#sudo make install
lzo文件被默认安装到了/usr/local/lib
3. 设置 LZO 库文件链接
ln -s  /usr/local/lib/liblzo2.so.2  /usr/lib/liblzo2.so.2
ln -s  /usr/local/lib/liblzo2.so  /usr/lib/liblzo2.so
如果是CentOS64位或者默认lib是/usr/lib64的系统,请执行下面命令
ln -s  /usr/local/lib/liblzo2.so.2  /usr/lib64/liblzo2.so.2
ln -s  /usr/local/lib/liblzo2.so  /usr/lib64/liblzo2.so
安装LZO Native 到Hadoop 和 HBase Native
1、下载lzo native源码和编译
http://svn.codespot.com/a/apache-extras.org/hadoop-gpl-compression/trunk/
编译jar执行
  #ant
将编译后的执行
  #mkdir lzoInstall
  #mkdir lzoInstall/lib
  #cp build/hadoop-gpl-compression-0.2.0-dev.jar lzoInstall/lib
编译native执行
  #ant clean compile-native
  # cp -r build/native lzoInstall/
2、执行安装文件
  #cd lzoInstall
  #vi install.sh
拷贝如下内容进去
#!/bin/sh

HADOOP=$HADOOP_INSTALL
HBASE=$HBASE_HOME

if [ ! $HBASE ] ; then
   echo "Plesase Set HBASE Environment variable"
fi

if [ ! $HADOOP ] ; then
   echo "Plesase Set Hadoop Environment variable"
fi


#Install Native lib
cp -r ./native/Linux-amd64-64/  $HBASE/lib/native
cp -r ./native/Linux-i386-32/   $HBASE/lib/native
cp -r  ./lib/*  $HBASE/lib

#Install Native lib
cp -r ./native/Linux-amd64-64/  $HADOOP/lib/native
cp -r ./native/Linux-i386-32/   $HADOOP/lib/native
cp -r ./lib/* $HADOOP/lib

echo "Install Sucessfully"
保存install.sh后执行
#sh install.sh
3、修改Hadoop配置文件 core-site.xml,添加下面属性
      <property>
        <name>io.compression.codecs</name>
        <value>com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec</value>
      </property>
      <property>
        <name>io.compression.codec.lzo.class</name>
        <value>com.hadoop.compression.lzo.LzoCodec</value>
      </property>
4、测试安装
启动Hadoop,HBase,进入HBase Shell,创建表

   create 'test', {NAME=>'n', COMPRESSION=>'lzo'}

   scan 'test'
   如果成功这表明 LZO已经安装成功
参考
http://wiki.apache.org/hadoop/UsingLzoCompression
分享到:
评论

相关推荐

    hadoop-lzo-0.4.20.jar

    cp /opt/hadoopgpl/lib/hadoop-lzo-0.4.20-SNAPSHOT.jar $HBASE_HOME/lib/ 2.2.6. 拷贝本地库so文件到hadoop tar -cBf - -C target/native/Linux-amd64-64/lib . | tar -xBvf - -C $HADOOP_HOME/lib/native/

    hbase安装lzo压缩包的编译文件master

    总结来说,安装和配置HBase中的LZO压缩涉及到多个步骤,包括下载源码、编译、配置Hadoop和HBase,以及在Master节点上确保压缩功能的正确运行。合理使用LZO压缩可以显著提升HBase的存储和性能,但也要注意适时的性能...

    hadoop-cdh4.3-lzo安装及问题解决

    综上所述,"hadoop-cdh4.3-lzo安装及问题解决"涉及到的关键知识点包括Hadoop、CDH4.3、LZO压缩算法以及在企业级Hadoop环境中安装和优化LZO的过程。通过了解这些内容,可以有效提升Hadoop集群的数据处理效率,解决...

    Hadoop2.7.1+Hbase1.2.1集群环境搭建(7)hbase 性能优化

    4. 安装HBase:同样从Apache官网下载HBase 1.2.1,解压后配置`hbase-site.xml`(指定HBase与Hadoop的连接、Zookeeper地址等)和`regionservers`(列出所有RegionServer节点)。 5. 启动HBase:先启动Zookeeper,再...

    最近很火的大数据Hadoop之Hbase0.99.2最新版源码

    同时,HBase还支持多种数据压缩算法,如Snappy和LZO,通过`Compression`模块的源码,可以了解其压缩和解压缩的实现细节。 最后,HBase的客户端API提供了丰富的数据操作接口,包括`HTable`和`HBaseAdmin`等。这些...

    hadoop毅哥的压缩包.7z

    6. **Hadoop生态系统**:Hadoop并不只是一个单独的工具,它有一个庞大的生态系统,包括HBase(分布式数据库)、Hive(数据仓库工具)、Pig(数据分析平台)等,这些工具通常与Hadoop一起使用,以构建大数据处理解决...

    云计算hadoop伪集群+hbase安装配置手册(伪集群)

    ### 云计算Hadoop伪集群与HBase安装配置详解 #### 1. 综述 本文档旨在为IT工程师提供在单台Linux服务器上构建和配置Hadoop伪集群及HBase服务的详细指南。Hadoop是一种分布式计算框架,主要用于处理大量数据集。而...

    hadoop-0.20.0.tar

    此外,Hadoop生态系统还包括其他组件,如Hive(数据仓库工具)、Pig(数据流处理)、HBase(NoSQL数据库)、Mahout(机器学习库)等,它们共同构建了一个完整的数据处理平台。这个早期版本的Hadoop可能不包含所有...

    hadoop-snappy-0.0.1-SNAPSHOT.tar.gz

    Hadoop支持多种压缩格式,包括Gzip、Bzip2和LZO等,而Snappy因其高性能特性,成为Hadoop推荐的压缩算法之一。在Hadoop中使用Snappy,可以提高MapReduce作业的性能,减少I/O操作,从而提升整体处理速度。 三、Snappy...

    hadoop集群安装脚本

    自动化安装多系统多软件测试版可能意味着这个脚本不仅能安装Hadoop和Zookeeper,还可能涵盖了其他相关的大数据组件,如Hive、Spark、HBase等,提供了一站式的安装解决方案。这样的脚本大大减少了手动配置的时间,...

    Hbase中文文档

    12.13. HBase 和 Hadoop 版本相关 12.14. 案例 13. 案例研究 13.1. 概要 13.2. Schema 设计 13.3. 性能/故障排除 14. HBase Operational Management 14.1. HBase Tools and Utilities 14.2. Region Management 14.3....

    hadoop面试题:HBase与BigTable的比较.pdf

    HBase和BigTable都提供了数据块压缩功能,不过BigTable使用BMDiff和Zippy算法,而HBase则使用GZip和LZO压缩。 在列族管理上,BigTable的列族数量有限制,但理论上行数和列数是无限的。相比之下,HBase虽然理论上也...

    HBase的性能优化

    "HBase性能优化" HBase是一种高性能的NoSQL数据库,广泛应用于大数据存储和处理领域。然而,HBase的性能优化是非常重要的,特别是在大规模数据集群环境中。以下是HBase性能优化的相关知识点: 启用LZO压缩 HBase...

    HBase应用最佳实践详解.pdf

    HBase安装需要先安装Hadoop,因为HBase依赖于Hadoop的分布式文件系统(HDFS)。在安装HBase之前,需要确保Hadoop已经安装并且正在运行。 HBase安装有三种模式:本地模式、伪分布模式和集群模式。其中,伪分布模式是...

    hadoop2.7.4-snappy

    不过,HBase在默认配置下不支持Snappy压缩算法,由于版权问题,HBase在安装时并不包含所有可能的压缩库。例如,使用Hadoop自带的checknative工具可以发现系统当前支持哪些压缩库。通常情况下,snappy的so文件不会被...

    Hbase_2.0.3免费下载

    下载并安装HBase 2.0.3后,用户可以通过配置文件设置HBase与Hadoop、Zookeeper的连接,并创建表、插入数据。在使用过程中,应注意合理规划表结构,选择合适的分区策略,以及优化数据访问模式,以充分利用HBase的优势...

    Hbase设置Snappy压缩测试

    &lt;value&gt;org.apache.hadoop.hbase.io.compress.SnappyCodec &lt;name&gt;hbase.client.write.buffer &lt;value&gt;2097152&lt;/value&gt; &lt;!-- 可根据实际需求调整 --&gt; ``` 这里`hbase.hregion.block编码`设为`SnappyCodec...

    某大数据公司内部Hbase性能测试详细设计文档及用例

    在Hadoop中主要提供了三种压缩方式Gzip、LZO、Snappy三种数据压缩。实际使用中,可以考虑分别尝试两种压缩模式,选出最适合业务场景要求的。 2.1 Row Key设计 HBase中的row key用来检索表中的记录,支持以下三种...

    HBase集群配置SNAPPY压缩

    1 介绍 大数据时代,海量数据的存储和分析是一个巨大的挑战...主流的HBase压缩方式有LZO和Snappy,Snappy的压缩比会稍微优于LZO,具体的对比,可参考这篇文章:http://www.cnblogs.com/zhengrunjian/p/4527165.html Sna

    Apache Hadoop---Flink.docx

    - **HBase**:支持与HBase的数据交互,实现数据存储和检索。 - **Hadoop程序**:与Hadoop生态系统无缝集成。 - **Tachyon**、**Elasticsearch**、**RabbitMQ**、**Apache Storm**、**S3**、**XtreemFS**:Flink...

Global site tag (gtag.js) - Google Analytics