安装 LZO 压缩
1、下载LZO并解压
http://www.oberhumer.com/opensource/lzo/download/
2、安装LZO
进入解压后的目录,执行如下命令
#./configure --enable-shared
#make
#sudo make install
lzo文件被默认安装到了/usr/local/lib
3. 设置 LZO 库文件链接
ln -s /usr/local/lib/liblzo2.so.2 /usr/lib/liblzo2.so.2
ln -s /usr/local/lib/liblzo2.so /usr/lib/liblzo2.so
如果是CentOS64位或者默认lib是/usr/lib64的系统,请执行下面命令
ln -s /usr/local/lib/liblzo2.so.2 /usr/lib64/liblzo2.so.2
ln -s /usr/local/lib/liblzo2.so /usr/lib64/liblzo2.so
安装LZO Native 到Hadoop 和 HBase Native
1、下载lzo native源码和编译
http://svn.codespot.com/a/apache-extras.org/hadoop-gpl-compression/trunk/
编译jar执行
#ant
将编译后的执行
#mkdir lzoInstall
#mkdir lzoInstall/lib
#cp build/hadoop-gpl-compression-0.2.0-dev.jar lzoInstall/lib
编译native执行
#ant clean compile-native
# cp -r build/native lzoInstall/
2、执行安装文件
#cd lzoInstall
#vi install.sh
拷贝如下内容进去
#!/bin/sh
HADOOP=$HADOOP_INSTALL
HBASE=$HBASE_HOME
if [ ! $HBASE ] ; then
echo "Plesase Set HBASE Environment variable"
fi
if [ ! $HADOOP ] ; then
echo "Plesase Set Hadoop Environment variable"
fi
#Install Native lib
cp -r ./native/Linux-amd64-64/ $HBASE/lib/native
cp -r ./native/Linux-i386-32/ $HBASE/lib/native
cp -r ./lib/* $HBASE/lib
#Install Native lib
cp -r ./native/Linux-amd64-64/ $HADOOP/lib/native
cp -r ./native/Linux-i386-32/ $HADOOP/lib/native
cp -r ./lib/* $HADOOP/lib
echo "Install Sucessfully"
保存install.sh后执行
#sh install.sh
3、修改Hadoop配置文件 core-site.xml,添加下面属性
<property>
<name>io.compression.codecs</name>
<value>com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec</value>
</property>
<property>
<name>io.compression.codec.lzo.class</name>
<value>com.hadoop.compression.lzo.LzoCodec</value>
</property>
4、测试安装
启动Hadoop,HBase,进入HBase Shell,创建表
create 'test', {NAME=>'n', COMPRESSION=>'lzo'}
scan 'test'
如果成功这表明 LZO已经安装成功
参考
http://wiki.apache.org/hadoop/UsingLzoCompression
分享到:
相关推荐
cp /opt/hadoopgpl/lib/hadoop-lzo-0.4.20-SNAPSHOT.jar $HBASE_HOME/lib/ 2.2.6. 拷贝本地库so文件到hadoop tar -cBf - -C target/native/Linux-amd64-64/lib . | tar -xBvf - -C $HADOOP_HOME/lib/native/
总结来说,安装和配置HBase中的LZO压缩涉及到多个步骤,包括下载源码、编译、配置Hadoop和HBase,以及在Master节点上确保压缩功能的正确运行。合理使用LZO压缩可以显著提升HBase的存储和性能,但也要注意适时的性能...
综上所述,"hadoop-cdh4.3-lzo安装及问题解决"涉及到的关键知识点包括Hadoop、CDH4.3、LZO压缩算法以及在企业级Hadoop环境中安装和优化LZO的过程。通过了解这些内容,可以有效提升Hadoop集群的数据处理效率,解决...
4. 安装HBase:同样从Apache官网下载HBase 1.2.1,解压后配置`hbase-site.xml`(指定HBase与Hadoop的连接、Zookeeper地址等)和`regionservers`(列出所有RegionServer节点)。 5. 启动HBase:先启动Zookeeper,再...
同时,HBase还支持多种数据压缩算法,如Snappy和LZO,通过`Compression`模块的源码,可以了解其压缩和解压缩的实现细节。 最后,HBase的客户端API提供了丰富的数据操作接口,包括`HTable`和`HBaseAdmin`等。这些...
6. **Hadoop生态系统**:Hadoop并不只是一个单独的工具,它有一个庞大的生态系统,包括HBase(分布式数据库)、Hive(数据仓库工具)、Pig(数据分析平台)等,这些工具通常与Hadoop一起使用,以构建大数据处理解决...
### 云计算Hadoop伪集群与HBase安装配置详解 #### 1. 综述 本文档旨在为IT工程师提供在单台Linux服务器上构建和配置Hadoop伪集群及HBase服务的详细指南。Hadoop是一种分布式计算框架,主要用于处理大量数据集。而...
此外,Hadoop生态系统还包括其他组件,如Hive(数据仓库工具)、Pig(数据流处理)、HBase(NoSQL数据库)、Mahout(机器学习库)等,它们共同构建了一个完整的数据处理平台。这个早期版本的Hadoop可能不包含所有...
Hadoop支持多种压缩格式,包括Gzip、Bzip2和LZO等,而Snappy因其高性能特性,成为Hadoop推荐的压缩算法之一。在Hadoop中使用Snappy,可以提高MapReduce作业的性能,减少I/O操作,从而提升整体处理速度。 三、Snappy...
自动化安装多系统多软件测试版可能意味着这个脚本不仅能安装Hadoop和Zookeeper,还可能涵盖了其他相关的大数据组件,如Hive、Spark、HBase等,提供了一站式的安装解决方案。这样的脚本大大减少了手动配置的时间,...
12.13. HBase 和 Hadoop 版本相关 12.14. 案例 13. 案例研究 13.1. 概要 13.2. Schema 设计 13.3. 性能/故障排除 14. HBase Operational Management 14.1. HBase Tools and Utilities 14.2. Region Management 14.3....
HBase和BigTable都提供了数据块压缩功能,不过BigTable使用BMDiff和Zippy算法,而HBase则使用GZip和LZO压缩。 在列族管理上,BigTable的列族数量有限制,但理论上行数和列数是无限的。相比之下,HBase虽然理论上也...
"HBase性能优化" HBase是一种高性能的NoSQL数据库,广泛应用于大数据存储和处理领域。然而,HBase的性能优化是非常重要的,特别是在大规模数据集群环境中。以下是HBase性能优化的相关知识点: 启用LZO压缩 HBase...
HBase安装需要先安装Hadoop,因为HBase依赖于Hadoop的分布式文件系统(HDFS)。在安装HBase之前,需要确保Hadoop已经安装并且正在运行。 HBase安装有三种模式:本地模式、伪分布模式和集群模式。其中,伪分布模式是...
不过,HBase在默认配置下不支持Snappy压缩算法,由于版权问题,HBase在安装时并不包含所有可能的压缩库。例如,使用Hadoop自带的checknative工具可以发现系统当前支持哪些压缩库。通常情况下,snappy的so文件不会被...
下载并安装HBase 2.0.3后,用户可以通过配置文件设置HBase与Hadoop、Zookeeper的连接,并创建表、插入数据。在使用过程中,应注意合理规划表结构,选择合适的分区策略,以及优化数据访问模式,以充分利用HBase的优势...
<value>org.apache.hadoop.hbase.io.compress.SnappyCodec <name>hbase.client.write.buffer <value>2097152</value> <!-- 可根据实际需求调整 --> ``` 这里`hbase.hregion.block编码`设为`SnappyCodec...
在Hadoop中主要提供了三种压缩方式Gzip、LZO、Snappy三种数据压缩。实际使用中,可以考虑分别尝试两种压缩模式,选出最适合业务场景要求的。 2.1 Row Key设计 HBase中的row key用来检索表中的记录,支持以下三种...
1 介绍 大数据时代,海量数据的存储和分析是一个巨大的挑战...主流的HBase压缩方式有LZO和Snappy,Snappy的压缩比会稍微优于LZO,具体的对比,可参考这篇文章:http://www.cnblogs.com/zhengrunjian/p/4527165.html Sna
- **HBase**:支持与HBase的数据交互,实现数据存储和检索。 - **Hadoop程序**:与Hadoop生态系统无缝集成。 - **Tachyon**、**Elasticsearch**、**RabbitMQ**、**Apache Storm**、**S3**、**XtreemFS**:Flink...