HBase snappy部署转 -

blackproof

浏览: 1397179 次
性别:
来自: 北京

最近访客更多访客>>

lingxiajiudu

youtao531

mengjingwo

xuycan

博主相关

博客

微博

相册

留言

关于我

文章分类

社区版块

存档分类

HBase snappy部署转

博客分类：

hbase

hbase snappy

转 http://blog.csdn.net/chenyi8888/article/details/14167311

转：http://shitouer.cn/2013/01/hadoop-hbase-snappy-setup-final-tutorial/

因为业务需要所以对hbase的数据做整体的压缩处理。

首先需要在hadoop集群里安装snappy成功。以下介绍如何在hadoop中部署snappy

第一步骤：

下载snappy

网页地址：http://code.google.com/p/snappy/downloads/detail?name=snappy-1.1.1.tar.gz&can=2&q=

在linux下面可以直接执行

wget http://snappy.googlecode.com/files/snappy-1.1.1.tar.gz

即可。

然后解压后，执行三步骤：

./configure

make

make install

我采用的是默认的安装，路径：/usr/local/lib下面

第二步骤：

下载hadoop-snappy源码。

打开网址：http://code.google.com/p/hadoop-snappy/

运行命令

svn checkout http://hadoop-snappy.googlecode.com/svn/trunk/ hadoop-snappy-read-only

首先保证有svn的命令

下载源码后，

cd hadoop-snappy-read-only

mvn package

我的运气很好，一次运行就成功了。

在网上有很多人说编译源码无法成功，可以参考其他人的文档，看看相关的其他命令是否安装，如下：

截取来自官方文档：

Requirements: gcc c++, autoconf, automake, libtool, Java 6, JAVA_HOME set, Maven 3

我在安装的过程中，并没有出现网上其他人所说的gcc版本要用4.4

我的机器版本如下：

[hadoop@master hadoop-snappy-read-only]$ gcc --version
gcc (GCC) 4.1.2 20080704 (Red Hat 4.1.2-54)
Copyright (C) 2006 Free Software Foundation, Inc.
This is free software; see the source for copying conditions. There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.

[hadoop@master hadoop-snappy-read-only]$

是4.1.2的版本，比4.4低。也许是高版本的不支持吧。

编译成功后，在target目录下，就会有相关的文件如下：

[hadoop@master hadoop-snappy-read-only]$ cd target/
[hadoop@master target]$ ls -lh
total 154M
drwxr-xr-x 2 root root 4.0K Nov 5 18:30 antrun
drwxr-xr-x 2 root root 4.0K Nov 5 18:31 archive-tmp
drwxr-xr-x 3 root root 4.0K Nov 5 18:30 classes
-rw-r--r-- 1 root root 194 Nov 5 18:31 copynativelibs.sh
drwxr-xr-x 4 root root 4.0K Nov 5 18:31 generated-sources
-rw-r--r-- 1 root root 12K Nov 5 18:31 hadoop-snappy-0.0.1-SNAPSHOT.jar
-rw-r--r-- 1 root root 118M Nov 5 18:32 hadoop-snappy-0.0.1-SNAPSHOT-Linux-amd64-64.tar
drwxr-xr-x 3 root root 4.0K Nov 5 18:31 hadoop-snappy-0.0.1-SNAPSHOT-tar
-rw-r--r-- 1 root root 36M Nov 5 18:32 hadoop-snappy-0.0.1-SNAPSHOT.tar.gz
drwxr-xr-x 2 root root 4.0K Nov 5 18:31 maven-archiver
drwxr-xr-x 3 root root 4.0K Nov 5 18:31 native-build
drwxr-xr-x 8 root root 4.0K Nov 5 18:31 native-src
drwxr-xr-x 2 root root 4.0K Nov 5 18:31 surefire-reports
drwxr-xr-x 3 root root 4.0K Nov 5 18:31 test-classes
-rw-r--r-- 1 root root 245K Nov 5 18:31 test.txt.snappy
[hadoop@master target]$

第三步骤：

就是如何在hadooo中部署snappy

解压hadoop-snappy-0.0.1-SNAPSHOT.tar.gz文件，会生成hadoop-snappy-0.0.1-SNAPSHOT目录，拷贝这个目录下相关文件到$HADOOP_HOME/lib/native/Linux-amd64-64

cp -r /hadoop-snappy-0.0.1-SNAPSHOT/lib/native/Linux-amd64-64/* $HADOOP_HOME/lib/native/Linux-amd64-64

将target目录下的hadoop-snappy-0.0.1-SNAPSHOT.jar拷贝到$HADOOP_HOME/lib/目录下。

修改三个文件：

hadoop-env.sh，增加内容如下：

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native/Linux-amd64-64/:/usr/local/lib/

修改core-site.xml文件，增加红色字体部分

<property>
<name>io./ompression.codecs</name>

<value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.SnappyCodec</value>
</property>

修改mapred-site.xml文件

<property>
<name>mapred.output.compress</name>
<value>true</value>
</property>
<property>
<name>mapred.output.compression.codec</name>
<value>org.apache.hadoop.io.compress.SnappyCodec</value>
</property>
<property>
<name>mapred.compress.map.output</name>
<value>true</value>
</property>
<property>
<name>mapred.map.output.compression.codec</name>
<value>org.apache.hadoop.io.compress.SnappyCodec</value>
</property>

调整好后，重启hadoop集群即可，以上就是在hadoop集群里部署完成。

目前压缩效果，我会在hive中进行相关的测试。

参考文档《hive各种文件格式与压缩方式的结合测试》

然后再往HBase中使用压缩方式

当hadoop的snappy配置成功后，配置hbase就很简单了，两个步骤：

第一步骤复制相关jar包

cp -r $HADOOP_HOME/lib/native/Linux-amd64-64/* $HBASE_HOME/lib/native/Linux-amd64-64/*

这里需要注意下，有些版本在安装过程中，没有这个Linux-amd64-64这个目录，需要手工创建下。

第二步骤配置hbase-env.sh环境变量

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native/Linux-amd64-64/:/usr/local/lib/
export HBASE_LIBRARY_PATH=$HBASE_LIBRARY_PATH:$HBASE_HOME/lib/native/Linux-amd64-64/:/usr/local/lib/

两个步骤处理完成后，在hbase部署完成snappy后的测试结果：

[hadoop@master bin]$ hbase org.apache.hadoop.hbase.util.CompressionTest hdfs://master:8020/benchmarks/TestDFSIO/io_data/test_io_0 snappy
13/11/11 11:57:18 INFO util.ChecksumType: org.apache.hadoop.util.PureJavaCrc32 not available.
13/11/11 11:57:18 INFO util.ChecksumType: Checksum can use java.util.zip.CRC32
13/11/11 11:57:18 INFO util.ChecksumType: org.apache.hadoop.util.PureJavaCrc32C not available.
13/11/11 11:57:18 DEBUG util.FSUtils: Creating file:hdfs://master:8020/benchmarks/TestDFSIO/io_data/test_io_0with permission:rwxrwxrwx
13/11/11 11:57:19 WARN snappy.LoadSnappy: Snappy native library is available
13/11/11 11:57:19 INFO util.NativeCodeLoader: Loaded the native-hadoop library
13/11/11 11:57:19 INFO snappy.LoadSnappy: Snappy native library loaded
13/11/11 11:57:19 INFO compress.CodecPool: Got brand-new compressor
13/11/11 11:57:19 DEBUG hfile.HFileWriterV2: Initialized with CacheConfig:disabled
13/11/11 11:57:19 INFO compress.CodecPool: Got brand-new decompressor
SUCCESS
只要出现以上结果，就说明hbase可以使用snappy压缩模式了。

---------------------------------------------------------------------------------------------------------------------

因为产品需要，这两天研究了一下Hadoop Snappy。先不说什么各个压缩算法之间的性能对比，单是这个安装过程，就很痛苦。网上有很多博友写Hadoop Snappy安装过程，大部分是照着Google的文档翻译了一遍，并没有列举出遇到的问题。有的博文，明明其验证提示是错误的，还说如果输出XXX，说明安装成功了。费了老大的劲，终于安装成功了，现将详细步骤及遇到的问题，一一列出，只希望接下来需要研究及安装的朋友，看到这篇博文，能够一气呵成！本篇文章主要包括：

1. Snappy 压缩算法介绍及集中压缩算法比较

2. Snappy 安装过程及验证

3. Hadoop Snappy 源码编译过程及问题解决方案

4. Hadoop上Hadoop Snappy 安装配置过程及验证

5. HBase 配置Snappy及验证

6.如何在集群中所有节点部署

废话不多说，现在开始：

1. Snappy 压缩算法介绍及几种压缩算法比较

这一部分可以参考我的上一篇博文：Hadoop压缩-SNAPPY算法，或者直接参看Google文档：http://code.google.com/p/snappy/ 及 http://code.google.com/p/hadoop-snappy/。我的Hadoop压缩-SNAPPY算法这篇博文中，不仅简介了Google Snappy，还介绍了常见三种压缩库的比较，Snappy的优点和适用场合，这篇文章就不再做重点详细介绍。如果先看如何修改已有表的压缩方式及实测结果，可以参看HBase修改压缩格式及Snappy压缩实测分享。

2. Snappy 安装过程及验证

① 前置条件

gcc c++, autoconf, automake, libtool, Java 6, JAVA_HOME set, Maven 3

前五个如果不能确定的话，可以直接使用yum install XXX来确认一下，如果已安装会提示，没有安装的话，会自动安装上。

② 下载Snappy 1.0.5

下载地址：http://code.google.com/p/snappy/downloads/list。

③ 编译并安装动态链接库到本地

1

2

3

./configure
make
make install

默认是安装到了/usr/local/lib。这时在此目录下查看会生成：

[root@slave1 lib]# pwd
/usr/local/lib
[root@slave1 lib]# ll
total 536
-rw-r--r--. 1 root root 369308 Jan 14 11:02 libsnappy.a
-rwxr-xr-x. 1 root root    957 Jan 14 11:02 libsnappy.la
lrwxrwxrwx. 1 root root     18 Jan 14 11:02 libsnappy.so -> libsnappy.so.1.1.3
lrwxrwxrwx. 1 root root     18 Jan 14 11:02 libsnappy.so.1 -> libsnappy.so.1.1.3
-rwxr-xr-x. 1 root root 171796 Jan 14 11:02 libsnappy.so.1.1.3
[root@slave1 lib]#

如果没有错误且文件及链接一致，snappy的安装已经成功。

3. Hadoop Snappy 源码编译过程及问题解决方案

① 下载Hadoop-Snappy源码

下载地址：http://code.google.com/p/hadoop-snappy/

② 编译hadoop snappy源码

mvn package [-Dsnappy.prefix=SNAPPY_INSTALLATION_DIR]

注：如果第二步snappy安装路径是默认的话，即/usr/local/lib，则此处 [-Dsnappy.prefix=SNAPPY_INSTALLATION_DIR] 可以不写，或者 -Dsnappy.prefix=/usr/local/lib

这个过程如果你的CentOS各个软件的版本正好和Hadoop Snappy要求的一致的话，真的恭喜你，可以一部成功，但是有些还是会有问题。我遇到的三个比计较棘手的问题：

错误一：/root/modules/hadoop-snappy/maven/build-compilenative.xml:62: Execute failed: java.io.IOException: Cannot run program “autoreconf” (in directory “/root/modules/hadoop-snappy/target/native-src”): java.io.IOException: error=2, No such file or directory

解决方案：说明缺少文件，但是这个文件是在target下的，是编译过程中自动生成的，原本就不该存在，这是问什么呢？其实根本问题不是缺文件，而是Hadoop Snappy是需要一定的前置条件的：Requirements: gcc c++, autoconf, automake, libtool, Java 6, JAVA_HOME set, Maven 3。

我这里边缺少了autoconf，automake，libtool的缘故。在ubuntu中，你可以直接依次apt-get install autoconf，automake，libtool即可，如果是在CentOS中，只需将apt-get 换成 yum。

错误二：

1

2

3

4

[exec] make: *** [src/org/apache/hadoop/io/compress/snappy/SnappyCompressor.lo] Error 1
 

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.6:run (compile) on project hadoop-snappy: An Ant BuildException has occured: The following error occurred while executing this line:
[ERROR] /home/ngc/Char/snap/hadoop-snappy/hadoop-snappy-read-only/maven/build-compilenative.xml:75: exec returned: 2

解决方案：这个是最恶心的。Hadoop Snappy的前置条件需要安装gcc，但是它的官方文档仅仅列出了需要gcc，而没有列出需要什么版本的gcc。在Google中英文搜索了半天，刨来刨去，终于发现，有句话说Hadoop Snappy是需要gcc4.4的。而我的是gcc4.6.3。

1

2

3

4

5

[root@master modules]# gcc --version
gcc (GCC) 4.4.6 20120305 (Red Hat 4.4.6-4)
Copyright (C) 2010 Free Software Foundation, Inc.

This is free software; see the source for copying conditions.  There is NO

warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.

那么我们就要回退，如何回退：

1

2

3

4

5

6

7

apt-get install gcc-3.4
 
rm /usr/bin/gcc
 
ln -s /usr/bin/gcc-4.4 /usr/bin/gcc
 
之后，再gcc --version，你就会发现，gcc已经变成4.4.7了。

错误三：

1

2

3

4

5

[exec] /bin/bash ./libtool --tag=CC   --mode=link gcc -g -Wall -fPIC -O2 -m64 -g -O2 -version-info 0:1:0 -L/usr/local//lib -o libhadoopsnappy.la -rpath /usr/local/lib src/org/apache/hadoop/io/compress/snappy/SnappyCompressor.lo src/org/apache/hadoop/io/compress/snappy/SnappyDecompressor.lo  -ljvm -ldl 

     [exec] /usr/bin/ld: cannot find -ljvm

     [exec] collect2: ld returned 1 exit status

     [exec] make: *** [libhadoopsnappy.la] 错误 1

     [exec] libtool: link: gcc -shared  -fPIC -DPIC  src/org/apache/hadoop/io/compress/snappy/.libs/SnappyCompressor.o src/org/apache/hadoop/io/compress/snappy/.libs/SnappyDecompressor.o   -L/usr/local//lib -ljvm -ldl  -O2 -m64 -O2   -Wl,-soname -Wl,libhadoopsnappy.so.0 -o .libs/libhadoopsnappy.so.0.0.1

解决方案：如果你去搜，你会发现网上有很多解决/usr/bin/ld: cannot find -lxxx 这样的博客，但是这里，我告诉你，他们的都不适用。因为这儿既不是缺什么，也不是版本不对，是因为没有把安装jvm的libjvm.so symbolic link到usr/local/lib。如果你的系统时amd64，可到/root/bin/jdk1.6.0_37/jre/lib/amd64/server/察看libjvm.so link到的地方，这里修改如下：

ln -s /root/bin/jdk1.6.0_37/jre/lib/amd64/server/libjvm.so /usr/local/lib/ 问题即可解决。

③ hadoop snappy源码编译成功以后，在target包下，会有如下文件：

[root@master snappy-hadoop]# cd target/
[root@master target]# ll
total 928
drwxr-xr-x. 2 root root   4096 Jan 13 19:42 antrun
drwxr-xr-x. 2 root root   4096 Jan 13 19:44 archive-tmp
drwxr-xr-x. 3 root root   4096 Jan 13 19:42 classes
-rw-r--r--. 1 root root    168 Jan 13 19:44 copynativelibs.sh
drwxr-xr-x. 4 root root   4096 Jan 13 19:42 generated-sources
-rw-r--r--. 1 root root  11526 Jan 13 19:44 hadoop-snappy-0.0.1-SNAPSHOT.jar
-rw-r--r--. 1 root root 337920 Jan 13 19:44 hadoop-snappy-0.0.1-SNAPSHOT-Linux-amd64-64.tar
drwxr-xr-x. 3 root root   4096 Jan 13 19:44 hadoop-snappy-0.0.1-SNAPSHOT-tar
-rw-r--r--. 1 root root 180661 Jan 13 19:44 hadoop-snappy-0.0.1-SNAPSHOT.tar.gz
drwxr-xr-x. 2 root root   4096 Jan 13 19:44 maven-archiver
drwxr-xr-x. 3 root root   4096 Jan 13 19:42 native-build
drwxr-xr-x. 7 root root   4096 Jan 13 19:42 native-src
drwxr-xr-x. 2 root root   4096 Jan 13 19:44 surefire-reports
drwxr-xr-x. 3 root root   4096 Jan 13 19:42 test-classes
-rw-r--r--. 1 root root 365937 Jan 13 19:44 test.txt.snappy
[root@master target]#

4. Hadoop上Hadoop Snappy 安装配置过程及验证

这个过程也比较繁杂，配置点比较多要仔细：

① 解压第三步target下hadoop-snappy-0.0.1-SNAPSHOT.tar.gz，解压后，复制lib文件

1	`cp -r /root/modules/snappy-hadoop/target/hadoop-snappy-0.0.1-SNAPSHOT/lib/native/Linux-amd64-64/* $HADOOP_HOME/lib/native/Linux-amd64-64/`

② 将第三步target下的hadoop-snappy-0.0.1-SNAPSHOT.jar复制到$HADOOP_HOME/lib 下。

③ 配置hadoop-env.sh，添加：

1	`export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native/Linux-amd64-64/:/usr/local/lib/`

④ 配置mapred-site.xml，这个文件中，所有跟压缩有关的配置选项有：

<property>

  <name>mapred.output.compress</name>

  <value>false</value>

  <description>Should the job outputs be compressed?

  </description>
</property>
 
<property>

  <name>mapred.output.compression.type</name>

  <value>RECORD</value>

  <description>If the job outputs are to compressed as SequenceFiles, how should

               they be compressed? Should be one of NONE, RECORD or BLOCK.

  </description>
</property>
 
<property>

  <name>mapred.output.compression.codec</name>

  <value>org.apache.hadoop.io.compress.DefaultCodec</value>

  <description>If the job outputs are compressed, how should they be compressed?

  </description>
</property>
 
<property>

  <name>mapred.compress.map.output</name>

  <value>false</value>

  <description>Should the outputs of the maps be compressed before being

               sent across the network. Uses SequenceFile compression.

  </description>
</property>
 
<property>

  <name>mapred.map.output.compression.codec</name>

  <value>org.apache.hadoop.io.compress.DefaultCodec</value>

  <description>If the map outputs are compressed, how should they be 

               compressed?

  </description>
</property>

根据自己的需要，配置进去即可。我们为了验证方便，仅配置map部分：

<property>

        <name>mapred.compress.map.output</name> 

        <value>true</value>

        </property>

        <property>

        <name>mapred.map.output.compression.codec</name> 

        <value>org.apache.hadoop.io.compress.SnappyCodec</value>
</property>

⑤ 重新启动hadoop。为了验证是否成功，往hdfs上传一个文本文件，敲入一些词组，运行wordcount程序。如果map部分100%完成，即说明我们hadoop snappy安装成功。

因为hadoop没有像HBase一样提供util.CompressionTest类(或者是我没有找到)，所以只能按照这种方法来测试。接下来，将详细列出HBase使用Snappy的配置过程。

5. HBase 配置Snappy及验证

在Hadoop上配置Snappy成功以后，相对来说，在HBase上配置要简单一些了。

① 配置HBase lib/native/Linux-amd64-64/ 中的lib文件。HBase中的lib文件，即需要第三步中/root/modules/snappy-hadoop/target/hadoop-snappy-0.0.1-SNAPSHOT/lib/native/Linux-amd64-64/ 下的所有lib文件，也需要Hadoop中，$HADOOP_HOME/lib/native/Linux-amd64-64/下的hadoop的lib文件(我看到的大部分介绍snappy的文章，均为提到这一点)。简单起见，我们只需要将$HADOOP_HOME/lib/native/Linux-amd64-64/下lib文件，全部复制到相应HBase目录下：

1	`cp -r $HADOOP_HOME/lib/native/Linux-amd64-64/* $HBASE_HOME/lib/native/Linux-amd64-64/`

② 配置HBase环境变量hbase-env.sh

1 2	`export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native/Linux-amd64-64/:/usr/local/lib/` `export HBASE_LIBRARY_PATH=$HBASE_LIBRARY_PATH:$HBASE_HOME/lib/native/Linux-amd64-64/:/usr/local/lib/`

③ 重启HBase。

④ 验证安装是否成功

首先，使用 CompressionTest 来查看snappy是否 enabled 并且能成功 loaded:

hbase org.apache.hadoop.hbase.util.CompressionTest hdfs://192.168.205.5:9000/output/part-r-00000 snappy

其中，/output/part-r-00000 为我们在验证hadoop snappy的时候，wordcount的输出。

执行命令后结果为：

[root@master ~]# hbase org.apache.hadoop.hbase.util.CompressionTest hdfs://192.168.205.5:9000/output/part-r-00000 snappy
13/01/13 21:59:24 INFO util.ChecksumType: org.apache.hadoop.util.PureJavaCrc32 not available.
13/01/13 21:59:24 INFO util.ChecksumType: Checksum can use java.util.zip.CRC32
13/01/13 21:59:24 INFO util.ChecksumType: org.apache.hadoop.util.PureJavaCrc32C not available. 

13/01/13 21:59:24 DEBUG util.FSUtils: Creating file:hdfs://192.168.205.5:9000/output/part-r-00000with permission:rwxrwxrwx

13/01/13 21:59:24 WARN snappy.LoadSnappy: Snappy native library is available
13/01/13 21:59:24 INFO util.NativeCodeLoader: Loaded the native-hadoop library
13/01/13 21:59:24 INFO snappy.LoadSnappy: Snappy native library loaded

13/01/13 21:59:24 INFO compress.CodecPool: Got brand-new compressor
13/01/13 21:59:24 DEBUG hfile.HFileWriterV2: Initialized with CacheConfig:disabled

13/01/13 21:59:24 INFO compress.CodecPool: Got brand-new decompressor
SUCCESS

说明Snappy 安装已经enable并且能够成功loaded。

⑤ 接下来创建并操作Snappy压缩格式的表

[root@master ~]# hbase shell

HBase Shell; enter 'help<RETURN>' for list of supported commands.

Type "exit<RETURN>" to leave the HBase Shell
Version 0.94.2, r1395367, Sun Oct  7 19:11:01 UTC 2012
//创建表

hbase(main):001:0> create 'tsnappy', { NAME => 'f', COMPRESSION => 'snappy'}

0 row(s) in 10.6590 seconds
//describe表

hbase(main):002:0> describe 'tsnappy'
DESCRIPTION                                                                                                        ENABLED                                                       

 {NAME => 'tsnappy', FAMILIES => [{NAME => 'f', DATA_BLOCK_ENCODING => 'NONE', BLOOMFILTER => 'NONE', REPLICATION_ true                                                         

 SCOPE => '0', VERSIONS => '3', COMPRESSION => 'SNAPPY', MIN_VERSIONS => '0', TTL => '2147483647', KEEP_DELETED_CE                                                               

 LLS => 'false', BLOCKSIZE => '65536', IN_MEMORY => 'false', ENCODE_ON_DISK => 'true', BLOCKCACHE => 'true'}]}                                                                   

1 row(s) in 0.2140 seconds
//put数据

hbase(main):003:0> put 'tsnappy', 'row1', 'f:col1', 'value'

0 row(s) in 0.5190 seconds
//scan数据

hbase(main):004:0> scan 'tsnappy'
ROW                                           COLUMN+CELL                                                                                                                        

 row1                                         column=f:col1, timestamp=1358143780950, value=value                                                                                

1 row(s) in 0.0860 seconds
 
hbase(main):005:0>

以上所有过程均成功执行，说明Snappy 在Hadoop及HBase上配置成功~

6.如何在集群中所有节点部署

这一步就非常简单了，尤其是如果你配置过Hadoop集群。仅需要将我们上边所有配置过的文件，分发到所有其他节点的相应目录即可，包括生成的/usr/lib/local下的snappy链接库。

补充：后来在真正的部署到HBase集群后，将表的COMPRESSION设置为SNAPPY后，向该表写数据是，出现异常：

Exception in thread "main" java.lang.NoClassDefFoundError: com/google/common/base/Preconditions

原因：Snappy是Google的开源压缩库，对Google的Guava Library有依赖，我们需要去下载相应JAR包及依赖文件，将下载的文件放到集群所有节点的相应lib下就可以了。

This entry was posted in Hadoop学习, 压缩算法 and tagged Hadoop Snappy, HBase Snappy, Snappy 配置, 压缩算法. Bookmark the permalink.

分享到：

zookeeper 入门讲解实例转 | hbase region split 源码分析

2014-03-31 21:09
浏览 4237
评论(0)
分类:企业架构
查看更多

发表评论

您还没有登录,请您登录后再发表评论

最近访客更多访客>>

博主相关

文章分类

社区版块

存档分类

最新评论

HBase snappy部署转

1. Snappy 压缩算法介绍及几种压缩算法比较

2. Snappy 安装过程及验证

3. Hadoop Snappy 源码编译过程及问题解决方案

4. Hadoop上Hadoop Snappy 安装配置过程及验证

5. HBase 配置Snappy及验证

6.如何在集群中所有节点部署

Post navigation

评论

发表评论

相关推荐

最近访客 更多访客>>

博主相关

文章分类

社区版块

存档分类

最新评论

HBase snappy部署 转

1. Snappy 压缩算法介绍及几种压缩算法比较

2. Snappy 安装过程及验证

3. Hadoop Snappy 源码编译过程及问题解决方案

4. Hadoop上Hadoop Snappy 安装配置过程及验证

5. HBase 配置Snappy及验证

6.如何在集群中所有节点部署

Post navigation

评论

发表评论

相关推荐

hbase hbck流程

ERROR: Found lingering reference file hdfs

hbase Number of empty REGIONINFO_QUALIFIER rows in hbase:meta: 1

Java线上应用故障排查之一：高CPU占用

hbase报错 java.io.IOException: Connection reset by peer

hive整合hbase

hbase increment代码

hbase问题

hbase export import table

HBase MSLAB和MemStoreChunkPool源码

hbase split log转cloudera的文章

IllegalAccessError HBaseZeroCopyByteString

hbase hlog源码

hbase mvcc

hbase split log源码分析

hbase0.98.1源码编译

hbase put源码分析

HBase RegionServer线程启动

hadoop和hbase lzo压缩

hbase blockcache BucketCache源码分析

最近访客更多访客>>

HBase snappy部署转