HBase 0.96配置 snappy（绝对有效哦亲）

通常情况下，snappy压缩算法无非是hbase 最好的伴侣，不过这里不介绍 snappy 算法，也不介绍如何安装 snappy，这里只记录如何给 hbase 0.96X-hadoop2版本开启 snappy 支持。如果你在尝试为 hbase 96+hadoop2开启 snappy 压缩的时候遇到

java.lang.RuntimeException: native snappy library not available: this version of libhadoop was built without snappy support.

恭喜你，本文就是你需要的良方妙药，全国包邮的！

网上介绍的资料大多是提供94版本的 hbase的解决方案，包括官方的 wiki，不幸的是小弟一一试过，没有一个是顶用的，诸如：
     在 hbase-env.sh 里面 export LD_LIBRARY_PATH或者HBASE_LIBRARY_PATH，这是不顶用的。
     把 hadoop的 lib/native/xxx和 libsnappy.XXX拷贝到 hbase 对应目录下，这也是不顶用的。
     下载 hadoop-snappy自行编译？完全没有必要，因为从hadoop 1.1.X 版本以后 hadoop-snappy 就已经是 hadoop-common 的一部分了。
     异常说的很清楚，你的 hadoop native 包不支持 snappy！需要重新编译你的 hadoop 才行。编译填坑指南见http://dennis-lee-gammy.iteye.com/admin/blogs/2009982，你唯一需要做的就是将

mvn package -Pdist,native -DskipTests -Dtar -rf :hadoop-common  

加上 -Drequire.snappy ，剩下的一切照旧。
     然后，打完，收工。

评论

5 楼 pinkmoon 2015-05-06  

  

4 楼 半点玻璃心 2015-01-21  

dsx1013 写道

你好，我有snappy 源码安装，没有指定安装目录，默认安装路径/usr/local/lib
hadoop,我也用这个命令mvn package -Drequire.snappy -Pdist,native,src -DskipTests -Dtar 编译了64的成功了。
请问剩下我应该怎么做，配置那些地方，你说的哪些不顶用的我也说过，确实不顶用，请问剩下该如何操作呢

剩下的？剩下的就是吧 lib 包放到一个目录下，在 hbase-env.sh 里面配置 lib 路径就是，比如export JAVA_LIBRARY_PATH="$HBASE_HOME/lib/native/Linux-amd64:"$JAVA_LIBRARY_PATH

3 楼 dsx1013 2015-01-12  

你好，我有snappy 源码安装，没有指定安装目录，默认安装路径/usr/local/lib
hadoop,我也用这个命令mvn package -Drequire.snappy -Pdist,native,src -DskipTests -Dtar 编译了64的成功了。
请问剩下我应该怎么做，配置那些地方，你说的哪些不顶用的我也说过，确实不顶用，请问剩下该如何操作呢

2 楼 半点玻璃心 2014-12-08  

推文7 写道

你好，我也遇到了这个问题，能否麻烦把您编译的hadoop发给我一份吗。我的邮箱：[e-mail]  谢谢

发给你了。刚看见你的留言，希望来得及

1 楼 推文7 2014-11-05  

你好，我也遇到了这个问题，能否麻烦把您编译的hadoop发给我一份吗。我的邮箱：[e-mail]  谢谢