脱离Hadoop的环境下使用Lzo

动机：希望通过Java API将日志行压缩到lzo文件，然后上传到HDFS。因为kevinweil-hadoop-lzo提供了LzopOutpuStream，所以这一切很容易实现，需要注意的是该jar包依赖native code和lzo本身。本人试过Karmasphere的lzo-java项目，该项目用java重写了lzo压缩算法，但是该项目好久不更新，提问没人回，性能也只有原生lzo压缩性能一半，最难以忍受的是会有压缩后文件损坏的情况，果断放弃。

 

工具：lzo

地址：http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz 

         或者到 http://rpmfind.net 查找rpm包，下面两个是32bit redhat4和5的rpm包

          ftp://rpmfind.net/linux/dag/redhat/el4/en/i386/dag/RPMS/lzo-2.06-1.el4.rf.i386.rpm

  ftp://rpmfind.net/linux/dag/redhat/el5/en/i386/dag/RPMS/lzo-2.06-1.el5.rf.i386.rpm

 

工具：kevinweil-hadoop-lzo

地址：https://github.com/kevinweil/hadoop-lzo

 

 

-----------------------

 

1. 安装lzo和kevinweil-hadoop-lzo

   详见：http://heipark.iteye.com/blog/1172759

 

2. 设置环境变量

 

 

export JAVA_HOME=/usr/java/latest/
export LD_LIBRARY_PATH=/xxx/build/native/Linux-i386-32/lib

3. 写java代码

 

 

public class TestLzo {

	@Test
	public void test(String input, String output) throws IOException {

		BufferedReader textBr = new BufferedReader(new InputStreamReader(new FileInputStream(input)));
		int lzoBufferSize = 256 * 1024;
		LzoCompressor.CompressionStrategy strategy = LzoCompressor.CompressionStrategy.LZO1X_1;
		LzoCompressor lzoCompressor = new LzoCompressor(strategy, lzoBufferSize);

		LzopOutputStream lzopOut = new LzopOutputStream(new FileOutputStream(output), lzoCompressor, lzoBufferSize, strategy);
		String textLine;
		while ((textLine = textBr.readLine()) != null) {
			textLine += "\n";
			byte[] bytes = textLine.getBytes();
			lzopOut.write(bytes, 0, bytes.length);
		}
		textBr.close();
		lzopOut.close();
	}

	public static void main(String[] args) throws IOException {
		TestLzo lzo = new TestLzo();
		lzo.test(args[0], args[1]);
	}
}

 

4. 运行

 

/usr/java/latest/bin/java -cp .:hadoop-lzo-0.4.15.jar:hadoop-core-0.20.2-cdh3u4.jar:commons-logging-1.1.1.jar com/hadoop/compression/lzo/TestLzo abc.txt abc.txt.lzo  

 

--heipark

 

 

评论

10 楼 heipark 2015-10-20  

daaixianjun 写道

Exception in thread "main" java.lang.UnsatisfiedLinkError: com.hadoop.compression.lzo.LzoCompressor.init(I)V
at com.hadoop.compression.lzo.LzoCompressor.init(Native Method)
at com.hadoop.compression.lzo.LzoCompressor.init(LzoCompressor.java:272)
at com.hadoop.compression.lzo.LzoCompressor.reinit(LzoCompressor.java:216)
at com.hadoop.compression.lzo.LzoCompressor.<init>(LzoCompressor.java:198)
at hello.TestLzo.test(TestLzo.java:19)
at hello.TestLzo.main(TestLzo.java:35)

您好，刚初学LZO，但我在学习您这个实例程序时，有如下错误，您可知道原因？

“需要把你的实现类放到“com.hadoop.compression.lzo”这个包下才行。”这该怎么做，请您给些建议。

创建com.hadoop.compression.lzo包，把你的继承代码放这里

9 楼 daaixianjun 2015-10-06  

Exception in thread "main" java.lang.UnsatisfiedLinkError: com.hadoop.compression.lzo.LzoCompressor.init(I)V
at com.hadoop.compression.lzo.LzoCompressor.init(Native Method)
at com.hadoop.compression.lzo.LzoCompressor.init(LzoCompressor.java:272)
at com.hadoop.compression.lzo.LzoCompressor.reinit(LzoCompressor.java:216)
at com.hadoop.compression.lzo.LzoCompressor.<init>(LzoCompressor.java:198)
at hello.TestLzo.test(TestLzo.java:19)
at hello.TestLzo.main(TestLzo.java:35)

您好，刚初学LZO，但我在学习您这个实例程序时，有如下错误，您可知道原因？

“需要把你的实现类放到“com.hadoop.compression.lzo”这个包下才行。”这该怎么做，请您给些建议。

8 楼 heipark 2013-06-08  

我这边线上跑很久了，每天处理10几TB数据都OK，放心用吧！

7 楼 heipark 2013-06-08  

akaiwei 写道

import com.hadoop.compression.lzo.LzoCompressor;
显示：
The Type "com.hadoop.compression.lzo.LzoCompressor" is not visible

需要把你的实现类放到“com.hadoop.compression.lzo”这个包下才行。

LzoCompressor不是public的

6 楼 heipark 2013-06-08  

akaiwei 写道

不这边也是编译通不过，无法访问LzoCompressor，不知道博主怎么可以，还需要配置其它东西吗？

需要把你的实现类放到“com.hadoop.compression.lzo”这个包下才行。

LzoCompressor不是public的

5 楼 akaiwei 2013-06-08  

import com.hadoop.compression.lzo.LzoCompressor;
显示：
The Type "com.hadoop.compression.lzo.LzoCompressor" is not visible

4 楼 akaiwei 2013-06-08  

不这边也是编译通不过，无法访问LzoCompressor，不知道博主怎么可以，还需要配置其它东西吗？

3 楼 heipark 2012-11-13  

kxcc 写道

貌似 编译不通过啊 缺少东西

有什么错误呢？

2 楼 kxcc 2012-11-13  

LzoCompressor.CompressionStrategy strategy = LzoCompressor.CompressionStrategy.LZO1X_1; 
        LzoCompressor lzoCompressor = new LzoCompressor(strategy, lzoBufferSize); 

1 楼 kxcc 2012-11-13  

貌似 编译不通过啊 缺少东西