LZO性能
编译LZO
下载：
http://www.oberhumer.com/opensource/lzo/download/
wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz
安装：
tar -zxf lzo-2.06.tar.gz
cd lzo-2.06
./configure --enable-shared
make
make install
安装ant并配置环境变量，这里略过
vi /etc/profile
PATH=/usr/local/ant/bin/:$PATH
source /etc/profile
编译hadoop lzo jar
下载源码
https://github.com/kevinweil/hadoop-lzo
解压缩、进入项目目录
略...
编译
# 32位OS
export JAVA_HOME=/path/to/32bit/jdk
export CFLAGS=-m32
export CXXFLAGS=-m32
ant compile-native tar
# 64位OS
export JAVA_HOME=/path/to/64bit/jdk
export CFLAGS=-m64
export CXXFLAGS=-m64
ant compile-native tar
成功编译后，打开build文件夹，hadoop-lzo*.jar就躺在里面。
编译LZOP
简介：这个东西是使用lzo库写的一个程序，用它可以压缩、解压缩文件。
下载
http://www.lzop.org/
http://www.lzop.org/download/lzop-1.03.tar.gz
解压缩、进入项目目录（略过）
编译
cp /usr/local/lib/*lzo* /usr/lib64/
./configure && make && make install
PS：我在64bit机器上编译发现找不到 lzo 的库，执行下面命令后再编译就OK了。
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib/
try lzop
# 压缩文件
lzop 20110915.log #生成lzop 20110915.log.lzo文件
# 解压，并输出文件内容
lzop -cd pv.txt.lzo |more
配置Hadoop
cp hadoop-lzo-0.4.13.jar $HADOOP_HOME/lib/
sudo cp /usr/local/lib/*lzo* /usr/lib64/
# 如果之前使用过google code的lzo包，要删除 rm -f hadoop-gpl-compression-0.1.0-dev.jar
> core-site.xml
<property>
<name>io.compression.codecs</name>
<value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCode
c</value>
</property>
<property>
<name>io.compression.codec.lzo.class</name>
<value>com.hadoop.compression.lzo.LzoCodec</value>
</property>
设置JAVA_LIBRARY_PATH，这里配置非常容易重要，易出错
为了让JNI找到库文件需要配置JAVA_LIBRARY_PATH，我自己的方法是：
如果存在$HADOOP_HOME/build/native文件夹，hadoop命令会自动添加“${HADOOP_HOME}/build/native/${JAVA_PLATFORM}/lib” 到$JAVA_LIBRARY_PATH中，这样做非常省事。
hadoop jar /opt/hadoop/lib/hadoop-lzo-*.jar com.hadoop.compression.lzo.LzoIndexer /pub/cc/20110616/18.log.lzo
#Mapreduce生成lzo index文件
hadoop jar /opt/hadoop/lib/hadoop-lzo-*.jar com.hadoop.compression.lzo.DistributedLzoIndexer /pub/cc/20110616/18.log.lzo
// mapreduce job使用lzo文件作为输入文件 job.setInputFormatClass(LzoTextInputFormat.class);
-- 配置结束 --
PS: 下面是网上的配置JAVA_LIBRARY_PATH的方法，是不是我的方法更简单？哈哈~
#copy native文件到hadoop目录 tar -cBf - -C ./build/native . | tar -xBvf - -C /opt/hadoop-0.20.2-cdh3u1/lib/native
> vi mapred-site.xml
<property>
<name>mapred.child.env</name>
<value>JAVA_LIBRARY_PATH=/opt/hadoop/build/native/Linux-amd64-64</value>
</property>
PS. 如果上述方式设置的JAVA_LIBRARY_PATH没有生效（通过“ps -ef | grep tasktracker”查看），可能需要通过bin/hadoop设置JAVA_LIBRARY_PATH。
Q & A：
Q：java.lang.RuntimeException: native-lzo library not available
A：原因一：sudo cp /usr/local/lib/*lzo* /usr/lib64/；
原因二：%$HADOOP_HOME/lib下有hadoop-gpl-compression-0.1.0-dev.jar，删除它
原因三：JAVA_LIBRARY_PATH配置错误。JNI通过这个环境变量查找库文件，通ps -ef | grep tasktracker，查看lzo的lib文件是否在这个环境变量中，要指向 native/Linux-amd64-64/lib文件，而不是 native/Linux-amd64-64文件夹。通过修改$HADOOP_HOME/bin/hadoop可以修改这个环境变量
Q：lzo文件是不是生成索引之后才支持自动分片？
A：是的，如果不生成index则lzo文件会被作为一个input split处理。
Q: 使用客户端提交job时，报如下错误：
java.io.IOException: Codec for file hdfs://BGP-BJ-2-5N1:9000/pub/tencent/20110616/18.log.lzo not found, cannot run
at com.hadoop.mapreduce.LzoLineRecordReader.initialize(LzoLineRecordReader.java:97)
at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.initialize(MapTask.java:451)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:646)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:323)
at org.apache.hadoop.mapred.Child$4.run(Child.java:270)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1127)
at org.apache.hadoop.mapred.Child.main(Child.java:264)
A：在代码中，或者配置文件中添加下面配置：
conf.set("io.compression.codec.lzo.class", "com.hadoop.compression.lzo.LzoCodec");
参考文章：
http://share.blog.51cto.com/278008/549393
http://www.tech126.com/hadoop-lzo/
http://www.cloudera.com/blog/2009/11/hadoop-at-twitter-part-1-splittable-lzo-compression/
-- end --
相关推荐
hadoop-lzo-0.4.15-cdh5.14.4.jar
在Hadoop的类路径中添加这个JAR文件后，就可以在MapReduce任务或者HDFS操作中使用LZO压缩功能。 3. `hadoop-lzo-0.4.21-SNAPSHOT-sources.jar`：这个文件包含了Hadoop-LZO的源代码，对于开发者来说非常有用，因为...
1. **数据存储效率**：通过LZO压缩，可以减小HDFS（Hadoop Distributed File System）中存储的数据量，从而节省存储空间。尽管LZO的压缩比不如其他算法如Gzip或Bzip2，但其压缩和解压缩速度更快，更适合大规模数据...
这个JAR文件需要添加到Hadoop的类路径（classpath）中，以便Hadoop集群能够识别并使用LZO压缩格式。 在实际使用Hadoop LZO时，我们需要进行以下步骤： 1. 安装和配置：首先，下载hadoop-lzo-0.4.21-SNAPSHOT.jar，...
用于hadoop单元测试的jar包 hadoop-mrunit-0.20.2-cdh3u4.jar
export CLASSPATH="$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:${HADOOP_HOME}/lib/commons-logging-1.0.4.jar:${HADOOP_HOME}/lib/guava-r09-jarjar.jar:${HADOOP_HOME}/hadoop-core-0.20.2-cdh3u3.jar:/usr/...
总的来说，这个压缩包提供了在Hadoop环境中使用LZO压缩的两种途径：直接使用预编译的jar文件，或者根据需要编译源代码。了解如何在Hadoop中集成和使用LZO对于处理大数据和优化存储效率至关重要，特别是当处理实时...
然后，在Hadoop的配置文件中，如core-site.xml或mapred-site.xml，设置相应的参数，如`io.compression.codecs`，以启用LZO压缩支持。 五、性能优化 Hadoop-LZO的性能受到多种因素影响，包括硬件性能、Hadoop集群的...
hadoop2 lzo 文件 ，编译好的64位 hadoop-lzo-0.4.15.jar 文件 ，在mac 系统下编译的，用法：解压后把hadoop-lzo-0.4.15.jar 放到你的hadoop 安装路径下的lib 下，把里面lib/Mac_OS_X-x86_64-64 下的所有文件 拷到 ...
1. `lib/` 目录：包含了Hadoop LZO的库文件，这些文件是Java编译的类库，用于Hadoop环境中的数据压缩和解压缩。 2. `src/` 目录：包含了源代码，开发者可以查看和修改源代码，以适应特定需求或修复潜在问题。 3. `...
标题提到的“hadoop-lzo所需包”指的是为了在Hadoop环境中使用LZO压缩功能，需要安装的相关软件包。这些包通常包括编译环境、LZO库本身、Hadoop的LZO插件以及其他依赖项。32位和64位版本的包是为了适应不同的操作...
综合来看，这个压缩包可能是一个用于大数据处理环境的工具集，其中`lzo-2.06.tar.gz`提供了LZO压缩库，`hadoop-lzo-master.zip`包含了在Hadoop上使用LZO的代码，而`apache-maven-3.3.9-bin.tar.gz`则是用于构建和...
编译后的hadoop-lzo源码，将hadoop-lzo-0.4.21-SNAPSHOT.jar放到hadoop的classpath下 如${HADOOP_HOME}/share/hadoop/common。hadoop才能正确支持lzo，免去编译的烦恼