java.lang.UnsatisfiedLinkError: no gplcompression in java.library.path
at java.lang.ClassLoader.loadLibrary(ClassLoader.java:1738)
at java.lang.Runtime.loadLibrary0(Runtime.java:823)
at java.lang.System.loadLibrary(System.java:1028)
at com.hadoop.compression.lzo.GPLNativeCodeLoader.<clinit>(GPLNativeCodeLoader.java:32)
at com.hadoop.compression.lzo.LzoCodec.<clinit>(LzoCodec.java:71)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:247)
at org.apache.hadoop.conf.Configuration.getClassByNameOrNull(Configuration.java:1526)
at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:1491)
at org.apache.hadoop.io.compress.CompressionCodecFactory.getCodecClasses(CompressionCodecFactory.java:127)
at org.apache.hadoop.io.compress.CompressionCodecFactory.<init>(CompressionCodecFactory.java:174)
at org.apache.hadoop.fs.shell.Display$Text.getInputStream(Display.java:129)
at org.apache.hadoop.fs.shell.Display$Cat.processPath(Display.java:81)
at org.apache.hadoop.fs.shell.Command.processPaths(Command.java:306)
at org.apache.hadoop.fs.shell.Command.processPathArgument(Command.java:278)
at org.apache.hadoop.fs.shell.Command.processArgument(Command.java:260)
at org.apache.hadoop.fs.shell.Command.processArguments(Command.java:244)
at org.apache.hadoop.fs.shell.Command.processRawArguments(Command.java:190)
at org.apache.hadoop.fs.shell.Command.run(Command.java:154)
at org.apache.hadoop.fs.FsShell.run(FsShell.java:254)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:84)
at org.apache.hadoop.fs.FsShell.main(FsShell.java:304)
13/08/30 19:12:23 ERROR lzo.LzoCodec: Cannot load native-lzo without native-hadoop
-text: Fatal internal error
java.lang.RuntimeException: native-lzo library not available
at com.hadoop.compression.lzo.LzopCodec.createDecompressor(LzopCodec.java:104)
at com.hadoop.compression.lzo.LzopCodec.createInputStream(LzopCodec.java:89)
at org.apache.hadoop.fs.shell.Display$Text.getInputStream(Display.java:133)
at org.apache.hadoop.fs.shell.Display$Cat.processPath(Display.java:81)
at org.apache.hadoop.fs.shell.Command.processPaths(Command.java:306)
at org.apache.hadoop.fs.shell.Command.processPathArgument(Command.java:278)
at org.apache.hadoop.fs.shell.Command.processArgument(Command.java:260)
at org.apache.hadoop.fs.shell.Command.processArguments(Command.java:244)
at org.apache.hadoop.fs.shell.Command.processRawArguments(Command.java:190)
at org.apache.hadoop.fs.shell.Command.run(Command.java:154)
at org.apache.hadoop.fs.FsShell.run(FsShell.java:254)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:84)
at org.apache.hadoop.fs.FsShell.main(FsShell.java:304)
相关推荐
Hadoop 集群内 LZO 的安装与配置 LZO 是一种高效的压缩算法,广泛应用于大数据处理和存储领域。Hadoop 集群中使用 LZO,可以提高数据处理速度和存储效率。本文将详细介绍如何在 Hadoop 集群中安装和配置 LZO。 一...
本文将详细讲解如何在HBase环境中安装和编译LZO压缩包,以及它与HBase Master节点的关系。 首先,我们需要了解HBase。HBase是一个分布式、版本化的NoSQL数据库,基于Apache Hadoop构建,用于存储大规模结构化数据。...
《LZO压缩与解压缩——以minilzo库为例》 在信息技术领域,数据压缩是一项重要的技术,它能够有效地减少存储空间,加快数据传输速度。LZO(Lempel-Ziv-Oberhumer)是一种快速的无损数据压缩算法,而minilzo是LZO的...
- **lzo-2.06.tar.gz**:这是LZO库的2.06版本,包含该版本的源代码,用户可以解压后编译安装,或者研究其内部实现。 - **lzo-2.10.tar.gz**:这是较新版本的LZO库,版本号为2.10,可能包含了一些优化和修复的bug,...
LZO(Lempel-Ziv-Oberhumer)是一种数据压缩算法,由V. R. Lempel、J. Ziv和P. Oberhumer在1984年提出。这个算法以其简单、快速和高效的特点被广泛应用于嵌入式系统、实时数据处理和网络传输等领域。下面将详细介绍...
hadoop2 lzo 文件 ,编译好的64位 hadoop-lzo-0.4.20.jar 文件 ,在mac 系统下编译的,用法:解压后把hadoop-lzo-0.4.20.jar 放到你的hadoop 安装路径下的lib 下,把里面lib/Mac_OS_X-x86_64-64 下的所有文件 拷到 ...
LZO(Lempel-Ziv-Oberhumer)是一种快速且高效的无损数据压缩库,由Martin L?ffler开发。LZO-2.06是该库的一个版本,提供了在不同操作系统上编译和使用LZO的功能。在这个压缩包中,包含的是LZO源代码的tar.gz文件,...
**Lzo压缩算法详解与VS2005实践** LZO(Lempel-Ziv-Oberhumer)压缩算法是一种快速、轻量级的数据压缩算法,由Viktor Zivcovic开发。它以较低的内存需求和较高的压缩速度而闻名,尤其适合实时数据流处理。LZO的主要...
【Hadoop集群LZO安装与配置】 在大数据处理领域,Hadoop是一个广泛使用的开源框架,而LZO是一种高效的压缩算法,常用于Hadoop集群中,以减少数据存储和传输的开销。本文将详细介绍如何在运行CentOS 5.5且安装了...
标题中的“2.Hadoop-lzo.7z lzo源码+包”指的是一个包含Hadoop-LZO相关的源代码和预编译的库文件的压缩包。Hadoop-LZO是Hadoop生态系统中的一个扩展,它提供了对LZO(一种高效的压缩算法)的支持。LZO是一种快速的...
LZO库是一个高效且小巧的数据压缩库,由Martin von Loewis开发,主要用于快速的压缩和解压缩操作。这个开源库广泛应用于嵌入式系统、实时系统以及需要快速压缩的场合,因为它提供了非常低的内存需求和快速的压缩速度...
LZO(Lempel-Ziv-Oberhumer)压缩算法是一种快速、轻量级的数据压缩算法,由V. Lempel、A. Ziv和P. Oberhumer在1986年提出。这种算法主要适用于实时数据压缩,因为它的速度非常快,但压缩率相对较低,通常用于内存...
综上所述,"hadoop-cdh4.3-lzo安装及问题解决"涉及到的关键知识点包括Hadoop、CDH4.3、LZO压缩算法以及在企业级Hadoop环境中安装和优化LZO的过程。通过了解这些内容,可以有效提升Hadoop集群的数据处理效率,解决...
在AIX(Advanced Interactive eXecutive)操作系统上安装Lzo、Lzop和hadoop-lzo,通常需要以下步骤: 1. **下载软件包**:首先,你需要从官方网站或其他可靠源下载适用于AIX系统的Lzo、Lzop和hadoop-lzo的安装包。 ...
此外,可能还需要安装LZO的本地库(如liblzo2)以支持Hadoop的Native IO,以提升性能。 总的来说,Hadoop-LZO是一个针对Hadoop的LZO压缩解决方案,它提供了一种高效的数据压缩方式,尤其适合大数据处理场景,通过这...
1. 安装和配置:首先,下载hadoop-lzo-0.4.21-SNAPSHOT.jar,并将其复制到所有Hadoop节点的lib目录下,确保所有节点都能访问到。接着,需要在Hadoop的配置文件(如hadoop-site.xml)中配置相关的属性,如启用LZO压缩...
hadoop2 lzo 文件 ,编译好的64位 hadoop-lzo-0.4.15.jar 文件 ,在mac 系统下编译的,用法:解压后把hadoop-lzo-0.4.15.jar 放到你的hadoop 安装路径下的lib 下,把里面lib/Mac_OS_X-x86_64-64 下的所有文件 拷到 ...
文件“lzo-2.06.tar.gz”是LZO源代码的归档文件,通过解压可以获得LZO的源代码,开发者或系统管理员可以编译安装这个库,以便在自己的系统上使用LZO压缩和解压缩工具。而“hadoop-lzo-master.zip”则是Hadoop-LZO...