`
guiyu0856
  • 浏览: 39197 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

lzo悲催的安装

阅读更多

java.lang.UnsatisfiedLinkError: no gplcompression in java.library.path

at java.lang.ClassLoader.loadLibrary(ClassLoader.java:1738)

at java.lang.Runtime.loadLibrary0(Runtime.java:823)

at java.lang.System.loadLibrary(System.java:1028)

at com.hadoop.compression.lzo.GPLNativeCodeLoader.<clinit>(GPLNativeCodeLoader.java:32)

at com.hadoop.compression.lzo.LzoCodec.<clinit>(LzoCodec.java:71)

at java.lang.Class.forName0(Native Method)

at java.lang.Class.forName(Class.java:247)

at org.apache.hadoop.conf.Configuration.getClassByNameOrNull(Configuration.java:1526)

at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:1491)

at org.apache.hadoop.io.compress.CompressionCodecFactory.getCodecClasses(CompressionCodecFactory.java:127)

at org.apache.hadoop.io.compress.CompressionCodecFactory.<init>(CompressionCodecFactory.java:174)

at org.apache.hadoop.fs.shell.Display$Text.getInputStream(Display.java:129)

at org.apache.hadoop.fs.shell.Display$Cat.processPath(Display.java:81)

at org.apache.hadoop.fs.shell.Command.processPaths(Command.java:306)

at org.apache.hadoop.fs.shell.Command.processPathArgument(Command.java:278)

at org.apache.hadoop.fs.shell.Command.processArgument(Command.java:260)

at org.apache.hadoop.fs.shell.Command.processArguments(Command.java:244)

at org.apache.hadoop.fs.shell.Command.processRawArguments(Command.java:190)

at org.apache.hadoop.fs.shell.Command.run(Command.java:154)

at org.apache.hadoop.fs.FsShell.run(FsShell.java:254)

at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)

at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:84)

at org.apache.hadoop.fs.FsShell.main(FsShell.java:304)

13/08/30 19:12:23 ERROR lzo.LzoCodec: Cannot load native-lzo without native-hadoop

-text: Fatal internal error

java.lang.RuntimeException: native-lzo library not available

at com.hadoop.compression.lzo.LzopCodec.createDecompressor(LzopCodec.java:104)

at com.hadoop.compression.lzo.LzopCodec.createInputStream(LzopCodec.java:89)

at org.apache.hadoop.fs.shell.Display$Text.getInputStream(Display.java:133)

at org.apache.hadoop.fs.shell.Display$Cat.processPath(Display.java:81)

at org.apache.hadoop.fs.shell.Command.processPaths(Command.java:306)

at org.apache.hadoop.fs.shell.Command.processPathArgument(Command.java:278)

at org.apache.hadoop.fs.shell.Command.processArgument(Command.java:260)

at org.apache.hadoop.fs.shell.Command.processArguments(Command.java:244)

at org.apache.hadoop.fs.shell.Command.processRawArguments(Command.java:190)

at org.apache.hadoop.fs.shell.Command.run(Command.java:154)

at org.apache.hadoop.fs.FsShell.run(FsShell.java:254)

at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)

at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:84)

at org.apache.hadoop.fs.FsShell.main(FsShell.java:304)

分享到:
评论

相关推荐

    hadoop集群内lzo的安装与配置

    Hadoop 集群内 LZO 的安装与配置 LZO 是一种高效的压缩算法,广泛应用于大数据处理和存储领域。Hadoop 集群中使用 LZO,可以提高数据处理速度和存储效率。本文将详细介绍如何在 Hadoop 集群中安装和配置 LZO。 一...

    hbase安装lzo压缩包的编译文件master

    本文将详细讲解如何在HBase环境中安装和编译LZO压缩包,以及它与HBase Master节点的关系。 首先,我们需要了解HBase。HBase是一个分布式、版本化的NoSQL数据库,基于Apache Hadoop构建,用于存储大规模结构化数据。...

    lzo.rar_decompression_lzo_minilzo

    《LZO压缩与解压缩——以minilzo库为例》 在信息技术领域,数据压缩是一项重要的技术,它能够有效地减少存储空间,加快数据传输速度。LZO(Lempel-Ziv-Oberhumer)是一种快速的无损数据压缩算法,而minilzo是LZO的...

    lzo-2.06.tar.gz/lzo-2.10.tar.gz

    - **lzo-2.06.tar.gz**:这是LZO库的2.06版本,包含该版本的源代码,用户可以解压后编译安装,或者研究其内部实现。 - **lzo-2.10.tar.gz**:这是较新版本的LZO库,版本号为2.10,可能包含了一些优化和修复的bug,...

    LZO代码下载及实现原理详解

    LZO(Lempel-Ziv-Oberhumer)是一种数据压缩算法,由V. R. Lempel、J. Ziv和P. Oberhumer在1984年提出。这个算法以其简单、快速和高效的特点被广泛应用于嵌入式系统、实时数据处理和网络传输等领域。下面将详细介绍...

    hadoop-lzo-0.4.20.jar

    hadoop2 lzo 文件 ,编译好的64位 hadoop-lzo-0.4.20.jar 文件 ,在mac 系统下编译的,用法:解压后把hadoop-lzo-0.4.20.jar 放到你的hadoop 安装路径下的lib 下,把里面lib/Mac_OS_X-x86_64-64 下的所有文件 拷到 ...

    lzo-2.06.rar源代码

    LZO(Lempel-Ziv-Oberhumer)是一种快速且高效的无损数据压缩库,由Martin L?ffler开发。LZO-2.06是该库的一个版本,提供了在不同操作系统上编译和使用LZO的功能。在这个压缩包中,包含的是LZO源代码的tar.gz文件,...

    Lzo压缩算法.例子(vs2005)

    **Lzo压缩算法详解与VS2005实践** LZO(Lempel-Ziv-Oberhumer)压缩算法是一种快速、轻量级的数据压缩算法,由Viktor Zivcovic开发。它以较低的内存需求和较高的压缩速度而闻名,尤其适合实时数据流处理。LZO的主要...

    hadoop集群内lzo的安装与配置.doc

    【Hadoop集群LZO安装与配置】 在大数据处理领域,Hadoop是一个广泛使用的开源框架,而LZO是一种高效的压缩算法,常用于Hadoop集群中,以减少数据存储和传输的开销。本文将详细介绍如何在运行CentOS 5.5且安装了...

    2.Hadoop-lzo.7z lzo源码+包

    标题中的“2.Hadoop-lzo.7z lzo源码+包”指的是一个包含Hadoop-LZO相关的源代码和预编译的库文件的压缩包。Hadoop-LZO是Hadoop生态系统中的一个扩展,它提供了对LZO(一种高效的压缩算法)的支持。LZO是一种快速的...

    LZO 库源代码 以及所有资源

    LZO库是一个高效且小巧的数据压缩库,由Martin von Loewis开发,主要用于快速的压缩和解压缩操作。这个开源库广泛应用于嵌入式系统、实时系统以及需要快速压缩的场合,因为它提供了非常低的内存需求和快速的压缩速度...

    lzo压缩算法 例子

    LZO(Lempel-Ziv-Oberhumer)压缩算法是一种快速、轻量级的数据压缩算法,由V. Lempel、A. Ziv和P. Oberhumer在1986年提出。这种算法主要适用于实时数据压缩,因为它的速度非常快,但压缩率相对较低,通常用于内存...

    hadoop-cdh4.3-lzo安装及问题解决

    综上所述,"hadoop-cdh4.3-lzo安装及问题解决"涉及到的关键知识点包括Hadoop、CDH4.3、LZO压缩算法以及在企业级Hadoop环境中安装和优化LZO的过程。通过了解这些内容,可以有效提升Hadoop集群的数据处理效率,解决...

    lzo 安装包

    LZO是一种高效的压缩算法,特别适合于大数据处理和Hadoop生态系统中的应用。LZO的全称为"Lossless Data Compression ...通过正确安装和配置,LZO能为Hadoop集群带来显著的性能提升,降低存储成本,并加速数据处理流程。

    Lzo压缩安装包

    在AIX(Advanced Interactive eXecutive)操作系统上安装Lzo、Lzop和hadoop-lzo,通常需要以下步骤: 1. **下载软件包**:首先,你需要从官方网站或其他可靠源下载适用于AIX系统的Lzo、Lzop和hadoop-lzo的安装包。 ...

    hadoop-lzo-0.4.21-SNAPSHOT jars

    此外,可能还需要安装LZO的本地库(如liblzo2)以支持Hadoop的Native IO,以提升性能。 总的来说,Hadoop-LZO是一个针对Hadoop的LZO压缩解决方案,它提供了一种高效的数据压缩方式,尤其适合大数据处理场景,通过这...

    hadoop-lzo-0.4.21-SNAPSHOT.jar

    1. 安装和配置:首先,下载hadoop-lzo-0.4.21-SNAPSHOT.jar,并将其复制到所有Hadoop节点的lib目录下,确保所有节点都能访问到。接着,需要在Hadoop的配置文件(如hadoop-site.xml)中配置相关的属性,如启用LZO压缩...

    hadoop-lzo-0.4.15.jar

    hadoop2 lzo 文件 ,编译好的64位 hadoop-lzo-0.4.15.jar 文件 ,在mac 系统下编译的,用法:解压后把hadoop-lzo-0.4.15.jar 放到你的hadoop 安装路径下的lib 下,把里面lib/Mac_OS_X-x86_64-64 下的所有文件 拷到 ...

Global site tag (gtag.js) - Google Analytics