`
qindongliang1922
  • 浏览: 2171219 次
  • 性别: Icon_minigender_1
  • 来自: 北京
博客专栏
7265517b-f87e-3137-b62c-5c6e30e26109
证道Lucene4
浏览量:117078
097be4a0-491e-39c0-89ff-3456fadf8262
证道Hadoop
浏览量:125423
41c37529-f6d8-32e4-8563-3b42b2712a50
证道shell编程
浏览量:59493
43832365-bc15-3f5d-b3cd-c9161722a70c
ELK修真
浏览量:71017
社区版块
存档分类
最新评论

Hadoop2.2安装出现不支持bzip2压缩问题原因分析

阅读更多
刚装的hadoop2.2的集群,散仙在执行bin/hadoop checknative 命令时,出现如下警告:




bizip2的的本地压缩支持无效,整个编译过程,并没有出现任何错误,或异常,而且去cenots下的lib64位目录下,查看libbz2的so文件,发现也正常
[root@ph2 hadoop-2.2.0]# ll /lib64/libb*
lrwxrwxrwx. 1 root root     17 7月  16 01:49 /lib64/libblkid.so.1 -> libblkid.so.1.1.0
-rwxr-xr-x. 1 root root 136136 11月 22 2013 /lib64/libblkid.so.1.1.0
lrwxrwxrwx. 1 root root     15 7月  16 01:49 /lib64/libbz2.so.1 -> libbz2.so.1.0.4
-rwxr-xr-x. 1 root root  67592 6月  25 2011 /lib64/libbz2.so.1.0.4
[root@ph2 hadoop-2.2.0]# 


那么问题出现在哪里呢? 经google查找,发现这是hadoop2.3之前版本都有的一个问题,具体的原因,请点击此处问题的具体原因,就是因为在编译hadoop时,由于centos系统没有安装bzip2-devel库文件,导致的,然后,散仙在本机上使用命令:
rpm -qa bzip2-devel

查询是否安装这个库,结果,果然没有安装,知道原因后,解决就很简单了,使用
yum install -y  bzip2-devel命令,安装bzip2-devel库支持,然后重新编译我们的hadoop即可。

编译完成后,再次执行bin/hadoop checknative命令后,发现已经支持bzip2,压缩:
[root@ph2 hadoop-2.2.0]# bin/hadoop checknative
14/12/17 02:04:56 INFO bzip2.Bzip2Factory: Successfully loaded & initialized native-bzip2 library system-native
14/12/17 02:04:56 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library
Native library checking:
hadoop: true /root/hadoop-2.2.0-src/hadoop-dist/target/hadoop-2.2.0/lib/native/libhadoop.so.1.0.0
zlib:   true /lib64/libz.so.1
snappy: false 
lz4:    true revision:43
bzip2:  true /lib64/libbz2.so.1
[root@ph2 hadoop-2.2.0]# 





  • 大小: 49.2 KB
  • 大小: 185 KB
0
3
分享到:
评论

相关推荐

    Hadoop2.2 安装手册

    《Hadoop 2.2 安装手册》是针对大数据处理框架Hadoop 2.2的详尽安装指南,特别适合初学者和有经验的IT专业人员参考。这份手册不仅包含了文字描述,还配有完整的截图,使安装过程更加直观易懂。在本文中,我们将深入...

    hadoop 2.2 安装包

    2. ** Federation**:Hadoop 2.2支持NameNode Federation,将单个全局命名空间划分为多个独立的命名空间,每个都有自己的NameNode,提高了系统的扩展性和可用性。 3. **Block Pool**:Federation中的每个NameNode...

    hadoop2.2简易安装工具

    hadoop2.2 安装 工具 hive hbase快速安装工具

    hadoop2.2 64位 (下)

    hadoop2.2 64位 (下) centos6.4 64位编译 这是下半部分

    Hadoop2.2+Zookeeper3.4.5+HBase0.96集群环境搭建

    安装HBase需要下载hbase-0.96.2-hadoop2-bin.tar.gz安装包,然后解压缩并配置HBase。 集群环境搭建 搭建Hadoop2.2+Zookeeper3.4.5+HBase0.96集群环境需要完成以下步骤: 1. 安装和配置Hadoop2.2 2. 安装和配置...

    hadoop2.2 下hive的安装

    在Hadoop 2.2的背景下,Hive的安装过程显得尤为重要,因为它可以帮助我们更好地管理和分析海量数据。 首先,我们需要确保Hadoop 2.2已经正确安装并运行。这包括配置Hadoop的环境变量,如`HADOOP_HOME`,以及设置`...

    hadoop2.2编译安装详解

    在本文中,我们将深入探讨Hadoop 2.2的编译和安装过程,这是一个广泛用于大数据处理和存储的开源框架。Hadoop的核心组件包括HDFS(Hadoop分布式文件系统)和MapReduce,它们共同构建了一个可扩展、容错性强的大数据...

    hadoop2.2-64-native包(redhat6.3x64)

    标题中的"hadoop2.2-64-native包(redhat6.3x64)"指的是一个针对Red Hat Enterprise Linux 6.3 64位系统的Hadoop 2.2版本的本地库(native libraries)包。这个包是用户从源代码编译而来的,通常包含了Hadoop运行时所需...

    hadoop2.2 eclipse插件编译

    2. **获取源码**:解压文件`hadoop2x-eclipse-plugin-master`,这是插件的源代码仓库。通常,它会包含`src`目录,里面分门别类地存放着Java源文件,以及`pom.xml`文件,它是基于Maven的项目对象模型,用于定义项目...

    hadoop2.2集群搭建

    hadoop2.2集群环境搭建,按照本文档操作,可以搭建hadoop2.2的环境,从而进行大数据学习

    hadoop2.2+hbase0.96+hive0.12安装整合详细高可靠文档及经验总结

    ### hadoop2.2+hbase0.96+hive0.12安装整合详细高可靠文档及经验总结 #### 一、Hadoop2.2的安装 **问题导读:** 1. Hadoop的安装需要安装哪些软件? 2. Hadoop与HBase整合需要注意哪些问题? 3. Hive与HBase的...

    hadoop2.2+spark集群搭建手记之hadoop集群遇到的各种问题

    hadoop2.2集群搭建遇到的各种问题。

    RHadoop安装配置(基于HADOOP2.2)

    标题 "RHadoop安装配置(基于HADOOP2.2)" 涉及的是将R语言与Apache Hadoop框架集成的RHadoop项目,这是一项在大数据处理领域中的重要技术。RHadoop允许用户利用R的强大统计分析功能处理存储在Hadoop分布式文件系统...

    hadoop2.2+hbase0.96+hive0.12 安装文档

    Hive的安装并不必须安装Hadoop,但是安装Hive通常会预先安装好Hadoop环境。进行Hive与HBase整合时,需要准备的工具有HBase的配置文件、Hive的配置文件以及MySQL数据库。 从内容中可以看出,本安装文档在整合Hadoop...

    Hadoop2.2部署文档

    - YARN:Hadoop2.x引入的新资源管理系统,负责任务调度和资源分配。 2. Red Hat Linux基础环境搭建 在开始Hadoop部署前,需要对Linux环境进行必要的设置: 2.1 修改主机名称:每个节点应有唯一的主机名,以便于在...

    (转经修改)ganglia监控HADOOP 2.2

    《Ganglia监控Hadoop 2.2详解》 Ganglia是一款开源的分布式监控系统,广泛用于监控大型计算集群的资源使用情况,包括CPU、内存、网络等关键指标。在Hadoop这样的大数据处理框架中,Ganglia的集成显得尤为重要,因为...

    hadoop 2.2 eclipse plugins 插件

    hadoop 2.2 eclipse plugins 插件 拷贝至plugins即可 留给自己的,当做备份用

    hadoop2.2在window7 sp1 32位系统中运行所需要的文件

    通常,在Windows上安装Hadoop会遇到一些挑战,因为官方主要支持Linux平台。不过,通过一些调整和特定的工具,可以在Windows上运行Hadoop。 描述中提到的“hadoop2.2 windows7 win32 winutils hadoop.dll”揭示了两...

Global site tag (gtag.js) - Google Analytics