`
BlackWing
  • 浏览: 200454 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

Hadoop的tasktracker启动失败,重编译native库

阅读更多
hadoop的datanode启动失败,只能启动datanode进程,而tasktracker则未能启动,查看HADOOP HOME下的hs_err_pid*文件,错误如下:

# A fatal error has been detected by the Java Runtime Environment:
#
#  SIGFPE (0x8) at pc=0x0000003995f07827, pid=32635, tid=1076017504
#
# JRE version: 6.0_32-b03
# Java VM: Java HotSpot(TM) 64-Bit Server VM (20.7-b02 mixed mode linux-amd64 compressed oops)
# Problematic frame:
# C  [ld-linux-x86-64.so.2+0x7827]
#
# If you would like to submit a bug report, please visit:
#   http://java.sun.com/webapps/bugreport/crash.jsp
# The crash happened outside the Java Virtual Machine in native code.
# See problematic frame for where to report the bug.


根据这位仁兄的思路:http://jackiee-cn.iteye.com/blog/1192526

下载ant,重新编译hadoop的native库,把HADOOP HOME下:
build/native/Linux-amd64-64/lib
的所有文件,拷贝到HADOOP HOME的:
lib/native/Linux-amd64-64/

跟着修改core-site.xml,增加以下变量:

<property> 
  <name>hadoop.native.lib</name> 
  <value>true</value> 
</property> 


tasktracker就能正常启动。如果还是启动失败,可以看看gcc的版本,若gcc版本低于4.1则可能是gcc的问题,升级gcc的方法,见《Redhat AS 4 成功升级最新gcc》http://blackwing.iteye.com/admin/blogs/1534642





分享到:
评论

相关推荐

    mac下编译hadoop3.1.4源码生成的native库

    在Mac环境下编译Hadoop 3.1.4的源码以生成其本地库是一个涉及多步骤的过程,这对于理解Hadoop的内部工作原理以及自定义配置具有重要意义。Hadoop是Apache软件基金会的一个开源项目,主要处理分布式存储和计算任务。...

    hadoop-2.3.0 的64位 native库

    4. **生成64位Native库**:在编译过程中,Hadoop会使用C++代码生成native库,这部分代码位于`hadoop-common-project/hadoop-nativetask`目录下。编译成功后,64位的库文件将出现在`hadoop-common/target/native`目录...

    hadoop-3.1.3-mac-native_lib.zip

    本压缩包文件“hadoop-3.1.3-mac-native_lib.zip”专门针对macOS系统,包含了在macOS环境下编译Hadoop 3.1.3源码后得到的本地库(native library)。这些本地库对于解决macOS用户在安装或运行Hadoop时可能出现的因...

    Hadoop 2.2.0 64位native文件(重编译)

    当在64位Linux系统上运行Hadoop 2.2.0时,如果遇到如性能下降、无法启动或者错误提示需要特定的native库,这时就需要使用这个预编译好的native文件夹。将这个文件夹替换到Hadoop安装目录下的相应位置,可以确保...

    hadoop-2.5.0-cdh5.3.6 编译native包

    标题提到的“hadoop-2.5.0-cdh5.3.6 编译native包”正是这个过程的实践,它涉及到对特定版本的Hadoop(CDH5.3.6)进行编译,以便在CentOS 6.5操作系统上构建和使用本地库。 Hadoop的native库是一组用C和C++编写的库...

    hadoop-2.6.0编译好的64bit的native库

    在64位系统上运行Hadoop 2.6.0会...这是因为hadoop默认编译好的native库是32bit的,所以要重新编译hadoop2.6的源代码,获取64位native库,将其复制到原来安装的hadoop的native目录中替代原来的类库,然后重新运行即可。

    Ubuntu下hadoop-2.5.2编译好的64bit的native库

    标题提到的"Ubuntu下hadoop-2.5.2编译好的64bit的native库",意味着这是一个专门为64位Ubuntu系统优化的Hadoop原生库包。这个库包包含了与Hadoop 2.5.2版本兼容的所有必要的C/C++编译的库文件,它们可以显著提高...

    mac 下hadoop3.0.2编译的native库

    5. **解决依赖问题**:在Mac上,可能需要安装额外的开发工具链,例如Homebrew,并通过它安装OpenSSL和GCC,因为Hadoop的本地库编译可能需要这些。 6. **安装本地库**:编译完成后,找到生成的本地库文件(通常是`...

    hadoop-2.9.2的64位本地库

    本地库(Native Libraries)在Hadoop中扮演着关键角色,它们主要是C++编写的,用于提升Hadoop的性能,尤其是在文件系统操作和内存管理等方面。这些库包括如libhdfs和libhadoop等,它们提供了与操作系统的直接交互,...

    hadoop2.8.1 64bit native 编译

    - **配置编译**:运行`./configure`脚本来配置编译选项,确保启用native库编译。 - **编译源码**:执行`make`或`make -j &lt;num_cores&gt;`(其中 `&lt;num_cores&gt;` 是你的CPU核心数)来启动编译过程。 - **安装库**:...

    hadoop2.4.1 native x64 编译库

    hadoop2.4.1 native x64 编译库 hadoop2.4.1 native 库默认是32为编译, 这个64位的库能解决“util.NativeCodeLoader: Unable to load native-hadoop library for your platform”这个警告的问题

    hadoop-2.8.1已经编译好的64bit的native库

    hadoop-2.8.1在64位系统上运行时会出现以下提示: :WARN util.NativeCodeLoader: ...而hadoop默认编译好的native库是32bit的,所以需要重新编译。现将编译好的hadoop-2.8.1的native库分享给大家,替代原来的库即可

    hadoop3.1.1native文件含zstd

    标题中的“hadoop3.1.1native文件含zstd”指的是Hadoop 3.1.1版本在CentOS 7 64位系统上编译的本地库(native库)包含了对Zstandard(简称zstd)压缩算法的支持。Zstandard是一种高效的压缩和解压缩算法,设计用于...

    在linux中编译64位的 hadoop 2.4.1native

    1.已经编译好的 hadoop2.4.1 x64 用法:将hadoop-2.4.1/lib/native下所有文件删除,然后将包中的文件放入 2.自己安装搜索“编译64位的hadoop 2.4.1”参考:...

    Native Hadoop3.2.1 Library 64位编译

    Native Hadoop3.2.1 Library 64位编译,大数据本地库. Hadoop是使用Java语言开发的,但是有一些需求和操作并不适合使用java,所以就引入了本地库(Native Libraries)的概念,通过本地库,Hadoop可以更加高效地执行...

    hadoop2.9.0_X64的native文件

    一旦编译完成,这些库文件可以被用于其他同样基于64位架构的Linux机器上,只要系统环境兼容,替换原有的native文件就能使Hadoop在那些机器上运行得更加顺畅。 Hadoop的native库主要包括以下几个关键组件: 1. **...

    2.6.1hadoop windows编译后的bin和native

    为了在Windows上使用这些编译后的文件,你需要将`bin`和`native`目录添加到系统路径中,这样Hadoop的命令行工具和本地库才能被系统识别和调用。同时,确保你的环境配置正确,包括Java环境变量(JAVA_HOME)、Hadoop...

    Hadoop 2.7.4Windows 64位 编译bin

    这里的"Windows native"标签表明我们讨论的是专为Windows系统编译的原生库。 标题提到的“Hadoop 2.7.4 Windows 64位 编译bin”指的是该压缩包包含了适用于64位Windows系统的Hadoop二进制文件,特别是.dll和.exe...

    hadoop2.8.1 native for macOS10

    macOS下使用hadoop2.8.1时, 执行hadoop fs 命令(如...解决方法是下载hadoop源代码重新编译, 但中间需要下载安装很多第三方工具, 改资源是在macOS下重新编译后得到的native, 将$HADOOP_HOME/lib/native文件夹替换掉即可.

    hadoop 2.8.2 3节点集群安装及native编译

    Hadoop 2.8.2 三节点集群的步骤,包括集群环境准备、Hadoop 软件包的准备、JDK 的安装、集群成员 SSH 互信、NTP 的安装、Hadoop 的安装、环境变量的配置、配置文件的修改、native 的重新编译和替换、集群的启动等...

Global site tag (gtag.js) - Google Analytics