hadoop的datanode启动失败,只能启动datanode进程,而tasktracker则未能启动,查看HADOOP HOME下的hs_err_pid*文件,错误如下:
# A fatal error has been detected by the Java Runtime Environment:
#
# SIGFPE (0x8) at pc=0x0000003995f07827, pid=32635, tid=1076017504
#
# JRE version: 6.0_32-b03
# Java VM: Java HotSpot(TM) 64-Bit Server VM (20.7-b02 mixed mode linux-amd64 compressed oops)
# Problematic frame:
# C [ld-linux-x86-64.so.2+0x7827]
#
# If you would like to submit a bug report, please visit:
# http://java.sun.com/webapps/bugreport/crash.jsp
# The crash happened outside the Java Virtual Machine in native code.
# See problematic frame for where to report the bug.
根据这位仁兄的思路:http://jackiee-cn.iteye.com/blog/1192526
下载ant,重新编译hadoop的native库,把HADOOP HOME下:
build/native/Linux-amd64-64/lib
的所有文件,拷贝到HADOOP HOME的:
lib/native/Linux-amd64-64/
跟着修改core-site.xml,增加以下变量:
<property>
<name>hadoop.native.lib</name>
<value>true</value>
</property>
tasktracker就能正常启动。如果还是启动失败,可以看看gcc的版本,若gcc版本低于4.1则可能是gcc的问题,升级gcc的方法,见《Redhat AS 4 成功升级最新gcc》
http://blackwing.iteye.com/admin/blogs/1534642
分享到:
相关推荐
在Mac环境下编译Hadoop 3.1.4的源码以生成其本地库是一个涉及多步骤的过程,这对于理解Hadoop的内部工作原理以及自定义配置具有重要意义。Hadoop是Apache软件基金会的一个开源项目,主要处理分布式存储和计算任务。...
4. **生成64位Native库**:在编译过程中,Hadoop会使用C++代码生成native库,这部分代码位于`hadoop-common-project/hadoop-nativetask`目录下。编译成功后,64位的库文件将出现在`hadoop-common/target/native`目录...
本压缩包文件“hadoop-3.1.3-mac-native_lib.zip”专门针对macOS系统,包含了在macOS环境下编译Hadoop 3.1.3源码后得到的本地库(native library)。这些本地库对于解决macOS用户在安装或运行Hadoop时可能出现的因...
当在64位Linux系统上运行Hadoop 2.2.0时,如果遇到如性能下降、无法启动或者错误提示需要特定的native库,这时就需要使用这个预编译好的native文件夹。将这个文件夹替换到Hadoop安装目录下的相应位置,可以确保...
标题提到的“hadoop-2.5.0-cdh5.3.6 编译native包”正是这个过程的实践,它涉及到对特定版本的Hadoop(CDH5.3.6)进行编译,以便在CentOS 6.5操作系统上构建和使用本地库。 Hadoop的native库是一组用C和C++编写的库...
在64位系统上运行Hadoop 2.6.0会...这是因为hadoop默认编译好的native库是32bit的,所以要重新编译hadoop2.6的源代码,获取64位native库,将其复制到原来安装的hadoop的native目录中替代原来的类库,然后重新运行即可。
标题提到的"Ubuntu下hadoop-2.5.2编译好的64bit的native库",意味着这是一个专门为64位Ubuntu系统优化的Hadoop原生库包。这个库包包含了与Hadoop 2.5.2版本兼容的所有必要的C/C++编译的库文件,它们可以显著提高...
5. **解决依赖问题**:在Mac上,可能需要安装额外的开发工具链,例如Homebrew,并通过它安装OpenSSL和GCC,因为Hadoop的本地库编译可能需要这些。 6. **安装本地库**:编译完成后,找到生成的本地库文件(通常是`...
本地库(Native Libraries)在Hadoop中扮演着关键角色,它们主要是C++编写的,用于提升Hadoop的性能,尤其是在文件系统操作和内存管理等方面。这些库包括如libhdfs和libhadoop等,它们提供了与操作系统的直接交互,...
- **配置编译**:运行`./configure`脚本来配置编译选项,确保启用native库编译。 - **编译源码**:执行`make`或`make -j <num_cores>`(其中 `<num_cores>` 是你的CPU核心数)来启动编译过程。 - **安装库**:...
hadoop2.4.1 native x64 编译库 hadoop2.4.1 native 库默认是32为编译, 这个64位的库能解决“util.NativeCodeLoader: Unable to load native-hadoop library for your platform”这个警告的问题
hadoop-2.8.1在64位系统上运行时会出现以下提示: :WARN util.NativeCodeLoader: ...而hadoop默认编译好的native库是32bit的,所以需要重新编译。现将编译好的hadoop-2.8.1的native库分享给大家,替代原来的库即可
标题中的“hadoop3.1.1native文件含zstd”指的是Hadoop 3.1.1版本在CentOS 7 64位系统上编译的本地库(native库)包含了对Zstandard(简称zstd)压缩算法的支持。Zstandard是一种高效的压缩和解压缩算法,设计用于...
1.已经编译好的 hadoop2.4.1 x64 用法:将hadoop-2.4.1/lib/native下所有文件删除,然后将包中的文件放入 2.自己安装搜索“编译64位的hadoop 2.4.1”参考:...
Native Hadoop3.2.1 Library 64位编译,大数据本地库. Hadoop是使用Java语言开发的,但是有一些需求和操作并不适合使用java,所以就引入了本地库(Native Libraries)的概念,通过本地库,Hadoop可以更加高效地执行...
一旦编译完成,这些库文件可以被用于其他同样基于64位架构的Linux机器上,只要系统环境兼容,替换原有的native文件就能使Hadoop在那些机器上运行得更加顺畅。 Hadoop的native库主要包括以下几个关键组件: 1. **...
为了在Windows上使用这些编译后的文件,你需要将`bin`和`native`目录添加到系统路径中,这样Hadoop的命令行工具和本地库才能被系统识别和调用。同时,确保你的环境配置正确,包括Java环境变量(JAVA_HOME)、Hadoop...
这里的"Windows native"标签表明我们讨论的是专为Windows系统编译的原生库。 标题提到的“Hadoop 2.7.4 Windows 64位 编译bin”指的是该压缩包包含了适用于64位Windows系统的Hadoop二进制文件,特别是.dll和.exe...
macOS下使用hadoop2.8.1时, 执行hadoop fs 命令(如...解决方法是下载hadoop源代码重新编译, 但中间需要下载安装很多第三方工具, 改资源是在macOS下重新编译后得到的native, 将$HADOOP_HOME/lib/native文件夹替换掉即可.
Hadoop 2.8.2 三节点集群的步骤,包括集群环境准备、Hadoop 软件包的准备、JDK 的安装、集群成员 SSH 互信、NTP 的安装、Hadoop 的安装、环境变量的配置、配置文件的修改、native 的重新编译和替换、集群的启动等...