Hadoop 0.23编译常见错误(一下解决方法没有尝试过)
转自:http://blog.csdn.net/dongbear/article/details/7044144
0) 要是下面的错误你都碰到了。。说明你开发环境没搞好,用下面这个命令吧。
yum groupinstall "Development Libraries"
1) 报错: "[ERROR] Failed to execute goal org.codehaus.mojo:make-maven-plugin:1.0-beta-1:autoreconf (autoreconf) on project hadoop-yarn-server-nodemanager: autoreconf command returned an exit value != 0. Aborting build; see debug output for more information. -> [Help 1]"
这个是因为编译的时候带了 native 参数,但是没装autotool。Centos下。
yum install autoconf
yum install automake
yum install libtool <---这个里面有 autoreconf
还是不行就 -P-cbuild 编译吧,别用native了。
2) Build fails with "[ERROR] Failed to execute goal org.codehaus.mojo:exec-maven-plugin:1.2:exec (generate-sources) onproject hadoop-yarn-api: Command execution failed. Process exited with an error: 1(Exit value: 1) -> [Help 1]"
没装 protoc,见前面一篇文章,去Google下吧。
http://protobuf.googlecode.com/files/protobuf-2.4.1.tar.gz
3)Failed to execute goal org.codehaus.mojo:make-maven-plugin:1.0-beta-1:configure (compile) on project hadoop-common: ./configure returned an exit value != 0. Aborting build; see command output above for more information. -> [Help 1]
没装zlib
yum install zlib
yum install zlib-devel
4)ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.6:run (site) on project hadoop-common: An Ant BuildException has occured: Execute failed: java.io.IOException: Cannot run program "${env.FORREST_HOME}/bin/forrest" (in directory "/root/hadoop/release-0.23.0-rc1/hadoop-common-project/hadoop-common/target/docs-src"): java.io.IOException: error=2, No such file or directory -> [Help 1]
没装forrest.
Apache forrest.
http://forrest.apache.org/mirrors.cgi
安装并且设置FORREST_HOME 到profile里面。
.......
5)ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.6:run (site) on project hadoop-common: An Ant BuildException has occured: stylesheet /root/hadoop/release-0.23.0-rc1/hadoop-common-project/hadoop-common/${env.FINDBUGS_HOME}/src/xsl/default.xsl doesn't exist. -> [Help 1]
没装findbug
http://findbugs.sourceforge.net/downloads.html
6)[ERROR] Failed to execute goal org.codehaus.mojo:make-maven-plugin:1.0-beta-1:test (test) on project hadoop-yarn-server-nodemanager: make returned an exit value != 0. Aborting build; see command output above for more information. -> [Help 1]
不要以root身份执行编译!。。换身份,重来吧。
分享到:
相关推荐
hadoop0.23,绿色包,免安装!
6. **部署与集成**:编译完成后,将编译好的二进制文件部署到Hadoop集群中,然后进行集成测试,验证Hadoop CDH的完整功能。 通过以上步骤,我们可以看到,"Hadoop CDH 源码编译所需软件"这个主题涵盖了大数据处理的...
编译错误:如果遇到编译错误,应仔细阅读错误信息,根据提示解决问题,可能需要下载缺失的 jar 包或修复代码错误。 5. 版本不兼容:确保使用的 JDK 版本与 Hadoop 源码支持的版本相匹配。 6. 编译时间过长:由于...
Sqoop-1.4.6.bin__hadoop-0.23.tar.gz 是一个包含 Sqoop 版本 1.4.6 和与之兼容的 Hadoop 版本 0.23 的压缩包。这个版本的 Sqoop 支持多个数据库系统,并且具有对 Hadoop MapReduce 框架的深度集成,允许用户利用 ...
在编译和运行Hadoop的过程中,可能会遇到各种问题,比如依赖冲突、环境不匹配等,需要根据错误信息进行调试和解决。对于初学者来说,理解这些工具的工作原理和Hadoop的架构是非常有益的,有助于深入学习和掌握大数据...
hadoop源码编译所需要的maven仓库,省去编译时下载时间。
注意,这里特别提到不支持CDH(Cloudera Distribution Including Apache Hadoop)版本,因为CDH通常包含了预编译的Snappy库和其他特定的配置,直接使用编译的Snappy可能会导致兼容性问题,从而出现错误。 在实际...
在对Hadoop源码进行编译的过程中,确保正确地安装和配置所有必要的软件包是至关重要的。以下将详细阐述这些软件包的作用以及如何在编译Hadoop源码时使用它们。 1. **protobuf (Protocol Buffers)** Protocol ...
在这个场景中,我们讨论的是一个特别为Windows编译的Hadoop版本,包含了`bin`和`lib`两个关键目录。 1. **bin** 目录: `bin`目录包含了Hadoop的可执行脚本,这些脚本用于启动、管理和操作Hadoop集群。例如,`...
3. **编译错误**:如果遇到编译错误,首先查看错误信息并尝试理解其含义。通常情况下,通过搜索引擎查找相应的错误信息,可以找到有效的解决方案。 #### 六、总结 在Win 7 64位系统上编译Hadoop 2.7.3虽然可能会...
### Hadoop源码编译支持Snappy压缩教程 #### 一、Snappy压缩技术简介 在大数据处理领域,数据压缩技术对于提高存储效率和降低I/O开销具有重要作用。Snappy是一种高效的压缩与解压缩算法,它在压缩比与速度之间取得...
在描述中提到,该压缩包是在CentOS7.4操作系统上编译完成的,这表明Hadoop源码已经成功地适应了Linux环境,并且能够在该系统上运行。CentOS7.4是一个广泛使用的Linux发行版,其稳定性和兼容性为Hadoop提供了一个良好...
这个压缩包“hadoop2.7.4-编译bin”显然包含了经过编译的Hadoop 2.7.4二进制文件,特别是解决了缺少hadoop.dll的问题。用户可以直接将这些文件复制到你的Hadoop 2.7.4安装目录下的相应位置,替换原有的未编译文件,...
本文将详细讲解如何在64位系统上编译Hadoop的本地库,以便于在特定环境中优化Hadoop的性能。我们将遵循一个步骤来完成这个过程。 首先,确保你有一个64位的操作系统,例如这里提到的CentOS 6.4。在开始编译之前,你...
本文将详细介绍如何编译和安装Hadoop源码,确保你能够按照提供的步骤顺利进行。 首先,我们需要了解Hadoop的基本概念。Hadoop是由Apache软件基金会开发的,它基于Java语言,实现了MapReduce编程模型和分布式文件...
对于Java开发者来说,深入理解Hadoop的源码并进行编译是非常有益的,可以帮助我们更好地利用这个强大的工具,同时也能提升自身的编程技能。本文将详细介绍如何编译Hadoop的源码。 首先,编译Hadoop源码需要以下基本...
在本案例中,我们关注的是Hadoop 2.6.0的编译过程,这通常需要一系列的工具来完成。以下是编译Hadoop 2.6.0所需的关键组件及其功能的详细解释: 1. **Apache Ant**: Apache Ant是一个Java库和命令行工具,用于...
- **编译错误**:阅读错误信息,定位问题所在,可能需要修改源代码或调整编译参数。 - **硬件资源不足**:增加内存或CPU资源,或者调整Maven的JVM参数。 解决这些问题后,你就能成功编译并运行Hadoop2.7.3。对于...
当Hadoop在非默认配置下运行,特别是在Mac OS这样的Unix-like系统上,可能会遇到因缺少本地库而导致的错误。 **Hadoop 3.0.2简介** Hadoop 3.0.2是Hadoop项目的一个主要版本,带来了许多改进和新特性,包括提升的...