`

重新编译Hadoop

 
阅读更多

 

 

       hadoop在window中ELipse中执行,有错误:riviledgedActionException as:Administrator cause:java.io.IOException: Failed to set permissions of

 需要修改 org.apache.hadoop.fs.FileUtil中的 方法checkReturnValue注释掉其中内容重新编译,讲编译好的文件拷贝出来放到jar包中覆盖

 

操作系统中重新编译hadoop

 

 1 到http://hadoop.apache.org/version_control.html中找到hadoopsvn
 2 更新hadoop的整个项目 
   svn up http://svn.apache.org/repos/asf/hadoop/common/trunk/ 
 3 安装编译环境 JDK,svn,openss,zlibl,maven,protobuf
    1)JDK安装,http://username2.iteye.com/blog/2089129 
    2)openssl,svn,zlib安装 http://username2.iteye.com/blog/2178851
    3)protobuf  安装,http://username2.iteye.com/blog/2180094
    4) maven 安装 http://username2.iteye.com/blog/2154581 
 3  执行 mvn package -Pdist,native -DskipTests -Dtar 进行编译 
    其中有个依赖包出现问题,用 mvn clean install 进行编译就可以了

 

 

分享到:
评论

相关推荐

    win 7 64上编译 Hadoop 2.7.3 源码

    ### Win 7 64位系统上编译Hadoop 2.7.3源码的知识点 #### 一、背景介绍 在当前大数据处理技术快速发展的背景下,Hadoop作为主流的大数据处理框架之一,被广泛应用于各类场景之中。对于开发者来说,能够熟练地在自己...

    macOS编译hadoop-2.8.5

    在macOS上编译Hadoop 2.8.5是一个技术性的任务,因为官方预编译的版本可能不兼容macOS系统。以下是一份详细的步骤指南,解释如何解决这个问题: 首先,确保你的开发环境已经准备就绪。你需要安装Java Development ...

    mac下编译hadoop3.1.4源码生成的native库

    在Mac环境下编译Hadoop 3.1.4的源码以生成其本地库是一个涉及多步骤的过程,这对于理解Hadoop的内部工作原理以及自定义配置具有重要意义。Hadoop是Apache软件基金会的一个开源项目,主要处理分布式存储和计算任务。...

    ubuntu server 14.04上编译Hadoop 2.6.4

    ### Ubuntu Server 14.04 上编译 Hadoop 2.6.4 的详细步骤 #### 一、环境准备 在开始编译 Hadoop 2.6.4 之前,确保您的环境中已经具备以下条件: 1. **Ubuntu Server 14.04 (64位)**:本教程将在 Ubuntu Server ...

    编译hadoop所用软件findbugs

    编译hadoop所用软件findbugs,linux cenos6.10上验证可用

    编译hadoop源码所需的软件

    在构建和编译Hadoop源码的过程中,有几个关键的软件工具是必不可少的。这些工具各自承担着不同的职责,确保源代码能够正确地被处理、编译、检测和打包。以下是对标题和描述中提到的软件及其重要性的详细解释: 1. *...

    Hadoop 源码编译所需软件

    本文将深入探讨在编译Hadoop CDH源码时所需的软件及其重要性。 首先,我们来看“google-snappy-ea660b5”。Snappy是由Google开发的一个高效的数据压缩库,它主要关注的是高速度而非最高压缩率。在Hadoop中,Snappy...

    编译Hadoop需要的其他包(2.7.5)

    在这个过程中,"编译Hadoop需要的其他包(2.7.5)"这个压缩包就显得至关重要。 首先,让我们深入理解一下Hadoop编译的过程。编译Hadoop主要分为以下几个步骤: 1. **获取源代码**:从Apache官方网站或其他镜像站点...

    Centos6.8 32位 64位下编译 hadoop 2.6.4 源码

    在Centos6.8系统环境中,无论是32位还是64位版本,编译Hadoop 2.6.4源码都需要一系列的准备工作与步骤。本篇文章将详细地介绍这一过程中的关键知识点。 #### 一、准备工作 **1.1 安装Java Development Kit (JDK)**...

    编译hadoop-2.5.0-cdh5.3.6 + snappy 源码的native包

    本文将详细讲解如何在CentOS 6.5系统上编译Hadoop 2.5.0 - CDH5.3.6与Snappy的源码,以生成适用于该环境的native库。 首先,我们要了解Hadoop的native库是什么。Hadoop的native库是一组C++编译的库,它们提供了与...

    linux编译hadoop2.7.4

    在Linux环境下编译Hadoop 2.7.4是一个涉及多步骤的过程,它不仅需要对Hadoop本身有深入的理解,还要求对Linux操作系统和相关工具如Ant、Maven以及Protobuf有一定的熟悉。以下是对这个过程的详细阐述: 首先,我们...

    centos7 64位下编译Hadoop2.7.2源码库文件

    以下是关于如何在CentOS 7 64位系统上编译Hadoop 2.7.2源码库文件的详细步骤及相关的知识点: 1. **环境准备**:首先确保你的系统安装了必要的开发工具,如GCC、Java开发工具包(JDK)、Maven和Git。可以使用以下...

    hadoop-2.6.0编译好的64bit的native库

    在64位系统上运行Hadoop 2.6.0会...这是因为hadoop默认编译好的native库是32bit的,所以要重新编译hadoop2.6的源代码,获取64位native库,将其复制到原来安装的hadoop的native目录中替代原来的类库,然后重新运行即可。

    cent os 6.5 编译hadoop2.6.0源码

    在本文中,我们将深入探讨如何在Cent OS 6.5操作系统上编译Hadoop 2.6.0的源码,以及如何利用编译生成的lib包目录替换官方下载资源中的对应目录。这个过程对于那些希望自定义Hadoop配置、优化性能或解决特定环境下的...

    Hadoop2.7.3编译

    本文将详细讲解如何编译Hadoop2.7.3,包括所需环境、步骤、可能遇到的问题及解决方案。 首先,我们需要准备一个合适的开发环境。这通常包括以下组件: 1. **Java开发环境**:Hadoop是用Java编写的,因此需要安装...

    编译hadoophadoop-3.2.2-src源码

    编译hadoophadoop-3.2.2-src的源码

    windows10 64位编译hadoop2.6.4的bin

    在Windows 10 64位环境下编译Hadoop 2.6.4是一个涉及到多个技术环节的过程。Hadoop是一个开源分布式计算框架,主要用于处理和存储海量数据。在这个过程中,你需要具备一定的Java开发环境和对操作系统环境配置的理解...

    hadoop在window10下编译编译好的安装包,亲测100%可用

    在Windows 10上编译Hadoop,你需要准备以下环境: 1. Java Development Kit (JDK):Hadoop依赖Java运行,因此需要安装JDK,并确保`JAVA_HOME`环境变量指向正确的JDK安装路径。 2. Git:Hadoop的源代码托管在Git仓库...

Global site tag (gtag.js) - Google Analytics