有的小伙伴在问我如何在windows下搭建一个eclipse的hadoop源码阅读环境,今天就以hadoop2.7.2为例,简单介绍下如何搭建。
环境及工具如下:
1、系统:windows7
2、eclipse版本:eclipse-jee-mars-1-win32
3、jdk版本:1.7
4、maven版本:3.3.3
5、protoc版本:2.5.0
6、hadoop:2.7.2
这些环境或者工具的下载、安装及使用在网上有丰富的资料,我就不再多提啦,在这儿我只啰嗦一句,那就是如果没有使用maven管理过项目,那悲剧来啦,在用maven build的时候,你就会发现你要下载大量的依赖jar包。
安装完成后,可以查看自己安装的工具版本:
mvn install
接下来介绍如何用maven获取hadoop的源代码,首先在命令行下进入...\hadoop-2.7.2-src\hadoop-maven-plugins目录:
在此目录下运行命令mvn install:
mvn eclipse:eclipse -DskipTests
现在我们就得到了maven项目的源代码,这个时候,eclipse还不能使用这个项目,还需要我们把Maven项目的目录结构转换成eclipse工程,使用的命令为:mvn eclipse:eclipse -DskipTests,在这里要注意,执行此命令的目录为...\hadoop-2.7.2-src\
部分截图如下:
导入eclipse
接下来的工作就是导入eclipse中,到了这儿还没完,你会发现导入eclipse,ide编译后会报错。
分享到:
相关推荐
这个资源包"Hadoop 2.7.2 (Window版本)"是专为在Windows操作系统上进行大数据开发设计的,它包含了Hadoop在Windows环境下的安装、配置和运行所需的所有组件。 Hadoop的核心由两个主要部分组成:HDFS(Hadoop ...
以下是关于如何在CentOS 7 64位系统上编译Hadoop 2.7.2源码库文件的详细步骤及相关的知识点: 1. **环境准备**:首先确保你的系统安装了必要的开发工具,如GCC、Java开发工具包(JDK)、Maven和Git。可以使用以下...
在Hadoop 2.7.2的源码中,我们可以探索以下几个关键知识点: 1. **HDFS(Hadoop Distributed File System)**:Hadoop的核心组件之一,是一个分布式文件系统,旨在提供高吞吐量的数据访问。源码中,`hadoop-hdfs-...
本文将深入探讨Hadoop 2.7.2的主要组件、功能以及在Linux环境下的安装与使用。 一、Hadoop生态系统概述 Hadoop由两个主要部分组成:Hadoop分布式文件系统(HDFS)和MapReduce。HDFS为大规模数据提供了高容错性和高...
在Linux环境下部署Hadoop 2.7.2,首先需要在Window上解压缩“hadoop-2.7.2.rar”文件,然后将解压后的文件复制到Linux服务器上。配置Hadoop环境涉及以下几个关键步骤: 1. **配置环境变量**:在`~/.bashrc`或`~/....
在Windows环境下搭建Hadoop开发环境时,经常遇到的两个关键组件是`hadoop.dll`和`winutils.exe`。这两个文件对于在Windows操作系统上运行Hadoop MapReduce和HDFS操作至关重要。本文将详细介绍这两个组件以及如何在...
hadoop-eclipse-plugin-2.7.2.jar,编译环境win10-64,ant-1.9.6,eclipse-4.5.2(4.5.0可用,其他未测),hadoop-2.7.2
Hadoop-eclipse-plugin-2.7.2正是为了解决这个问题,它为Eclipse提供了与Hadoop集群无缝对接的功能,使得开发者可以在熟悉的Eclipse环境中编写、调试和运行Hadoop MapReduce程序。 首先,让我们深入了解Hadoop-...
描述中提到的"下载资源hadoop2.7.2资源包"意味着你可以在这个链接(https://archive.apache.org/dist/hadoop/common/)找到官方发布的Hadoop 2.7.2版本,这是获取开源软件的可靠渠道。用户可以在这里下载到二进制和...
Windows10 环境下编译的Hadoop2.7.2 Windows10 环境下编译的Hadoop2.7.2 Windows10 环境下编译的Hadoop2.7.2
Hadoop2.7.2LIUNX集群(2)所需JDK1.8.gzHadoop2.7.2LIUNX集群(2)所需JDK1.8.gzHadoop2.7.2LIUNX集群(2)所需JDK1.8.gzHadoop2.7.2LIUNX集群(2)所需JDK1.8.gz
Hadoop Eclipse Plugin 2.7.2是一个专门为Eclipse设计的插件,它允许开发者在Eclipse环境下直接创建、编辑、构建和部署Hadoop MapReduce项目。该插件与Hadoop 2.7.2、2.7.3和2.5.1版本兼容,这使得开发人员可以在...
Hadoop 2.7.2 是一个开源框架,主要用于分布式存储和计算,是大数据处理领域的重要组成部分。这个版本的Hadoop在2015年发布,提供了许多改进和新特性,使得它能在各种Linux环境下稳定运行,从而满足企业对大规模数据...
Hadoop2.7.2是该系统的一个稳定版本。伪分布部署是指在单机上模拟分布式环境运行Hadoop的过程,即一个节点既是NameNode也是DataNode,既执行Master角色又执行Slave角色,这为开发者在没有多台机器的情况下也能体验和...
hadoop2.7.2安装依赖文件,用于在window下调试hadoop! hadoop2.7.2安装依赖文件,用于在window下调试hadoop hadoop2.7.2安装依赖文件,用于在window下调试hadoop
在这个名为“hadoop2.7.2安装依赖文件.zip”的压缩包中,包含了一系列在Windows环境下安装和运行Hadoop 2.7.2版本所必需的组件。下面我们将详细探讨这些文件及其在Hadoop生态系统中的作用。 首先,`hadoop.dll`是一...
这个"Hadoop_2.7.2安装包.rar"包含了Hadoop 2.7.2版本的所有组件,供用户在本地或者集群环境中搭建大数据处理平台。在这个版本中,Hadoop已经相当成熟,提供了稳定性和性能优化。 在安装Hadoop之前,我们需要了解...
我的Java安装在D:\Java,hadoop安装在D:\env\hadoop-2.7.2,材料中的hadoop-2.7.2-win10是配置前的版本,材料中的hadoopbin是工具类,需要替换原文档中的D:\env\hadoop-2.7.2\bin,材料中的hadoop-2.7.2配置完成后是配置...
以上就是在Windows 7环境中安装和配置Hadoop 2.7.2所需的关键步骤,其中hadoop.dll和winutils.exe是两个不可或缺的部分。确保这些文件正确配置并能够被系统识别,是成功运行Hadoop的前提。理解这两个文件的作用以及...
在Windows环境下搭建Hadoop 2.7.2时,可能会遇到一些特定于Windows的问题,因为Hadoop最初是为Linux设计的。在这个过程中,有两个关键的依赖文件:`hadoop.dll`和`winutils.exe`,它们对于在Windows上正确运行Hadoop...