- 浏览: 41353 次
- 性别:
- 来自: 深圳
最新评论
-
Wuaner:
体积小巧,文字却很清晰,不错的版本。谢谢lz分享!
Hadoop权威指南(第二版)pdf中文版 -
laserdance:
command type python3.2
在Linux下安装Python
最近Hadoop的研究中,都是利用Mockito来模拟数据进行,下一个阶段需要在Hadoop服务器上做大量的运行进行验证,同时也要为正式使用做准备。
今天考虑使用Ant来搭建一个Hadoop的开发和调试环境,不使用hadoop自带的插件。
思路如下:
1、 利用Ant在开发机器上将代码编译、打包,最终得到可执行的jar包。
2、 利用Ant的SSH属性,将jar包传到hadoop服务器的指定工作目录。
这样就开发机器做为编码客户端,与执行服务器之间关联,代码部署的时间基本不用考虑,开发效率可以提高,也利于在真实环境进行验证程序。
再扩展开来,可以利用Ant操作hadoop服务器,实现与开发客户端的交互,因为Ant可以通过SSH实现Linux服务器的命令操作。
如下是根据需要改造的Ant的bulid.xml文件,实现了:目录清理、目录构建、编译、打包、SFTP上传功能:
- <?xml version="1.0" encoding="UTF-8"?>
- <project name="AntTest" default="all" basedir=".">
- <property name="src" location="./src" />
- <property name="build" location="./build/classes" />
- <property name="dist" location="./lib" />
- <path id="project.classpath">
- <fileset dir="D:\Project\Java\OpenSource\Hadoop\hadoop-0.20.205.0-bin\hadoop-0.20.205.0\lib">
- <include name="*.jar" />
- </fileset>
- </path>
- <target name="all" depends="clean,sshexec"></target>
- <!-- Generate directory -->
- <target name="init">
- <tstamp />
- <mkdir dir="${build}" />
- <mkdir dir="${dist}" />
- </target>
- <!-- compile java -->
- <target name="compile" depends="init">
- <javac srcdir="${src}" destdir="${build}" includeantruntime="no">
- <compilerarg line="-encoding GBK " />
- <!-- 给编译器指定编码,防止出现:"警告: 编码 GBK 的不可映射字符"-->
- <classpath refid="project.classpath" />
- </javac>
- </target>
- <!-- jar -->
- <target name="dist" depends="compile">
- <mkdir dir="${dist}" />
- <jar jarfile="${dist}/hadoop_project.jar" basedir="${build}" />
- </target>
- <!-- clean -->
- <target name="clean">
- <delete dir="${build}" />
- <delete dir="${dist}" />
- <echo message="clean dir">
- </echo>
- </target>
- <!-- run -->
- <target name="run" depends="dist">
- <java classpath="${build}" classname="demo.guide.chp7.HelloWorld">
- <classpath refid="project.classpath" />
- <!-- <classpath refid="${build}" /> -->
- </java>
- </target>
- <!-- sftp -->
- <target name="sshexec" depends="run">
- <scp todir="root:****@192.168.9.181:/tmp/" trust="true">
- <fileset dir="${dist}" />
- </scp>
- </target>
- </project>
在Ant改造中,遇到了以下几个问题,特记录如下:
1、 Includeantruntime 问题:
运行报错:
compile:
[javac]D:\Project\Java\hadoop_workspace\hadoop_project\bulid.xml:37: warning:'includeantruntime' was not set, defaulting to build.sysclasspath=last; set tofalse for repeatable builds
[javac] Compiling 1 sourcefile to D:\Project\Java\hadoop_workspace\hadoop_project\build\classes
原因及解决方法:
新版本的Ant需要设置Includeantruntime属性:
includeantruntime :指出是否应在类路径中包括 Ant 运行时程序库,默认为 yes。
这里设置为“no”即可解决。
2、 Error running javac.execompiler的错误
编译的时候,出现build.xml:32 Errorrunning javac.exe compiler 或者 build.xml:97: Unable tofind a javac compiler 的错误。
原因及解决方法:
这个原因是没有正确指定JRE的路径,javac找不到导致的。在Eclispe里面打开后,发现是默认到JRE的安装目录,这里修改为指向到JDK的目录即可解决。
修改的菜单路径为: Window-->Preferences-->Java-->InstalledJRES
增加JDK的目录并选中即可(取消之前的JRE目录的选择)。
3、 实现SFTP遇到Could notload a dependent class com/jcraft/jsch/Logger 的错误:
使用SFTP的时候,遇到Could not load a dependent class com/jcraft/jsch/Logger的错误,错误信息如下:
Could not load a dependent classcom/jcraft/jsch/Logger
It is not enough to have Ant's optional JARs
you need theJAR files that the optional tasks depend upon.
Ant's optional task dependencies arelisted in the manual.
原因及解决方法:
Ant自带的jsch的jar包存在问题,需要从官方网站下载后重新引入。
下载地址为:http://www.jcraft.com/jsch/index.html
下载后,在Window-->Preferences-->Ant-->Runtime中,添加外部jar引用,增加新的jsch的jar包即可。
4、 警告:编码UTF-8 的不可映射字符
Ant可以编译成功,但出现警告:编码 UTF-8 的不可映射字符
原因为项目编码为GBK的问题,两个办法可以解决:
1、 修改项目编码格式
2、 在ant的javac的编译节点中,增加以下属性:
<compilerargline="-encodingGBK "/>
<!-- 给编译器指定编码,防止出现:"警告: 编码 UTF-8 的不可映射字符"-->
时间:2011年10月23日
-------------------------------------------------------------------------------------------------------------------
作者:CNZQS|JesseZhang 个人博客:CNZQS(http://www.cnzqs.com)
版权声明:除非注明,文章均为原创,可以任意转载,转载时请务必以超链接形式标明文章原始出处和作者信息及本声明
--------------------------------------------------------------------------------------------------------------------
发表评论
-
Hadoop正式发布1.0版本
2011-12-30 23:46 994作者:JesseZhang (CNZQS|JesseZh ... -
hadoop运行报错: java.lang.ClassNotFoundException解决方法
2011-12-11 23:10 2435作者:JesseZhang (CNZQS|JesseZh ... -
网友分享的《Hadoop实战》中文版 pdf
2011-12-08 20:50 2119作者:JesseZhang (CNZQS ... -
《权威指南》笔记十 管理Hadoop
2011-12-07 00:29 1658作者:JesseZhang (CNZQS|JesseZh ... -
《权威指南》笔记九 构建Hadoop集群
2011-12-05 22:03 1615作者:JesseZhang (CNZQS|JesseZh ... -
《权威指南》笔记八 MapReduce的特性
2011-12-05 00:25 1518作者:JesseZhang (CNZQS|JesseZh ... -
《权威指南》笔记七 MapReduce的类型和格式
2011-12-04 00:30 1740作者:JesseZhang (CNZQS|JesseZh ... -
Google三大论文中文版 pdf
2011-11-30 11:43 1909作者:JesseZhang (CNZQS|Jess ... -
Hadoop的五个典型应用场景
2011-11-08 11:18 1706本文为转载,原始地址为:http://blog.nosq ... -
Hadoop权威指南(第二版)pdf中文版
2011-11-03 11:29 2894今天终于找到 hadoop权威指南第二版的中文pdf版本 ... -
chp6_MapReduce工作机制_20111016
2011-10-16 19:42 1051MapReduce工作机制 1. ... -
chp5_MapReduce应用开发_20111011
2011-10-16 16:43 950MapReduce应用开发 1. ... -
hadoop的应用(摘自itpub论坛)
2011-09-23 22:44 1094在itpub的hadoop论坛中看到一则hadoop的应用说明 ... -
Hadoop的Namenode的容灾处理
2011-08-17 21:48 1664Hadoop的namenode是关键节点,虽然业务尽量单一,减 ... -
HDFS系统学习笔记
2011-08-14 23:19 1070HDFS系统 1. 读 ... -
hadoop开发环境配置(伪分布)
2011-08-14 10:44 1022Hadoop开发环境 安装插件 0.20.0 ... -
Hadoop安装总结
2011-08-13 13:07 877Hadoop安装总结 安装JDK 1 ... -
Hadoop及子项目介绍
2011-08-13 12:26 1549Hadoop及子项目介绍 H ... -
Google的三大基石
2011-07-20 13:58 1091Google的三大基石,也是云计算的几个重点论文的来源: ...
相关推荐
总结起来,搭建Windows下的Hadoop2开发环境涉及下载和安装Hadoop,配置环境变量和核心配置文件,调整系统以适应Windows环境,以及利用Ant进行项目构建。这个过程虽然相对复杂,但是一旦完成,你就可以在本地环境中...
为了使Ant能够构建Hadoop-eclipse-plugin,你需要修改 `%HADOOP_HOME%\src\contrib\build-contrib.xml` 文件。在这个文件中,你需要添加两行属性定义,`eclipse.home` 指向你的Eclipse安装路径,`version` 设置为...
1. **配置环境**:首先确保你的开发环境已经安装了Hadoop和Ant。设置好Hadoop的相关环境变量,如`HADOOP_HOME`,并将其添加到系统的PATH中。 2. **创建Ant项目结构**:一个典型的Ant项目会包含`.classpath`和`....
Hadoop Eclipse Plugin 2.7.7.jar 是一个专为Java开发者设计的工具,它将Hadoop的开发环境与Eclipse IDE紧密集成,极大地提高了在Windows 10系统上进行Hadoop项目开发的效率。该插件是在JDK 1.8.181版本环境下编译,...
5. **hadoop-ant-1.2.1.jar**:Hadoop Ant任务库,使得开发者可以使用Apache Ant构建工具来编译、打包和执行Hadoop项目,简化了基于Ant的Hadoop应用的构建过程。 6. **hadoop-minicluster-1.2.1.jar**:这个库提供...
这两个jar包是Ant的运行时库,用于构建Hadoop项目。Ant-launcher是Ant的启动器,负责执行构建脚本。 3. **zookeeper-3.4.0.jar和zookeeper-3.4.0-test.jar**:ZooKeeper是一个分布式的,开放源码的协调服务,它是...
这涉及到基本的Git克隆源码、Maven或Ant构建命令,以及在Hadoop集群上提交和运行MapReduce任务的命令。 6. **机器学习算法**:Mahout 0.9包含了多种机器学习算法,如随机森林(Random Forest)、K-means聚类、协同...
开发者可以利用这些源代码来编译自己的“hadoop-eclipse-x.y.z.jar”文件,这个JAR文件是Eclipse集成Hadoop开发环境所必需的,它使得开发者可以直接在Eclipse环境中创建、构建、调试和运行Hadoop MapReduce项目。...
Eclipse插件则是为了帮助开发人员在Eclipse集成开发环境中更方便地开发、测试和部署Hadoop应用。 标题中的“hadoop1.0.4 eclipse插件”指的是一个专门为Hadoop 1.0.4版本设计的Eclipse插件,使得开发者可以在...
这会下载所有必要的依赖,并构建Hadoop。编译完成后,你可以使用`mvn package`命令生成可部署的Hadoop二进制包。 不过,要注意的是,Hadoop是跨平台的,因此在编译时需要指定正确的体系结构。在64位Linux环境下,你...
6. **构建Hadoop**:进入`hadoop-2.7.2-src`目录,使用Maven执行构建命令,例如`mvn clean install`。 7. **安装Protobuf**:遵循Protobuf的官方文档编译和安装,并将其库路径添加到系统库路径中。 8. **使用...
Ant是一个Java项目构建工具,它允许用户通过XML配置文件来定义构建过程,这对于打包和构建Hadoop插件的JAR文件至关重要。 安装插件的过程通常包括以下步骤: 1. 下载提供的`hadoop-eclipse-plugin`压缩包。 2. 解压...
标题中的“Hadoop源码编译需要工具”指的是在本地环境中构建Hadoop源代码时所需的必备组件。Hadoop是一个开源的分布式计算框架,主要用于处理和存储海量数据。为了从源代码编译Hadoop,我们需要一些特定的开发工具和...
2. **构建Hadoop源码**:下载Hadoop源代码,使用maven或ant构建系统来编译并生成本地库。这通常会生成libhadoop.so库文件。 3. **设置环境变量**:将生成的库文件路径添加到系统的LD_LIBRARY_PATH中,以便Java能够...
在构建和编译Hadoop项目时,除了基本的Java开发环境之外,还需要一些额外的工具来确保编译过程顺利进行。这些工具包括Apache Ant、FindBugs和Protocol Buffers(protobuf)。下面将详细介绍这三个工具以及它们在...
Apache Ant 1.9.6是该工具的一个稳定版本,提供了许多改进和修复,确保在各种开发环境中都能有效运行。 首先,我们需要了解如何在CentOS 6.5上安装Apache Ant 1.9.6。这个过程包括下载压缩文件,解压,配置环境变量...
- **Ant安装**:Ant是Apache的一个构建工具,用于打包和构建Hadoop项目。同样设置`ANT_HOME`和`PATH`环境变量。 - **protobuf安装**:protobuf是Google的一种数据序列化框架,用于Hadoop内部通信。安装后,Hadoop...
6. **编译Hadoop**:使用Maven执行编译命令,例如`mvn clean install`,这会下载所有必要的依赖,并构建Hadoop项目。 7. **运行测试**:编译完成后,可以运行Hadoop的单元测试,确保一切正常。 8. **打包与部署**:...
**步骤2:** 查看`BUILDING.txt`文件,该文件详细列出了编译Hadoop所需的环境和依赖项,包括但不限于: - **Unix System**:操作系统的类型。 - **JDK 1.7+**:Java开发工具包的版本。 - **Maven 3.0 or later**...