<?xml version="1.0" encoding="UTF-8"?> <!--project 用于定义一个ant工程,其中的三项name、default、basedir缺一不可。 作用分别为:定义工程名、制定默认执行的任务、以及工程基础的路径型(它是计算其它路径的基础,一般情况下使用.即在java工程根目录即可) --> <project name="log" default="compile" basedir="."> <!--描述,个人觉得就是一提示作用,没什么实际用途 --> <description>use jar test</description> <!--定义源文件路径,其中的value换成location也行,使用value的时候,${src}得到的就是src这个值,如果使用location,得到的是src这个目录的绝对路径 --> <property name="src" value="src" /> <property name="classes" value="bin/classes" /> <property name="path.build.classes" value="${classes}" /> <property name="main.class" value="com.dzqd.hadoop.daemon.job.log.detail.LogDetailCommon" /> <property name="hbaselib" value="E:/soft/hadoop/hbase-0.99.0/lib" /> <property name="host" value="master" /> <property name="jarpath" value="/home/master/testjar" /> <property name="address" value="${host}:${jarpath}" /> <property name="user" value="master" /> <property name="password" value="123" /> <!--单独一个jar包,不在lib以及lib2目录下,使用一个单独的property定义,以便引用 <property name="lib0" value="${jsonlib}${jsonjar}" />--> <!--构造打包时Class-Path需要的路径 --> <!--pathconvert用于对目录进行组合 property即这个组合的名字,pathsep作用是各个文件之间的分隔符, 如果不写,在windows平台默认是分号。但时在MANIFEST.MF这个文件中,各个jar包之间要用空格区分, 因此。这里就写成空格了 --> <pathconvert property="lib1" pathsep=" "> <!--mapper,对路径组合方式进行控制--> <mapper> <!--chainedmapper 作用是联合多个mapper--> <chainedmapper> <!--过滤文件,将路径去掉,只保留文件名--> <flattenmapper /> <!--过滤+转换器,将所有的文件名前面都加上一个lib,我们知道lib目录下面有jar包, lib/*的作用其实是将jar包名与路径进行组合形成如:lib/google.jar这样的相对路径 --> <globmapper from="*" to="${hbaselib}/*" /> </chainedmapper> </mapper> <!--按照mapper定义的格式组合lib目录下面的所有jar文件,形成诸如lib/jar1.jar lib/jar2.jar的字符串--> <fileset dir="${hbaselib}"> <include name="*.jar" /> </fileset> </pathconvert> <!--同lib,此处不再解释--> <pathconvert property="lib2" pathsep=" "> <mapper> <chainedmapper> <flattenmapper /> <globmapper from="*" to="lib/*" /> </chainedmapper> </mapper> <fileset dir="lib"> <include name="*.jar" /> </fileset> </pathconvert> <!--组合各个路径,构成MANIFEST.MF文件中Class-Path所需的字符串--> <property name="libs" value="${lib1} ${lib2}" /> <!--打印一下刚才构造好的字符串,看看是否符合要求 <echo>libs ${libs}</echo>--> <!-- 构造打包时Class-Path需要的路径 结束--> <!--创建任务init,负责初始化一些条件--> <target name="init"> <!-- 创建存放编译后的class的目录 mkdir可以创建多级目录 --> <mkdir dir="${classes}" /> </target> <!--创建编译任务,名字是compile,depends指定了comiple任务依赖init任务--> <target name="compile" depends="init" description="comile target"> <!--javac,编译,对应java中的javac命令。 其中srcdir定义源文件路径 destdir定义编译后文件路径, includeantruntime作用是指定编译任务是否包含ant的classpath,可有可无,不影响编译, 但不写可能会出现警告,为了眼不见心不烦,加上吧--> <javac srcdir="${src}" destdir="${classes}" includeantruntime="true"> <!-- classpath 定义编译需要的claspath --> <classpath> <fileset dir="${hbaselib}"> <include name="*.jar" /> </fileset> <fileset dir="lib"> <include name="*.jar" /> </fileset> </classpath> </javac> </target> <!-- 创建时间戳 --> <tstamp /> <!--定义jarfilename,准备进行打包操作。其中ant.project.name是ant默认的一个变量,值为最上面定义的project的name ${DSTAMP}为日期,格式为20111123;${TSTAMP}为时间,格式为2256,表示22点56分。 --> <property name="jarfilename" value="${ant.project.name}-${DSTAMP}.jar" /> <!--打包开始,名字为jar,依赖任务为compile --> <target name="local-jar" depends="compile" description="make jar file"> <echo message="将class打包,输出到${classes}" /> <!-- 配置文件拷贝 --> <copy todir="${path.build.classes}"> <fileset dir="${src}"> <include name="**/*.xml" /> <include name="**/log4j.properties" /> <exclude name="**/ant.xml" /> </fileset> </copy> <!-- <mkdir dir="${dist.dir}" / --> <!--jar操作,jarfile指定jar包存放路径,basedir为编译后的class的目录 --> <jar jarfile="${jarfilename}" basedir="${classes}"> <!-- 打包要打进的第三方包,解压打进去的方式 --> <zipfileset includes="**/*.*" src="lib/hbase-daemon-1.0.0-SNAPSHOT.jar" /> <zipfileset includes="**/*.*" src="lib/json-simple-1.1.jar" /> <!--为jar包指定manifest,当然,如果jar包不需要打成runnable的形式,manifest可以不要 --> <manifest> <!--指定main-class --> <attribute name="Main-Class" value="${main.class}" /> <!--指定Class-Path --> <attribute name="Class-Path" value="${libs}"> </attribute> </manifest> </jar> </target> <!-- 第三方包单独放在lib目录下的方法(hadoop jar执行打包方法) --> <target name="hadoop-jar" depends="compile" description="Create binary distribution"> <!-- 首先,我们把所有的第三方jar都复制到build/lib目录中 --> <copy todir="${path.build.classes}/lib"> <fileset dir="lib"> <include name="**/*.jar" /> <!-- 因为hadoop-*-core.jar在hadoop系统中已经有了,我们就不对其打包了 --> <exclude name="**/hadoop-*-core.jar" /> </fileset> </copy> <!-- 配置文件拷贝 --> <copy todir="${path.build.classes}"> <fileset dir="${src}"> <include name="**/*.xml" /> <include name="**/log4j.properties" /> <exclude name="**/ant.xml" /> </fileset> </copy> <!-- 列出所有jar文件的名字,并生成一个有效的classpath字符串,放在hadoop-jar.classpath中 --> <pathconvert property="hadoop-jar.classpath" pathsep=" "> <regexpmapper from="^(.*)/lib/(.*\.jar)$" to="lib/\2" /> <path> <fileset dir="${path.build.classes}/lib"> <include name="**/*.jar" /> </fileset> </path> </pathconvert> <!-- 生成一个Manifest文件,包含刚生成的classpath字符串和这个jar的默认运行类 --> <manifest file="MANIFEST.MF"> <!--<attribute name="Class-Path" value="${hadoop-jar.classpath}" /> --> <attribute name="Main-Class" value="${main.class}" /> </manifest> <!-- 把刚才生成的Manifest文件、程序的类文件和所有依赖的第三方jar都打包在一个jar中 --> <jar basedir="${path.build.classes}" manifest="MANIFEST.MF" jarfile="${jarfilename}"> <include name="**/*.class" /> <include name="**/*.jar" /> <!-- 配置文件拷贝 --> <include name="*.xml" /> <include name="log4j.properties" /> <exclude name="ant.xml" /> </jar> <!-- 删除manifest文件 --> <delete dir="${path.build.classes}/lib" /> <delete file="MANIFEST.MF" /> </target> <!-- 第三方包单独放在lib目录下的方法(hbase main-class执行打包方法) --> <!-- export HBASE_CLASSPATH=$HADOOP_HOME/etc/hadoop:your-jar.jar hbase your-mainClass /input /output tableName --> <target name="hbase-jar" depends="compile" description="Create binary distribution"> <!-- 生成一个Manifest文件,包含刚生成的classpath字符串和这个jar的默认运行类 --> <manifest file="MANIFEST.MF"> <attribute name="Main-Class" value="${main.class}" /> </manifest> <!-- 配置文件拷贝 --> <copy todir="${path.build.classes}"> <fileset dir="${src}"> <include name="**/*.xml" /> <include name="**/log4j.properties" /> <exclude name="**/ant.xml" /> </fileset> </copy> <!-- 把刚才生成的Manifest文件、程序的类文件和所有依赖的第三方jar都打包在一个jar中 --> <jar basedir="${path.build.classes}" manifest="MANIFEST.MF" jarfile="${jarfilename}"> <include name="**/*.class" /> <!-- 打包要打进的第三方包,解压打进去的方式 --> <zipfileset includes="**/*.*" src="lib/hbase-daemon-1.0.0-SNAPSHOT.jar" /> <zipfileset includes="**/*.*" src="lib/json-simple-1.1.jar" /> <!-- 配置文件拷贝 --> <include name="**/*.xml" /> <include name="**/log4j.properties" /> <exclude name="**/ant.xml" /> </jar> <!-- 删除manifest文件 --> <delete file="MANIFEST.MF" /> </target> <!--运行一下jar包,试试看效果 --> <target name="local-run" depends="local-jar"> <!--其实这里就是运行jar命令,注意fork一定加上,不然不起作用 --> <java jar="${jarfilename}" fork="true"> </java> </target> <!-- 清理 --> <target name="clean"> <!-- 可以以递归的方式删除目录 --> <delete dir="${classes}" /> <delete dir="." includes="${jarfilename}" /> </target> <target name="upload" description="上传"> <echo message="将jar上传服务器" /> <scp file="${jarfilename}" todir="${user}:${password}@${address}" trust="true" verbose="true"/> <echo message="上传完毕" /> </target> <target name="jar-upload" depends="hbase-jar" description="上传"> <echo message="将jar上传服务器" /> <scp file="${jarfilename}" todir="${user}:${password}@${address}" trust="true" verbose="true"/> <echo message="上传完毕" /> </target> <target name="ssh-run" description="执行job"> <sshexec host="${host}" username="${user}" password="${passwrod}" trust="true" command="export HBASE_CLASSPATH=$HADOOP_HOME/etc/hadoop:${jarpath}/${jarfilename}/;hbase ${main.class}"/> </target> </project>
相关推荐
Eclipse集成Hadoop2.10.0的插件,使用`ant`对hadoop的jar包进行打包并适应Eclipse加载,所以参数里有hadoop和eclipse的目录. 必须注意对于不同的hadoop版本,` HADDOP_INSTALL_PATH/share/hadoop/common/lib`下的jar包...
在本文中,我们将深入探讨如何使用Apache Ant工具在Windows环境下打包Hadoop-eclipse-plugin,这是一个允许开发者在Eclipse IDE中创建和调试Hadoop MapReduce项目的插件。以下是详细步骤: 首先,你需要下载Apache ...
6. **Ant或Maven构建工具**:用于编译源代码,打包并生成最终的插件文件。 总的来说,生成`hadoop-eclipse-plugin-2.x`的过程涉及到了Hadoop、Eclipse插件开发、依赖管理等多个方面的知识。通过遵循`README.md`中的...
hadoop-ant-buld.xml 编写
hadoop 1.1.2 的eclipse 插件 经测试可用 如不可用 可以参考如下自行编译 首先将 ${HADOOP_HOME}\src\contrib 下面的 build-contrib.xml 复制到 ${...在${HADOOP_HOME}\src\contrib\eclipse-plugin 下面 执行 ant jar
2. **构建脚本**:如`build.xml`或`pom.xml`,这些脚本用于构建和打包项目,通常使用Ant或Maven等工具。用户可以通过运行这些脚本来编译源代码,并生成可部署的JAR文件。 3. **测试用例**:为了确保代码的正确性和...
为了构建这个插件,开发者使用了Ant 1.9.14作为构建工具,这是一款基于XML的自动化构建工具,用于编译、打包和测试Java项目。同时,还采用了Apache Maven 3.6.1,这是一个更现代的项目管理和综合工具,它可以帮助...
通过构建脚本(通常是Ant或Maven),可以编译源码、生成jar包,并部署到Hadoop集群。 7. **conf**目录:包含了默认的配置文件,如core-site.xml、hdfs-site.xml和mapred-site.xml等,这些配置可以自定义以适应不同...
7. **安装和配置Hadoop**:将编译好的二进制文件复制到你想要安装的目录,并配置`core-site.xml`、`hdfs-site.xml`、`yarn-site.xml`等配置文件,以适应你的集群环境。 8. **启动和使用Hadoop**:最后,启动Hadoop...
6. **配置调整**:在打包前,可能需要根据实际需求修改Hadoop的配置文件,如`core-site.xml`, `hdfs-site.xml`, `mapred-site.xml`和`yarn-site.xml`。 7. **测试与验证**:在打包前,最好运行单元测试确保代码功能...
- 更新Hadoop配置文件,如`hadoop-env.sh`和`core-site.xml`,指定Kerberos相关属性,如`hadoop.security.authentication`设置为`kerberos`,以及`java.security.krb5.conf`指向`krb5.conf`文件。 7. **权限验证...
- **创建JAR包**:编译完成后,Ant可以将编译后的类打包成JAR文件,以便于部署和运行。 - **运行测试**:Ant支持运行单元测试和集成测试,确保代码质量。 - **依赖管理**:如果Hadoop依赖其他库,Ant可以负责下载并...
通过编写和执行build.xml文件,Ant可以帮助开发者高效地管理项目的构建流程,包括编译64位版本的Hadoop组件。熟悉这些步骤和Ant的基本用法对于任何Java开发者,尤其是参与大数据项目的开发者来说,都是非常重要的。
6. **自定义Hadoop配置**:如果需要,可以在Ant脚本中添加对Hadoop配置文件(如core-site.xml和hdfs-site.xml)的引用,以便在运行时应用这些配置。 总结来说,“使用ANT实现Run-on-Hadoop功能”意味着通过Ant工具...
在本文档中,我们将深入探讨如何配置和运行Hadoop,并以经典的WordCount程序为例进行实践。Hadoop是一个开源的分布式计算框架,广泛应用于大数据处理,它允许数据在集群中的多台机器上并行处理,提高了处理效率。 ...
Hadoop是一个分布式计算框架,主要用于大数据处理,而Ant则帮助开发者自动化构建Hadoop的源代码,生成可执行的JAR文件和安装包。 Apache Ant的核心概念包括构建文件(build.xml)和任务(tasks)。构建文件是一个...
6. **打包和发布工具**:如Ant或Gradle,用于创建可分发的JAR和WAR文件,以及上传到Maven中央仓库的脚本。 7. **性能分析工具**:可能包括监控和性能测试工具,如Hadoop的YARN Timeline Server和Hadoop Metrics2,...
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 解决方法 ...
在Hadoop环境中,Ant可能用于构建和打包Hadoop项目,或者在部署和配置过程中执行自动化任务。 2. **Protobuf(Protocol Buffers)**:这是Google开发的一种数据序列化协议,可以将结构化数据转换为二进制格式,便于在...
- `build.xml`:Ant构建脚本,用于编译、打包和测试源代码。 - `src/test`:包含了各种单元测试和集成测试,确保Hadoop的功能正确性和性能。 7. **配置文件**: - `conf`目录下有默认的配置文件,如`core-site....