`
sunwtrain
  • 浏览: 4007 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

ant打包hadoop包,上传,并执行ant.xml配置

 
阅读更多
<?xml version="1.0" encoding="UTF-8"?>
<!--project 用于定义一个ant工程,其中的三项name、default、basedir缺一不可。 作用分别为:定义工程名、制定默认执行的任务、以及工程基础的路径型(它是计算其它路径的基础,一般情况下使用.即在java工程根目录即可) -->
<project name="log" default="compile" basedir=".">
	<!--描述,个人觉得就是一提示作用,没什么实际用途 -->
	<description>use jar test</description>
	<!--定义源文件路径,其中的value换成location也行,使用value的时候,${src}得到的就是src这个值,如果使用location,得到的是src这个目录的绝对路径 -->
	<property name="src" value="src" />
	<property name="classes" value="bin/classes" />
	<property name="path.build.classes" value="${classes}" />
	<property name="main.class" value="com.dzqd.hadoop.daemon.job.log.detail.LogDetailCommon" />
	
	

	
	<property name="hbaselib" value="E:/soft/hadoop/hbase-0.99.0/lib" />

	<property name="host" value="master" /> 
	<property name="jarpath" value="/home/master/testjar" /> 
    <property name="address" value="${host}:${jarpath}" />  
    <property name="user" value="master" />  
    <property name="password" value="123" />  


		<!--单独一个jar包,不在lib以及lib2目录下,使用一个单独的property定义,以便引用
	<property name="lib0" value="${jsonlib}${jsonjar}" />-->

	<!--构造打包时Class-Path需要的路径 -->
	<!--pathconvert用于对目录进行组合 property即这个组合的名字,pathsep作用是各个文件之间的分隔符,
		如果不写,在windows平台默认是分号。但时在MANIFEST.MF这个文件中,各个jar包之间要用空格区分,
		因此。这里就写成空格了
	-->
	<pathconvert property="lib1" pathsep=" ">
		<!--mapper,对路径组合方式进行控制-->
		<mapper>
			<!--chainedmapper 作用是联合多个mapper-->
			<chainedmapper>
				<!--过滤文件,将路径去掉,只保留文件名-->
				<flattenmapper />
				<!--过滤+转换器,将所有的文件名前面都加上一个lib,我们知道lib目录下面有jar包,
					lib/*的作用其实是将jar包名与路径进行组合形成如:lib/google.jar这样的相对路径
				 -->
				<globmapper from="*" to="${hbaselib}/*" />
			</chainedmapper>
		</mapper>
		<!--按照mapper定义的格式组合lib目录下面的所有jar文件,形成诸如lib/jar1.jar lib/jar2.jar的字符串-->
		<fileset dir="${hbaselib}">
			<include name="*.jar" />
		</fileset>
	</pathconvert>


	<!--同lib,此处不再解释-->
	<pathconvert property="lib2" pathsep=" ">
		<mapper>
			<chainedmapper>
				<flattenmapper />
				<globmapper from="*" to="lib/*" />
			</chainedmapper>
		</mapper>
		<fileset dir="lib">
			<include name="*.jar" />
		</fileset>
	</pathconvert>


	<!--组合各个路径,构成MANIFEST.MF文件中Class-Path所需的字符串-->
	<property name="libs" value="${lib1} ${lib2}" />

	<!--打印一下刚才构造好的字符串,看看是否符合要求
	<echo>libs   ${libs}</echo>-->

	<!-- 构造打包时Class-Path需要的路径 结束-->

	<!--创建任务init,负责初始化一些条件-->
	<target name="init">
		<!-- 创建存放编译后的class的目录
			mkdir可以创建多级目录 
		-->
		<mkdir dir="${classes}" />
	</target>

	<!--创建编译任务,名字是compile,depends指定了comiple任务依赖init任务-->
	<target name="compile" depends="init" description="comile target">
		<!--javac,编译,对应java中的javac命令。
		其中srcdir定义源文件路径 destdir定义编译后文件路径,
		includeantruntime作用是指定编译任务是否包含ant的classpath,可有可无,不影响编译,
		但不写可能会出现警告,为了眼不见心不烦,加上吧-->
		<javac srcdir="${src}" destdir="${classes}" includeantruntime="true">
			<!-- classpath 定义编译需要的claspath -->
			<classpath>
				<fileset dir="${hbaselib}">
					<include name="*.jar" />
				</fileset>
				<fileset dir="lib">
					<include name="*.jar" />
				</fileset>				
			</classpath>
		</javac>
	</target>



	<!-- 创建时间戳 -->
	<tstamp />

	<!--定义jarfilename,准备进行打包操作。其中ant.project.name是ant默认的一个变量,值为最上面定义的project的name 
		${DSTAMP}为日期,格式为20111123;${TSTAMP}为时间,格式为2256,表示22点56分。 -->
	<property name="jarfilename" value="${ant.project.name}-${DSTAMP}.jar" />
	
	
	<!--打包开始,名字为jar,依赖任务为compile -->
	<target name="local-jar" depends="compile" description="make jar file">
	      <echo message="将class打包,输出到${classes}" />
        <!-- 配置文件拷贝 -->  
        <copy todir="${path.build.classes}">  
           <fileset dir="${src}">  
				<include name="**/*.xml" />  
				<include name="**/log4j.properties" />
				<exclude name="**/ant.xml" /> 
          </fileset>  
       </copy> 
	    <!-- <mkdir dir="${dist.dir}" / -->
		<!--jar操作,jarfile指定jar包存放路径,basedir为编译后的class的目录 -->
		<jar jarfile="${jarfilename}" basedir="${classes}">
		    <!-- 打包要打进的第三方包,解压打进去的方式 -->
			<zipfileset includes="**/*.*" src="lib/hbase-daemon-1.0.0-SNAPSHOT.jar" />
			<zipfileset includes="**/*.*" src="lib/json-simple-1.1.jar" />
			<!--为jar包指定manifest,当然,如果jar包不需要打成runnable的形式,manifest可以不要 -->
			<manifest>
				<!--指定main-class -->
				<attribute name="Main-Class"
					value="${main.class}" />
				<!--指定Class-Path -->
				<attribute name="Class-Path" value="${libs}">
				</attribute>
			</manifest>
		</jar>
	</target>
	

	<!-- 第三方包单独放在lib目录下的方法(hadoop jar执行打包方法) -->
	<target name="hadoop-jar" depends="compile" description="Create binary distribution">
		<!-- 首先,我们把所有的第三方jar都复制到build/lib目录中 -->
		<copy todir="${path.build.classes}/lib">
			<fileset dir="lib">
				<include name="**/*.jar" />
				<!-- 因为hadoop-*-core.jar在hadoop系统中已经有了,我们就不对其打包了 -->
				<exclude name="**/hadoop-*-core.jar" />
			</fileset>
		</copy>	 
        <!-- 配置文件拷贝 -->  
        <copy todir="${path.build.classes}">  
           <fileset dir="${src}">  
				<include name="**/*.xml" />  
				<include name="**/log4j.properties" />
				<exclude name="**/ant.xml" /> 
          </fileset>  
       </copy>		
		<!-- 列出所有jar文件的名字,并生成一个有效的classpath字符串,放在hadoop-jar.classpath中 -->
		<pathconvert property="hadoop-jar.classpath" pathsep=" ">
			<regexpmapper from="^(.*)/lib/(.*\.jar)$" to="lib/\2" />
			<path>
				<fileset dir="${path.build.classes}/lib">
					<include name="**/*.jar" />
				</fileset>
			</path>
		</pathconvert>

		<!-- 生成一个Manifest文件,包含刚生成的classpath字符串和这个jar的默认运行类 -->
		<manifest file="MANIFEST.MF">
			<!--<attribute name="Class-Path" value="${hadoop-jar.classpath}" /> -->
			<attribute name="Main-Class" value="${main.class}" />
		</manifest>

		<!-- 把刚才生成的Manifest文件、程序的类文件和所有依赖的第三方jar都打包在一个jar中 -->
		<jar basedir="${path.build.classes}" manifest="MANIFEST.MF"
			jarfile="${jarfilename}">
		
			<include name="**/*.class" />
			<include name="**/*.jar" />
			
			<!-- 配置文件拷贝 -->  
			<include name="*.xml" />  
			<include name="log4j.properties" />
			<exclude name="ant.xml" />
		</jar>

		<!-- 删除manifest文件 -->
		<delete dir="${path.build.classes}/lib" />
		<delete file="MANIFEST.MF" />

	</target>
	
	
	<!-- 第三方包单独放在lib目录下的方法(hbase main-class执行打包方法) -->
	<!--
	export HBASE_CLASSPATH=$HADOOP_HOME/etc/hadoop:your-jar.jar
	hbase your-mainClass /input /output tableName 
	-->
	<target name="hbase-jar" depends="compile" description="Create binary distribution">
			<!-- 生成一个Manifest文件,包含刚生成的classpath字符串和这个jar的默认运行类 -->
			<manifest file="MANIFEST.MF">
				<attribute name="Main-Class" value="${main.class}" />
			</manifest>
	        <!-- 配置文件拷贝 -->  
	        <copy todir="${path.build.classes}">  
	           <fileset dir="${src}">  
					<include name="**/*.xml" />  
					<include name="**/log4j.properties" />
					<exclude name="**/ant.xml" /> 
	          </fileset>  
	       </copy>  
			<!-- 把刚才生成的Manifest文件、程序的类文件和所有依赖的第三方jar都打包在一个jar中 -->
			<jar basedir="${path.build.classes}" manifest="MANIFEST.MF"
				jarfile="${jarfilename}">
				<include name="**/*.class" />
			    <!-- 打包要打进的第三方包,解压打进去的方式 -->
				<zipfileset includes="**/*.*" src="lib/hbase-daemon-1.0.0-SNAPSHOT.jar" />
				<zipfileset includes="**/*.*" src="lib/json-simple-1.1.jar" />
				<!-- 配置文件拷贝 -->  
				<include name="**/*.xml" />  
				<include name="**/log4j.properties" />
				<exclude name="**/ant.xml" />
			</jar>

			<!-- 删除manifest文件 -->
			<delete file="MANIFEST.MF" />

		</target>


	<!--运行一下jar包,试试看效果 -->
	<target name="local-run" depends="local-jar">
		<!--其实这里就是运行jar命令,注意fork一定加上,不然不起作用 -->
		<java jar="${jarfilename}" fork="true">
		</java>
	</target>


	<!-- 清理 -->
	<target name="clean">
		<!-- 可以以递归的方式删除目录 -->
		<delete dir="${classes}" />
		<delete dir="." includes="${jarfilename}" />
	</target>
	  
  
	 <target name="upload" description="上传">  
        <echo message="将jar上传服务器" />  
        <scp file="${jarfilename}" todir="${user}:${password}@${address}"    
            trust="true" verbose="true"/>  
        <echo message="上传完毕" />  
    </target>  
	<target name="jar-upload" depends="hbase-jar" description="上传">  
       <echo message="将jar上传服务器" />  
       <scp file="${jarfilename}" todir="${user}:${password}@${address}"    
           trust="true" verbose="true"/>  
       <echo message="上传完毕" />  
   </target> 
	
	<target name="ssh-run" description="执行job">  
	      <sshexec host="${host}" username="${user}"  password="${passwrod}"  
	         trust="true" command="export HBASE_CLASSPATH=$HADOOP_HOME/etc/hadoop:${jarpath}/${jarfilename}/;hbase ${main.class}"/>  
	</target>

</project>

 

分享到:
评论

相关推荐

    hadoop-eclipse-plugin-2.10.0.jar

    Eclipse集成Hadoop2.10.0的插件,使用`ant`对hadoop的jar包进行打包并适应Eclipse加载,所以参数里有hadoop和eclipse的目录. 必须注意对于不同的hadoop版本,` HADDOP_INSTALL_PATH/share/hadoop/common/lib`下的jar包...

    ant打包hadoop-eclipse-plugin

    在本文中,我们将深入探讨如何使用Apache Ant工具在Windows环境下打包Hadoop-eclipse-plugin,这是一个允许开发者在Eclipse IDE中创建和调试Hadoop MapReduce项目的插件。以下是详细步骤: 首先,你需要下载Apache ...

    生成 hadoop-eclipse-plugin-2.x 插件工具代码

    6. **Ant或Maven构建工具**:用于编译源代码,打包并生成最终的插件文件。 总的来说,生成`hadoop-eclipse-plugin-2.x`的过程涉及到了Hadoop、Eclipse插件开发、依赖管理等多个方面的知识。通过遵循`README.md`中的...

    hadoop-ant-buld.xml

    hadoop-ant-buld.xml 编写

    hadoop-eclipse-plugin-1.1.2.jar

    hadoop 1.1.2 的eclipse 插件 经测试可用 如不可用 可以参考如下自行编译 首先将 ${HADOOP_HOME}\src\contrib 下面的 build-contrib.xml 复制到 ${...在${HADOOP_HOME}\src\contrib\eclipse-plugin 下面 执行 ant jar

    hadoop-lzo-release-0.4.20.zip

    2. **构建脚本**:如`build.xml`或`pom.xml`,这些脚本用于构建和打包项目,通常使用Ant或Maven等工具。用户可以通过运行这些脚本来编译源代码,并生成可部署的JAR文件。 3. **测试用例**:为了确保代码的正确性和...

    hadoop-eclipse-plugin-2.7.0.zip

    为了构建这个插件,开发者使用了Ant 1.9.14作为构建工具,这是一款基于XML的自动化构建工具,用于编译、打包和测试Java项目。同时,还采用了Apache Maven 3.6.1,这是一个更现代的项目管理和综合工具,它可以帮助...

    Hadoop-2.2.0源码包

    通过构建脚本(通常是Ant或Maven),可以编译源码、生成jar包,并部署到Hadoop集群。 7. **conf**目录:包含了默认的配置文件,如core-site.xml、hdfs-site.xml和mapred-site.xml等,这些配置可以自定义以适应不同...

    Hadoop2.5.1 源码编译文档+所需软件打包

    7. **安装和配置Hadoop**:将编译好的二进制文件复制到你想要安装的目录,并配置`core-site.xml`、`hdfs-site.xml`、`yarn-site.xml`等配置文件,以适应你的集群环境。 8. **启动和使用Hadoop**:最后,启动Hadoop...

    hadoop源代码打包归档

    6. **配置调整**:在打包前,可能需要根据实际需求修改Hadoop的配置文件,如`core-site.xml`, `hdfs-site.xml`, `mapred-site.xml`和`yarn-site.xml`。 7. **测试与验证**:在打包前,最好运行单元测试确保代码功能...

    hadoop_kerberos 配置权限验证.pdf

    - 更新Hadoop配置文件,如`hadoop-env.sh`和`core-site.xml`,指定Kerberos相关属性,如`hadoop.security.authentication`设置为`kerberos`,以及`java.security.krb5.conf`指向`krb5.conf`文件。 7. **权限验证...

    apache-ant-1.9.14-bin.tar.gz

    - **创建JAR包**:编译完成后,Ant可以将编译后的类打包成JAR文件,以便于部署和运行。 - **运行测试**:Ant支持运行单元测试和集成测试,确保代码质量。 - **依赖管理**:如果Hadoop依赖其他库,Ant可以负责下载并...

    apache-ant-1.9.6-bin.tar.gz

    通过编写和执行build.xml文件,Ant可以帮助开发者高效地管理项目的构建流程,包括编译64位版本的Hadoop组件。熟悉这些步骤和Ant的基本用法对于任何Java开发者,尤其是参与大数据项目的开发者来说,都是非常重要的。

    使用ANT实现Run-on-Hadoop功能

    6. **自定义Hadoop配置**:如果需要,可以在Ant脚本中添加对Hadoop配置文件(如core-site.xml和hdfs-site.xml)的引用,以便在运行时应用这些配置。 总结来说,“使用ANT实现Run-on-Hadoop功能”意味着通过Ant工具...

    Hadoop的配置及运行WordCount.docx

    在本文档中,我们将深入探讨如何配置和运行Hadoop,并以经典的WordCount程序为例进行实践。Hadoop是一个开源的分布式计算框架,广泛应用于大数据处理,它允许数据在集群中的多台机器上并行处理,提高了处理效率。 ...

    apache-ant-1.9.11-bin.tar.gz

    Hadoop是一个分布式计算框架,主要用于大数据处理,而Ant则帮助开发者自动化构建Hadoop的源代码,生成可执行的JAR文件和安装包。 Apache Ant的核心概念包括构建文件(build.xml)和任务(tasks)。构建文件是一个...

    用于与Apache Hadoop的同步hadoop-build-tools.rar

    6. **打包和发布工具**:如Ant或Gradle,用于创建可分发的JAR和WAR文件,以及上传到Maven中央仓库的脚本。 7. **性能分析工具**:可能包括监控和性能测试工具,如Hadoop的YARN Timeline Server和Hadoop Metrics2,...

    FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeExcepti

    FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 解决方法 ...

    安装hadoop相关的jar包

    在Hadoop环境中,Ant可能用于构建和打包Hadoop项目,或者在部署和配置过程中执行自动化任务。 2. **Protobuf(Protocol Buffers)**:这是Google开发的一种数据序列化协议,可以将结构化数据转换为二进制格式,便于在...

    hadoop-3.1.4-src.zip

    - `build.xml`:Ant构建脚本,用于编译、打包和测试源代码。 - `src/test`:包含了各种单元测试和集成测试,确保Hadoop的功能正确性和性能。 7. **配置文件**: - `conf`目录下有默认的配置文件,如`core-site....

Global site tag (gtag.js) - Google Analytics