`
bit1129
  • 浏览: 1075382 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

【Hadoop三】Centos7_x86_64部署Hadoop集群之编译Hadoop源代码

 
阅读更多
 

编译必需的软件

  • Firebugs3.0.0
  • Maven3.2.3
  • Ant
  • JDK1.7.0_67
  • protobuf-2.5.0
  • Hadoop 2.5.2源码包

 

 

 

  • Firebugs3.0.0

 

http://sourceforge.jp/projects/sfnet_findbugs/downloads/findbugs/3.0.0/findbugs-3.0.0.tar.gz/
tar xzvf findbugs-3.0.0
export FINDBUGS_HOME=/home/hadoop/software/findbugs-3.0.0
export PATH=$FINDBUGS_HOME/bin:$PATH

 

第一次构件时没有安装FireBugs，结果报如下错误

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7:run (site) on project hadoop-common: An Ant BuildException has occured: stylesheet /home/grid/hadoop-2.4.1/release-2.4.1/hadoop-common-project/hadoop-common/${env.FINDBUGS_HOME}/src/xsl/default.xsl doesn't exist.
[ERROR] around Ant part ...<xslt style="${env.FINDBUGS_HOME}/src/xsl/default.xsl" in="/home/grid/hadoop-2.4.1/release-2.4.1/hadoop-common-project/hadoop-common/target/findbugsXml.xml" out="/home/grid/hadoop-2.4.1/release-2.4.1/hadoop-common-project/hadoop-common/target/site/findbugs.html"/>... @ 44:267 in /home/grid/hadoop-2.4.1/release-2.4.1/hadoop-common-project/hadoop-common/target/antrun/build-main.xml
[ERROR] -> [Help 1]

 

 

  • Maven3.2.3

 

export M2_HOME=/home/hadoop/software/apache-maven-3.2.3
export PATH=$M2_HOME/bin:$PATH

 

  • Ant
export ANT_HOME=/home/hadoop/software/apache-ant-1.9.4
export PATH=$ANT_HOME/bin:$PATH

 

  • JDK1.7.0_67

 

export JAVA_HOME=/home/hadoop/software/jdk1.7.0_67
export PATH=$JAVA_HOME/bin:$PATH

 

  • protobuf-2.5.0

 

tar zxvf protobuf-2.5.0.tar.gz  
cd protobuf-2.5.0  
./configure --prefix=/usr/local  
make 
make install

   

  • Hadoop 2.5.2源码包 
tar zxvf hadoop-2.5.2-src.tar.gz  
cd hadoop-2.5.2-src  
mvn package -Pdist,native,docs -DskipTests -Dtar

  • 编译结果

Maven构建大概持续1个小时，构建的结果应该显示所有的构建都正确，如下所示：

 

[INFO] Reactor Summary:
[INFO] 
[INFO] Apache Hadoop Main ................................. SUCCESS [  3.460 s]
[INFO] Apache Hadoop Project POM .......................... SUCCESS [  2.440 s]
[INFO] Apache Hadoop Annotations .......................... SUCCESS [  8.027 s]
[INFO] Apache Hadoop Assemblies ........................... SUCCESS [  0.502 s]
[INFO] Apache Hadoop Project Dist POM ..................... SUCCESS [  6.744 s]
[INFO] Apache Hadoop Maven Plugins ........................ SUCCESS [  7.694 s]
[INFO] Apache Hadoop MiniKDC .............................. SUCCESS [ 10.779 s]
[INFO] Apache Hadoop Auth ................................. SUCCESS [01:08 min]
[INFO] Apache Hadoop Auth Examples ........................ SUCCESS [  3.241 s]
[INFO] Apache Hadoop Common ............................... SUCCESS [07:05 min]
[INFO] Apache Hadoop NFS .................................. SUCCESS [ 11.771 s]
[INFO] Apache Hadoop Common Project ....................... SUCCESS [  0.039 s]
[INFO] Apache Hadoop HDFS ................................. SUCCESS [14:51 min]
[INFO] Apache Hadoop HttpFS ............................... SUCCESS [05:01 min]
[INFO] Apache Hadoop HDFS BookKeeper Journal .............. SUCCESS [01:45 min]
[INFO] Apache Hadoop HDFS-NFS ............................. SUCCESS [  5.854 s]
[INFO] Apache Hadoop HDFS Project ......................... SUCCESS [  0.049 s]
[INFO] hadoop-yarn ........................................ SUCCESS [  0.066 s]
[INFO] hadoop-yarn-api .................................... SUCCESS [01:24 min]
[INFO] hadoop-yarn-common ................................. SUCCESS [01:32 min]
[INFO] hadoop-yarn-server ................................. SUCCESS [  0.096 s]
[INFO] hadoop-yarn-server-common .......................... SUCCESS [ 45.766 s]
[INFO] hadoop-yarn-server-nodemanager ..................... SUCCESS [01:45 min]
[INFO] hadoop-yarn-server-web-proxy ....................... SUCCESS [  4.768 s]
[INFO] hadoop-yarn-server-applicationhistoryservice ....... SUCCESS [  9.864 s]
[INFO] hadoop-yarn-server-resourcemanager ................. SUCCESS [ 23.242 s]
[INFO] hadoop-yarn-server-tests ........................... SUCCESS [  0.779 s]
[INFO] hadoop-yarn-client ................................. SUCCESS [  8.364 s]
[INFO] hadoop-yarn-applications ........................... SUCCESS [  0.068 s]
[INFO] hadoop-yarn-applications-distributedshell .......... SUCCESS [  4.872 s]
[INFO] hadoop-yarn-applications-unmanaged-am-launcher ..... SUCCESS [  2.523 s]
[INFO] hadoop-yarn-site ................................... SUCCESS [  0.051 s]
[INFO] hadoop-yarn-project ................................ SUCCESS [  9.001 s]
[INFO] hadoop-mapreduce-client ............................ SUCCESS [  0.124 s]
[INFO] hadoop-mapreduce-client-core ....................... SUCCESS [ 35.116 s]
[INFO] hadoop-mapreduce-client-common ..................... SUCCESS [ 27.584 s]
[INFO] hadoop-mapreduce-client-shuffle .................... SUCCESS [  7.655 s]
[INFO] hadoop-mapreduce-client-app ........................ SUCCESS [ 17.608 s]
[INFO] hadoop-mapreduce-client-hs ......................... SUCCESS [ 15.425 s]
[INFO] hadoop-mapreduce-client-jobclient .................. SUCCESS [ 39.538 s]
[INFO] hadoop-mapreduce-client-hs-plugins ................. SUCCESS [  2.738 s]
[INFO] Apache Hadoop MapReduce Examples ................... SUCCESS [  9.863 s]
[INFO] hadoop-mapreduce ................................... SUCCESS [  4.919 s]
[INFO] Apache Hadoop MapReduce Streaming .................. SUCCESS [ 19.115 s]
[INFO] Apache Hadoop Distributed Copy ..................... SUCCESS [ 12.291 s]
[INFO] Apache Hadoop Archives ............................. SUCCESS [  3.078 s]
[INFO] Apache Hadoop Rumen ................................ SUCCESS [ 11.125 s]
[INFO] Apache Hadoop Gridmix .............................. SUCCESS [  7.794 s]
[INFO] Apache Hadoop Data Join ............................ SUCCESS [  6.021 s]
[INFO] Apache Hadoop Extras ............................... SUCCESS [  5.012 s]
[INFO] Apache Hadoop Pipes ................................ SUCCESS [ 10.999 s]
[INFO] Apache Hadoop OpenStack support .................... SUCCESS [  8.789 s]
[INFO] Apache Hadoop Client ............................... SUCCESS [ 10.152 s]
[INFO] Apache Hadoop Mini-Cluster ......................... SUCCESS [  0.165 s]
[INFO] Apache Hadoop Scheduler Load Simulator ............. SUCCESS [ 18.100 s]
[INFO] Apache Hadoop Tools Dist ........................... SUCCESS [  6.974 s]
[INFO] Apache Hadoop Tools ................................ SUCCESS [  0.028 s]
[INFO] Apache Hadoop Distribution ......................... SUCCESS [02:37 min]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 44:48 min
[INFO] Finished at: 2014-12-03T08:12:48-05:00
[INFO] Final Memory: 144M/483M
[INFO] ------------------------------------------------------------------------

 

 

编译得到的安装包信息是

/home/hadoop/software/hadoop-2.5.2-src/hadoop-dist/target/hadoop-2.5.2.tar.gz
 
分享到：
| 【Memcached二】Memcached运行于CentOS7
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    2023年全国计算机一级理论题汇总.pdf

    2023年全国计算机一级理论题汇总.pdf

    2023年计算机组成与维护教程题库及答案.pdf

    2023年计算机组成与维护教程题库及答案.pdf

    基于SSM+JSP的二手交易平台网站+数据库（Java毕业设计，包括源码，教程）.zip

    Java 项目， Java 毕业设计，Java 课程设计，基于 SpringBoot 开发的，含有代码注释，新手也可看懂。毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。 包含：项目源码、数据库脚本、软件工具等，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。 项目都经过严格调试，确保可以运行！ 1. 技术组成 前端：jsp 后台框架：SSM 开发环境：idea 数据库：MySql（建议用 5.7 版本，8.0 有时候会有坑） 数据库工具：navicat 部署环境：Tomcat（建议用 7.x 或者 8.x 版本）， maven 2. 部署 如果部署有疑问的话，可以找我咨询 Java工具包下载地址： https://pan.quark.cn/s/eb24351ebac4

    【人机交互】MATLAB图像去雾系统.zip

    【人机交互】MATLAB图像去雾系统

    Java毕业设计-基于SpringBoot+Vue+MySql的智能推荐点餐系统(1)（附源码、数据库、教程）.zip

    Java 项目， Java 毕业设计，Java 课程设计，基于 SpringBoot 开发的，含有代码注释，新手也可看懂。毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。 包含：项目源码、数据库脚本、软件工具等，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。 项目都经过严格调试，确保可以运行！ 1. 技术组成 前端：html、javascript、Vue 后台框架：SpringBoot 开发环境：idea 数据库：MySql（建议用 5.7 版本，8.0 有时候会有坑） 数据库工具：navicat 部署环境：Tomcat（建议用 7.x 或者 8.x 版本）， maven 2. 部署 如果部署有疑问的话，可以找我咨询 Java工具包下载地址： https://pan.quark.cn/s/eb24351ebac4 后台路径地址：localhost:8080/项目名称/admin/dist/index.html 前台路径地址：localhost:8080/项目名称/front/index.html （无前台不需要输入）

    Java毕业设计-SpringBoot+Vue的藏区特产销售平台（附源码、数据库、教程）.zip

    Java 项目， Java 毕业设计，Java 课程设计，基于 SpringBoot 开发的，含有代码注释，新手也可看懂。毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。 包含：项目源码、数据库脚本、软件工具等，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。 项目都经过严格调试，确保可以运行！ 1. 技术组成 前端：html、javascript、Vue 后台框架：SpringBoot 开发环境：idea 数据库：MySql（建议用 5.7 版本，8.0 有时候会有坑） 数据库工具：navicat 部署环境：Tomcat（建议用 7.x 或者 8.x 版本）， maven 2. 部署 如果部署有疑问的话，可以找我咨询 Java工具包下载地址： https://pan.quark.cn/s/eb24351ebac4 后台路径地址：localhost:8080/项目名称/admin/dist/index.html 前台路径地址：localhost:8080/项目名称/front/index.html （无前台不需要输入）

    以STM32F103C8T6为主控，使用PID算法，控制TB6612FNG电机驱动模块驱动直流减速电机（带AB相编码器），实现任意设定的恒定转速动态控制，设置4个按键，实现电机的加速、减速、正转、反转

    以STM32F103C8T6为主控，使用PID算法，控制TB6612FNG电机驱动模块驱动直流减速电机（带AB相编码器），实现任意设定的恒定转速动态控制，设置4个按键，实现电机的加速、减速、正转、反转；类似汽车的定速巡航功能，将转速恒定在固定转速值。内部涉及技术模块有OLED屏的驱动显示、定时器中断使用、PID算法、定时器编码器设置、按键扫描检测、TB6612FNG驱动模块的控制。同时包含已验证的PDF原理图。

    Java毕业设计-SpringBoot+Vue的学生就业管理系统（附源码、数据库、教程）.zip

    Java 项目， Java 毕业设计，Java 课程设计，基于 SpringBoot 开发的，含有代码注释，新手也可看懂。毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。 包含：项目源码、数据库脚本、软件工具等，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。 项目都经过严格调试，确保可以运行！ 1. 技术组成 前端：html、javascript、Vue 后台框架：SpringBoot 开发环境：idea 数据库：MySql（建议用 5.7 版本，8.0 有时候会有坑） 数据库工具：navicat 部署环境：Tomcat（建议用 7.x 或者 8.x 版本）， maven 2. 部署 如果部署有疑问的话，可以找我咨询 Java工具包下载地址： https://pan.quark.cn/s/eb24351ebac4 后台路径地址：localhost:8080/项目名称/admin/dist/index.html 前台路径地址：localhost:8080/项目名称/front/index.html （无前台不需要输入）

    NSCBx1.0.1b Keys19.0.0.zip

    NSCBx1.0.1b Keys19.0.0.zip

    Delphi 12.3控件之Basic.rar

    Delphi 12.3控件之Basic.rar

    2024毕业论文.zip

    2024年本科毕业论文相关资料。。。。。。。

    基于SpringBoot+Vue的逍遥大药房管理系统（Java毕业设计，包括源码、数据库、教程）.zip

    Java 项目，仅供学习参考。 Java 毕业设计，Java 课程设计，基于 SpringBoot 开发的，含有代码注释，新手也可看懂。毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。 包含：项目源码、数据库脚本、软件工具等，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。 项目都经过严格调试，确保可以运行！ 1. 技术组成 前端：html、javascript、Vue 后台框架：SpringBoot 开发环境：idea 数据库：MySql（建议用 5.7 版本，8.0 有时候会有坑） 数据库工具：navicat 部署环境：Tomcat（建议用 7.x 或者 8.x 版本）， maven 2. 部署 如果部署有疑问的话，可以找我咨询 Java工具包下载地址： https://pan.quark.cn/s/eb24351ebac4 后台路径地址：localhost:8080/项目名称/admin/dist/index.html 前台路径地址：localhost:8080/项目名称/front/index.html （无前台不需要输入）

    Java毕业设计-SpringBoot+Vue的书籍学习平台（附源码、数据库、教程）.zip

    Java 项目， Java 毕业设计，Java 课程设计，基于 SpringBoot 开发的，含有代码注释，新手也可看懂。毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。 包含：项目源码、数据库脚本、软件工具等，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。 项目都经过严格调试，确保可以运行！ 1. 技术组成 前端：html、javascript、Vue 后台框架：SpringBoot 开发环境：idea 数据库：MySql（建议用 5.7 版本，8.0 有时候会有坑） 数据库工具：navicat 部署环境：Tomcat（建议用 7.x 或者 8.x 版本）， maven 2. 部署 如果部署有疑问的话，可以找我咨询 Java工具包下载地址： https://pan.quark.cn/s/eb24351ebac4 后台路径地址：localhost:8080/项目名称/admin/dist/index.html 前台路径地址：localhost:8080/项目名称/front/index.html （无前台不需要输入）

    Java毕业设计-SpringBoot+Vue的桥牌计分系统（附源码、数据库、教程）.zip

    Java 项目， Java 毕业设计，Java 课程设计，基于 SpringBoot 开发的，含有代码注释，新手也可看懂。毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。 包含：项目源码、数据库脚本、软件工具等，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。 项目都经过严格调试，确保可以运行！ 1. 技术组成 前端：html、javascript、Vue 后台框架：SpringBoot 开发环境：idea 数据库：MySql（建议用 5.7 版本，8.0 有时候会有坑） 数据库工具：navicat 部署环境：Tomcat（建议用 7.x 或者 8.x 版本）， maven 2. 部署 如果部署有疑问的话，可以找我咨询 Java工具包下载地址： https://pan.quark.cn/s/eb24351ebac4 后台路径地址：localhost:8080/项目名称/admin/dist/index.html 前台路径地址：localhost:8080/项目名称/front/index.html （无前台不需要输入）

    springboot基于vue的MOBA类游戏攻略分享平台 LW PPT.zip

    ava项目springboot基于springboot的课程设计，包含源码+数据库+毕业论文

    Java毕业设计-SpringBoot+Vue的口腔管家平台（附源码，数据库）.zip

    Java 项目， Java 毕业设计，Java 课程设计，基于 SpringBoot 开发的，含有代码注释，新手也可看懂。毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。 包含：项目源码、数据库脚本、软件工具等，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。 项目都经过严格调试，确保可以运行！ 1. 技术组成 前端：html、javascript、Vue 后台框架：SpringBoot 开发环境：idea 数据库：MySql（建议用 5.7 版本，8.0 有时候会有坑） 数据库工具：navicat 部署环境：Tomcat（建议用 7.x 或者 8.x 版本）， maven 2. 部署 如果部署有疑问的话，可以找我咨询 Java工具包下载地址： https://pan.quark.cn/s/eb24351ebac4 后台路径地址：localhost:8080/项目名称/admin/dist/index.html 前台路径地址：localhost:8080/项目名称/front/index.html （无前台不需要输入）

    2024年中国网约车聚合型平台发展分析报告.docx

    2024年中国网约车聚合型平台发展分析报告

    Java毕业设计-SpringBoot+Vue的大学生体质测试管理系统（附源码、数据库、教程）.zip

    Java 项目， Java 毕业设计，Java 课程设计，基于 SpringBoot 开发的，含有代码注释，新手也可看懂。毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。 包含：项目源码、数据库脚本、软件工具等，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。 项目都经过严格调试，确保可以运行！ 1. 技术组成 前端：html、javascript、Vue 后台框架：SpringBoot 开发环境：idea 数据库：MySql（建议用 5.7 版本，8.0 有时候会有坑） 数据库工具：navicat 部署环境：Tomcat（建议用 7.x 或者 8.x 版本）， maven 2. 部署 如果部署有疑问的话，可以找我咨询 Java工具包下载地址： https://pan.quark.cn/s/eb24351ebac4 后台路径地址：localhost:8080/项目名称/admin/dist/index.html 前台路径地址：localhost:8080/项目名称/front/index.html （无前台不需要输入）

    联邦基金有效利率历史数据.xlsx

    美联储在2024年9月18日宣布将其调50个基点，降至4.75%至5.00%之间的水平。这是美联储自2020年3月以来首次降息，也是自2023年7月将利率水平调升至历史高位后的首次下调，标志着货币政策由紧缩周期向宽松周期的转向 数据名称：美国联邦基金有效利率、目标利率历史数据 样本数量：12667条 数据年份：1990.1-2024.9 数据说明：包括有效利率、目标利率 更新日期：2024年9月

    基于SpringBoot+Vue的java学习平台 (2)（Java毕业设计，包括源码、数据库、教程）.zip

    Java 项目， Java 毕业设计，Java 课程设计，基于 SpringBoot 开发的，含有代码注释，新手也可看懂。毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。 包含：项目源码、数据库脚本、软件工具等，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。 项目都经过严格调试，确保可以运行！ 1. 技术组成 前端：html、javascript、Vue 后台框架：SpringBoot 开发环境：idea 数据库：MySql（建议用 5.7 版本，8.0 有时候会有坑） 数据库工具：navicat 部署环境：Tomcat（建议用 7.x 或者 8.x 版本）， maven 2. 部署 如果部署有疑问的话，可以找我咨询 Java工具包下载地址： https://pan.quark.cn/s/eb24351ebac4 后台路径地址：localhost:8080/项目名称/admin/dist/index.html 前台路径地址：localhost:8080/项目名称/front/index.html （无前台不需要输入）

Magicbox
Global site tag (gtag.js) - Google Analytics