`
小篮子java的家
  • 浏览: 33051 次
  • 性别: Icon_minigender_2
社区版块
存档分类
最新评论

集群hadoop装机步骤(1)

 
阅读更多

集群hadoop装机步骤小结(1)

准备 :

安装集群的机子不要一样版本的ubuntu,但必须要有相同版本的hadoopjdk

所以这里首先要统一hadoopjdk

我们团队用到的hadoop是:hadoop-0.20.203.0rcl.tar   jdk是:jdk-6u30-linux-i586.bin

 声明:(netjava是我们小组统一的用户名)

步骤 :

 

第一:配置jdk环境   

1

  首先复制jdk-6u30-linux-i586.binnetjava文件夹下,并在命令行中更改当前的目录到/home/netjava

(2

  第一行是赋权限的操作 第二行是解压jdk-6u30-linux-i586.bin文件

   得到下图的结果则说明解压成功

3

    为了管理方便要统一解压后的jdk文件路径

    第一行:在/usr/local下建立java文件夹

    第二行:移动jdk1.6.0_30的文件夹到java文件夹下

(4)

    更改环境变量,更改/etc/profile这个文件内容  

  添加下面一段到文件末尾

(注意我们这里的路径是/usr/local/java应该改成你自己的解压后的jdk的位置否则你的ubuntu关机后因配置环境错误无法进入

(5)

    查看是否配置是否成功

 

 

 

 

 

 

如果你的电脑上述方法遇到麻烦,可以重启后再在命令行输入java-version查看

 

 

 

 

第二:安装hadoop  

1

   准备工作

   首先复制hadoop-0.20.203.0rcl.tarnetjava文件夹下,查看当前路径下的文件

2

   解压文件

   第一行解压hadoop第二行移动解压后的hadoop-0.20.203.0文件到/usr/local下并改名为hadoop

  

第三:新增haoop组和hadoop用户

 

 

1

   A图添加用户组 B图添加用户名

   (A)图

 

   (B)图 

(2)

   添加权限(使hadoop普通用户用户就能够执行root权限的所有命令sudoersudo工具的配置文件 )

   打开此文件后添加如下内容

 

最后hadoop文件夹的权限赋给hadoop用户:$:sudo chown hadoop /usr/local/hadoop()

(3)更新hadoop的环境变量

 

打开文件后将JAVA_HOME前的#去掉并将=后面的内容改成你的jdk路径(如下图所示)

 

 

 

 第四:安装ssh(更新ssh时需要联网

 

 

1

 

   更新ssh软件包(我的已经安装过了,如没有安装的后面显示的内容是建议安装)

 

 

 

 

 

 

(2)

   先切换到hadoop用户可以直接在命令行输入su hadoop 也可以在关机菜单项中选择切换用户

 

(3)

   创建公钥/私钥  并填写保存路径(/home/hadoop/.ssh/id_rsa

 

(4

 

   第一行是添加你的密钥添加到受信列表  第二行 启用这个密钥

 

 

 

(5)

 

   验证配置是否成功

 

 

 

 

 配置成功后 请继续查看

http://644156440-qq-com.iteye.com/admin/blogs/1393571

 

分享到:
评论
2 楼 daragon 2012-02-09  
daragon 写道
哇塞,妹子写的文章果真有声有色

不过最底下给的链接却有问题
1 楼 daragon 2012-02-09  
哇塞,妹子写的文章果真有声有色

相关推荐

    第7集-Hadoop环境搭建 - linux(centos7) - 安装配置hive2.1.1.pdf

    通过上述步骤,我们成功地在CentOS 7环境下安装配置了Hive 2.1.1,并且配置了Hive与Hadoop之间的交互。这为后续进行大数据分析奠定了基础。接下来可以继续学习Hive的使用方法,以及如何利用Hive进行数据处理和查询。...

    Hadoop开发日志.pdf

    5. **Hadoop环境搭建步骤** - **装机阶段** - 安装Ubuntu 10.10,避免在安装过程中更新不必要的语言包以节省时间。 - 安装JDK1.6.0_23,将其放置在/usr/Java目录下并设置为可执行。 - 安装Hadoop0.21.0,将其...

    zookeeper和hbase相关安装包及安装手册

    在Hadoop生态系统中,Zookeeper常被用来管理集群配置、选举主节点以及维护命名服务等。 **Windows10Zookeeper装机.docx** 这份文档应该详细介绍了如何在Windows 10操作系统上安装和配置Zookeeper。通常,安装步骤...

    移动开发_Android_基础框架_SAFApi组件开发_1742847786.zip

    移动开发_Android_基础框架_SAFApi组件开发_1742847786.zip

    《基于YOLOv8的气功动作识别系统》(包含源码、完整数据集、可视化界面、部署教程)简单部署即可运行。功能完善、操作简单,适合毕设或课程设计.zip

    资源内项目源码是来自个人的毕业设计,代码都测试ok,包含源码、数据集、可视化页面和部署说明,可产生核心指标曲线图、混淆矩阵、F1分数曲线、精确率-召回率曲线、验证集预测结果、标签分布图。都是运行成功后才上传资源,毕设答辩评审绝对信服的保底85分以上,放心下载使用,拿来就能用。包含源码、数据集、可视化页面和部署说明一站式服务,拿来就能用的绝对好资源!!! 项目备注 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、大作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.txt文件,仅供学习参考, 切勿用于商业用途。

    FourOnes_jquerybootstraptenine_1742855636.zip

    app开发

    MobaXterm安装包

    MobaXterm安装包

    30页-清华科技园智慧园区方案.pdf

    智慧园区,作为智慧城市的重要组成部分,正借助5G、云计算、大数据等前沿技术,实现园区的全面智慧化升级。它不仅仅是技术的堆砌,更是园区管理模式和服务理念的革新。智慧园区通过构建统一的大数据平台,实现园区内各类数据的整合与共享,让管理者能够全局掌握园区运营状态,实现人、事、物的穿透式管理。 在5G技术的加持下,智慧园区的特色应用得以更加广泛和深入地开展。从便捷通行到智慧物联,从楼宇自控到企业服务,5G智慧园区为园区内的企业和员工提供了前所未有的便捷与高效。刷脸通行、车牌识别、访客线上预约等技术的应用,不仅提升了园区的安全等级,更让通行变得简单快捷。而智慧垃圾桶、路灯等物联网设备的引入,则让园区的环境管理更加智能化、精细化。此外,5G智慧园区还通过无人机巡检、无人驾驶等创新应用,为园区的安全管理、物资配送等方面带来了全新的解决方案。 值得一提的是,智慧园区的建设并不仅仅局限于硬件设施的升级,更在于服务模式的创新。通过园区APP、在线服务平台等渠道,智慧园区实现了园区服务的线上化、便捷化,让企业和员工能够随时随地享受到园区提供的各类服务。这种以人为本的服务理念,不仅提升了园区的整体服务水平,更增强了园区的吸引力和竞争力。总之,5G智慧园区的建设为园区的可持续发展注入了新的活力,也为未来城市的发展提供了有益的借鉴和启示。

    C基础day9 思维导图

    C基础day9 思维导图

    Simulink仿真实现物体终端速度与信号处理的MATLAB代码解析(复现论文或解决问题,含详细可运行代码及解释)

    内容概要:本文档详细介绍了使用Simulink进行两个物理问题的仿真建模。第一个任务是模拟一个球体从高空落下的终端速度,通过建立重力与空气阻力的平衡模型,利用MATLAB代码构建Simulink模型,最终计算出终端速度。第二个任务是基于提供的加速度数据,通过两次积分计算物体的速度和位置,同样使用MATLAB代码实现了Simulink模型。每个任务都包含了详细的数学公式推导、参数设置以及Simulink模块的具体连接方法。仿真结果显示,终端速度约为53.6 m/s,而1秒后的速度和位置则取决于输入的加速度数据。 适合人群:对Simulink仿真工具感兴趣的工程技术人员、科研工作者以及相关专业的学生。 使用场景及目标:适用于需要进行物理系统仿真、信号处理的研究项目或教学实验。主要目标是帮助读者掌握Simulink的基本操作和应用技巧,同时加深对物理现象的理解。 其他说明:文中提供了完整的MATLAB代码,方便读者直接复制并在自己的环境中运行测试。此外,还给出了详细的中文注释,有助于初学者更好地理解各个步骤的功能和意义。

    《基于YOLOv8的隧道安全监测系统》(包含源码、完整数据集、可视化界面、部署教程)简单部署即可运行。功能完善、操作简单,适合毕设或课程设计.zip

    资源内项目源码是来自个人的毕业设计,代码都测试ok,包含源码、数据集、可视化页面和部署说明,可产生核心指标曲线图、混淆矩阵、F1分数曲线、精确率-召回率曲线、验证集预测结果、标签分布图。都是运行成功后才上传资源,毕设答辩评审绝对信服的保底85分以上,放心下载使用,拿来就能用。包含源码、数据集、可视化页面和部署说明一站式服务,拿来就能用的绝对好资源!!! 项目备注 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、大作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.txt文件,仅供学习参考, 切勿用于商业用途。

    音乐_安卓开发_本地音乐_播放器应用μsic_1742860435.zip

    音乐_安卓开发_本地音乐_播放器应用μsic_1742860435.zip

    Lightweight and Efficient: The backbone of the TTS Diffusion Transformer has only 0.45B param

    Lightweight and Efficient: The backbone of the TTS Diffusion Transformer has only 0.45B parameters. Ultra High-Quality Voice Cloning: See the demo video below! We also report results of recent TTS models on the Seed test sets in the following table. Bilingual Support: Supports both Chinese and English, and code-switching. Controllable: Supports accent intensity control and fine-grained pronunciation/duration adjustment (coming soon).

    博客_ionic20_移动端_应用开发模板_1742847485.zip

    博客_ionic20_移动端_应用开发模板_1742847485.zip

    《基于YOLOv8的传送带异物检测系统》(包含源码、完整数据集、可视化界面、部署教程)简单部署即可运行。功能完善、操作简单,适合毕设或课程设计.zip

    资源内项目源码是来自个人的毕业设计,代码都测试ok,包含源码、数据集、可视化页面和部署说明,可产生核心指标曲线图、混淆矩阵、F1分数曲线、精确率-召回率曲线、验证集预测结果、标签分布图。都是运行成功后才上传资源,毕设答辩评审绝对信服的保底85分以上,放心下载使用,拿来就能用。包含源码、数据集、可视化页面和部署说明一站式服务,拿来就能用的绝对好资源!!! 项目备注 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、大作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.txt文件,仅供学习参考, 切勿用于商业用途。

    中继增强OFDMA网络中的公平半分布式资源分配方案实现与性能评估(复现论文,含详细可运行代码及解释)

    内容概要:本文详细介绍了复现论文《Fair Semi-distributed Resource Allocation Scheme over Relay-Enhanced OFDMA Networks》的代码实现。主要内容包括系统模型构建(定义基站、中继站、移动终端及其关联关系)、资源分配算法(半分布式资源分配、改进的两阶段资源分配)和公平性调度机制(吞吐量计算、效用函数)。此外,还进行了仿真实验,对比了所提方案与集中式方案和机会主义方案在吞吐量、公平性和反馈开销方面的性能表现。最后,通过随机分布场景下的仿真进一步验证了方案的有效性和实际部署的可行性。 适合人群:通信工程专业研究人员、无线网络优化工程师、对OFDMA技术和资源分配算法感兴趣的学者和技术人员。 使用场景及目标:适用于研究和开发中继增强的OFDMA网络资源分配算法,旨在提高系统的吞吐量和公平性,降低反馈开销。目标是在大规模网络环境中实现高效、公平的资源分配。 其他说明:文中提供了详细的代码实现步骤和仿真结果,有助于读者深入理解算法原理并进行实验验证。

    2025大模型训练性能瓶颈定位流程案例.pdf

    2025大模型训练性能瓶颈定位流程案例

    蓝桥杯Python竞赛真题详解:涵盖基础与进阶算法挑战

    内容概要:本文档提供了20道蓝桥杯Python竞赛真题及其详细解答,涉及质因数分解、分数计算、特别数求和、数字三角形、约数个数、草的生长模拟、工作时长计算、互质数统计、阶乘和判定、公因数匹配、直线计算、分糖果、矩阵填充、旅行计划优化、阶乘末尾零计数、最长递增子序列、最长公共子序列、最长回文子串、最长公共前缀和最长公共后缀等多个经典算法问题。每个题目都附有完整的代码实现和解释,帮助参赛者深入理解和掌握相关知识点。 适合人群:准备参加蓝桥杯或其他编程竞赛的学生和程序员,尤其是对Python编程有一定基础并希望提高算法能力的人群。 使用场景及目标:①作为赛前复习资料,巩固基础知识;②通过实际编程练习提升算法思维和解决问题的能力;③熟悉竞赛常见题型,增强应对复杂问题的信心。 其他说明:文档不仅提供了解答思路,还包含了具体的代码实现,有助于读者更好地理解和应用所学知识。同时,这些问题覆盖了多种数据结构和算法思想,能够全面锻炼编程技能。

    word-【软考-网络工程师】学习资源

    网络工程师(中级)是软考(计算机技术与软件专业技术资格考试)的一部分,主要考察计算机网络基础、网络安全、网络管理、操作系统、数据库等内容,考试分为上午的基础知识选择题和下午的案例分析题。

    《基于YOLOv8的宠物用品识别系统》(包含源码、完整数据集、可视化界面、部署教程)简单部署即可运行。功能完善、操作简单,适合毕设或课程设计.zip

    资源内项目源码是来自个人的毕业设计,代码都测试ok,包含源码、数据集、可视化页面和部署说明,可产生核心指标曲线图、混淆矩阵、F1分数曲线、精确率-召回率曲线、验证集预测结果、标签分布图。都是运行成功后才上传资源,毕设答辩评审绝对信服的保底85分以上,放心下载使用,拿来就能用。包含源码、数据集、可视化页面和部署说明一站式服务,拿来就能用的绝对好资源!!! 项目备注 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、大作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.txt文件,仅供学习参考, 切勿用于商业用途。

Global site tag (gtag.js) - Google Analytics