`
summerworm
  • 浏览: 15896 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Hadoop集群安装遇到的问题之一

阅读更多
1. ubuntu12上安装jdk1.7.0_04的问题
ubuntu12上默认存在的是openjdk,所以传统的apt-get install sun-jdk6命令无法执行,必须手动安装jdk。在oracle官方网站上下载的linux版本jdk只有rpm与tar.gz两种格式。在安装过程如下:
a) 解压jdk(以tar.gz为例):tar –xvzf  jdk1.7.tar.gz
b) 设置环境变量,在ubuntu中有三种设置环境变量的方法:本人使用的是设置/etc/environment的方法,在该文件夹下设置JAVA_HOME,JRE_HOEM,CLASSPATH,PATH,具体值可查网络。其中设置PATH时最好用绝对路径,否则容易出现命令无法找到的错误。
c) 设置好环境变量之后必须在系统中对默认的jdk进行替换,也就是用sunjdk替换openjdk。命令如下:sudo update-alternatives /usr/lib/jvm/java java /home/hadoop/java/jdk1.7/java 300; sudo update-alternatives /usr/lib/jvm/javac javac /home/hadoop/java/jdk1.7/javac 300;
d) 验证方法如下:java –version。
2. 安装ssh无密码登录。首先在各个节点上安装ssh,以master机为例:
a) 利用命令:apt-get install openssh-server
b) 生成钥匙和锁:ssh-keygen –t rsa;也可以产生dsa密钥。在执行命令时,要求输入密码时直接回车,输入空密码。
c) 将公钥加入到授权文件中。Cat ~/home/hadoop/.ssh/id_rsa.pub >> ~/home/hadoop/.ssh/authorized_keys
d) 登录ssh localhost验证安装是否正确。
e) 若首次安装一般都会正确。若中间其他节点有IP变动,则可能会产生错误要求重新生产密钥。重复安装时,有时会出现需要输入密码的情况,这时重启机器即可解决。
f) 将公钥发送给各节点,将该公钥加入到slave节点的授权文件中:scp ~/home/hadoop/.ssh/id_rsa.pub hadoop@192.168.0.111:~/192.168.0.105。(发送id_rsa.pub到111机器上,并重命名为192.168.0.105。111机器将该公钥加入到自己的授权文件authorized_keys中,即可实现master机器无密码访问slave机器了)
注意:最开始时主机master和从机slave最好建立相同的用户,这样主机master利用ssh服务登录从机slave时直接根据hosts文件中映射地址即可访问,因为主机从机的用户一样,不用再写从机的用户名,简单方便。例如:用相同用户名hadoop:ssh slave.即可登录,其中slave是在/etc/hosts中设置的映射文件。如果主机是hadoop,从机是hadoop-slave,则命令必须是ssh hadoop-slave@slave。
分享到:
评论

相关推荐

    hadoop集群遇到的问题及其解决方法

    ### Hadoop集群遇到的问题及其解决方法 #### 异常一:DataNode无法连接到NameNode **问题描述:** 在Hadoop集群部署过程中,经常会出现DataNode无法成功连接到NameNode的情况,导致集群无法正常启动。 **原因分析...

    大数据教程之搭建Hadoop集群.zip_大数据环境搭建hadoop

    标题中的“大数据教程之搭建Hadoop集群.zip_大数据环境搭建hadoop”暗示了这是一个关于如何在大数据环境中构建Hadoop集群的教程。Hadoop是Apache软件基金会的一个开源项目,主要用于处理和存储海量数据,其分布式...

    Hadoop集群安装与配置手册

    Namenode是Hadoop集群中的核心组件之一,负责管理和维护文件系统的元数据。在`hdfs-site.xml`文件中,需要设置Namenode的位置以及其他相关的配置项,例如: ```xml <name>dfs.name.dir <value>/path/to/...

    3.基于hadoop集群搭建hbase

    本文档假设读者已经具备了一个运行良好的Hadoop集群,因此我们将安装完全分布式模式下的HBase。 2. **所需资源**:确保集群中的每台机器都已经正确配置了Hadoop环境,并准备好HBase的Linux压缩包。 ##### (二)...

    基于Ubuntu的hadoop集群安装与配置.pdf

    1. **Ubuntu系统安装**:文中提到了在安装Ubuntu 14.04.3 Server版时遇到的挂载问题,解决方法是将ISO镜像文件挂载到`/cdrom`文件夹下,使用命令`mount /dev/sdc /mnt`,再执行`mount -t iso9600 -oloop /mnt/ubuntu...

    Hadoop集群详细配置文档

    本文档旨在提供一个详细的Hadoop集群配置步骤,帮助用户快速搭建一个由三台虚拟机构成的小型Hadoop集群。集群采用的是Cloudera提供的Hadoop 5.13版本,并且运行于CentOS 6.7操作系统之上。以下步骤将会详细介绍如何...

    Hadoop集群搭建超详细步骤及注意点

    Hadoop作为大数据处理领域的重要工具之一,其集群的搭建对于企业级数据处理至关重要。本文将详细介绍Hadoop集群的搭建步骤及其注意事项,帮助读者顺利完成Hadoop集群的部署。 #### 一、硬件准备 首先,确定硬件...

    一种数据挖掘算法在Hadoop集群上的研究与实现.pdf

    物品相似度的计算是推荐系统的核心环节之一,常用的方法包括余弦相似度、Jaccard相似度、曼哈顿距离和欧氏距离等。由于大型商业环境中用户行为数据往往呈现稀疏性,因此在不考虑评分具体高低的情况下,多采用基于...

    基于CentOS 7的Hadoop集群配置的研究与实现.docx

    总结全文,讨论Hadoop在大数据处理中的应用前景,以及在CentOS 7上配置Hadoop集群可能遇到的问题和解决策略。同时,对未来Hadoop技术的发展趋势进行展望。 ### 关键词 Hadoop架构、大数据处理、分布式计算、数据...

    Linux环境Hadoop2.6+Hbase1.2集群安装部署

    ### Linux环境Hadoop2.6+Hbase1.2集群安装部署 #### 一、概述 ...在实际操作过程中,可能还会遇到各种问题,比如网络配置、安全策略等,需要根据具体情况灵活调整。希望本教程能帮助读者顺利完成集群的搭建。

    hadoop安装与配置及mapreduce测试网站

    MapReduce 是 Hadoop 的核心组件之一,它提供了一个编程模型,用于处理大规模数据。MapReduce 的工作原理是将输入数据拆分成小块,然后对每个小块进行处理,最后将处理结果合并。MapReduce 的优点是可以处理大规模...

    Hadoop集群管理

    Hadoop的核心组件之一是HDFS(Hadoop Distributed File System),它是一种分布式文件系统,用于存储大量数据。在HDFS中,数据被划分为块(默认大小为128MB或64MB,取决于配置),这些块被存储在不同节点上。 每个...

    windows下hadoop2.7.3环境问题的解决(含说明)

    Hadoop 2.7.3是其稳定版本之一,提供了许多性能优化和功能改进。在Windows系统中搭建Hadoop,需要注意一些关键点: 1. **环境变量配置**:安装Hadoop前,需设置JAVA_HOME环境变量,指向Java开发工具的安装路径。...

    Hadoop之高可用集群的安装.docx

    【Hadoop高可用集群安装详解】 Hadoop是一个开源的分布式计算框架,其高可用性是通过复制和故障切换机制来保证服务的连续性和数据的安全性。在这个实验项目中,我们将探讨如何在完全分布式模式下安装和配置Hadoop的...

    hadoop安装软件及安装说明

    安装只是Hadoop之旅的起点,你还需要学习如何使用Hadoop进行数据处理,以及如何监控和优化Hadoop集群性能。此外,随着Hadoop生态系统的发展,掌握HBase、Storm、Kafka等组件也是提升技能的关键。 总结,这个"hadop...

Global site tag (gtag.js) - Google Analytics