我先后通过ssh无密码通信配置、jdk1.7安装配置后开始安装hadoop并进行部署,先后对
core-site.xml
hadoop-envsh
hdfs-site.xml
mapred-env.sh
mapred-site.xml
slaves
yarn-env.sh
yarn-site.xml
进行配置。配置完后当运行 hadoop namenode -format时出错,通过查看技术资料查找到问题所在并解决:具体可以查看上传的图片
hadoop namenode -format 错误:unable to determine local hostname -falling back to "localhost"
1、这个问题是表示不能找到localhost的映射,需要去/etc/下查看hosts配置,看是否与linux 系统的hostname 对应着IP。
即在hosts文件里:原来是
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
需要在后面添加 主机名 ,我的机器名是master,故修改为
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 master
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 master
2、修改后需要重新启动网关:/etc/rc.d/init.d/network restart
3、然后再启动format : hadoop namenode -format
同时我在启动时出现另一个问题:
不能操作dfs
在根据网上的技术资料配置时,文章有少提到对新建的dfs进行设置权限,所以 我在format时出现了不能操作dfs 的错误,通过
chown -R hadoop:hadoop dfs 将 dfs设置为hadoop用户可以操作
- 大小: 127.4 KB
- 大小: 43.3 KB
- 大小: 151.8 KB
- 大小: 45.5 KB
- 大小: 161.9 KB
- 大小: 145 KB
- 大小: 145.1 KB
- 大小: 103.1 KB
分享到:
相关推荐
CentOS 6.8 + Hadoop2.6.0集群环境搭建指南。
在CentOS 7上搭建Hadoop 2.6.0分布式集群的详细过程涉及到了多个方面的配置和设置,为了确保整个集群能够高效、稳定地运行,下面将详细解释标题中提及的各个知识点。 ### 1. 配置静态网络(所有节点) 为了让集群中...
这个压缩包“hadoop-2.6.0-cdh5.14.0-with-centos6.9.tar.gz”是针对CDH(Cloudera Distribution Including Apache Hadoop)版本5.14.0的Hadoop 2.6.0安装包,特别优化以适应CentOS 6.9操作系统。在大数据领域,...
linux下hadoop搭建与eclipse开发环境配置,包括hadoop中的 master、slaves工作过程处理
### 基于VM+CentOS+hadoop2.7搭建Hadoop完全分布式集群的知识点解析 #### 一、概述 本文旨在详细介绍如何使用VMware Workstation(简称VM)结合CentOS 6.5操作系统来搭建Hadoop 2.7的完全分布式集群。此文档是根据...
基于CentOS-7 + Hadoop 2.6.0 + Hbase 0.99.2三者的大数据处理环境。
标题“centos6.5-hadoop-2.6.0-cdh5.9.0-nativelib”提及的是一个专为64位CentOS 6.5操作系统编译的Hadoop 2.6.0 CDH 5.9.0的本地库(nativelib)打包文件。这个压缩包包含了运行Hadoop在CentOS环境下所需的本机库,...
在本教程中,我们将深入探讨如何在CentOS 6.5操作系统上搭建Hadoop 2.6.4环境。Hadoop是一个开源的分布式计算框架,主要用于处理和存储大量数据。让我们一步步来了解这个过程。 首先,确保你的系统是最新状态,通过...
7. **格式化NameNode**:使用命令`hadoop namenode -format`首次启动Hadoop时对NameNode进行格式化。 8. **启动Hadoop服务**:启动Hadoop的所有服务,包括DataNode、NameNode、ResourceManager、NodeManager等。...
- 在Master节点上,进入`hadoop-2.6.0`目录,执行`bin/hdfs namenode -format`命令来格式化NameNode。 - 使用`sbin/start-dfs.sh`启动HDFS集群。 - 使用`sbin/start-yarn.sh`启动YARN(如果需要运行MapReduce任务...
【标题】:基于CentOS的大数据Hadoop集群搭建详解 【描述】:本教程专为初学者设计,详细阐述了如何手动搭建Hadoop集群,步骤详尽,易于理解。 【标签】:Hadoop集群搭建 【正文】: Hadoop是一个开源的分布式...
本教程将详细介绍如何在CentOS 6.3操作系统上快速搭建一个包含Resin 3.1.12应用服务器和Nginx 1.x反向代理服务器的发布环境。这种配置可以提高系统的稳定性和性能,同时提供负载均衡以及更好的安全防护。 首先,让...
带编译所需的maven库,hadoop-2.6.0-cdh5.15.2在CentOS Linux release 7.3.1611重新编译的版本
通过VirtualBox安装多台虚拟机,实现集群环境搭建。 优势:一台电脑即可。 应用场景:测试,学习。 注意事项:请严格按照文档操作,作者已经按照文档操作实现环境搭建。 内附百度网盘下载地址,有hadoop+zookeeper+...
### CentOS6.5系统下Hadoop2.6.0完全分布式环境安装与配置知识点 #### 一、系统环境准备 **1.1 修改主机名** 为了确保主机名的一致性,首先需要更改主机名为“Master”: ```bash sudo vim /etc/sysconfig/...
《Hadoop-2.6.0在CentOS6.5上的编译与集群搭建详解》 Hadoop,作为开源的大数据处理框架,是大数据领域的核心工具之一。版本2.6.0是其发展历程中的一个重要里程碑,它带来了诸多性能优化和功能增强。在本文中,我们...
从给出的内容中,我们可以提取出关于CentOS 7.4的安装、配置以及在该操作系统上安装和编译Hadoop 2.7.6的详细知识点。以下是对这些知识点的详细解读: ### CentOS 7.4安装流程 1. **准备虚拟化环境**: - 使用...
export HADOOP_HOME=/path/to/hadoop-2.6.0 export PATH=$HADOOP_HOME/bin:$PATH export PATH=$HADOOP_HOME/sbin:$PATH ``` - 使用`source`命令使更改生效。 ##### 3.2 各节点配置 在Hadoop集群中,不同节点...