`

在win7的idea访问centos部署的hadoop2.7.1问题集锦

阅读更多

hadoop程序安装包:/opt/package/hadoop-2.7.1;(具体hadoop安装请参考hadoop的安装教程!

问题1::jps查看进程,没有datanode?

             文件格式化$HADOOP_HOME/bin/hdfs namenode -format后,没有删除对应的元数据目录以及权限分配,可以监控hadoop启动日志(/opt/package/hadoop-2.7.1/log/hadoop-root-datanode-lee.localdomain.log),监控日志很快可以排查问题,尽量不要出现问题就百度,这样会误导自己,虽然网上也很多人遇到类似问题,但是每个人的环境不同,有些事网络配置导致,先尝试自己分析日志

 

问题2:window系统连接hadoop需要配置对应版本的hadoop的winutils.exe?

         需要配置对应的window下连接hadoop对应版本的winutil.exe,版本必须得对应上,否则会访问会报错。

 

问题3:hadoop的core-site.xml,mapred-site.xml的ip换成正式局域网ip,否则会连接拒绝?

         由于是远程连接,配置localhost导致远程客户端访问不到,idea连接过去会出现connection refuse的异常!

 

问题4:HDFS配置的目录权限?

       如果没配置权限,启动会报错,导致datanode进程丢失。

 

总结:接触新事情,要多留意框架的日志,先尝试自己分析,在百度!

 

 注:附件的hadoop2.7.1的win下的winutil工具!

      

分享到:
评论

相关推荐

    hadoop2.7.1 eclipse插件

    hadoop2.7.1的eclipse插件,编译环境,eclipse 4.4(luna) ,jdk1.7,ant1.9.6,maven3.3,hadoop2.7.1,centos6.7,jdk1.7 要注意的是开发黄金下jdk版本必须是jdk1.7及以上,否则无法使用

    非常详细的centos7.0下Hadoop2.7.1集群搭建教程

    非常详细的centos7.0下Hadoop2.7.1集群搭建教程,内附自己的解决办法和提示

    Hadoop2.7.1——NFS部署

    本文主要介绍如何在Hadoop 2.7.1版本中部署NFS,并通过一系列步骤详细说明部署过程。 #### 二、关闭NFS与RPCBIND服务 部署NFS前的第一步是确保本地服务器上的NFS服务和RPCBIND服务处于关闭状态。这是因为NFS部署...

    使用Maven编译Hadoop(2.7.1)

    ### 使用Maven编译Hadoop 2.7.1 的详细步骤及注意事项 #### 一、编译前的准备 **1.1 下载并解压Hadoop源码包** ...通过以上步骤,您就可以在CentOS 6.7 64位系统上成功编译Hadoop 2.7.1版本了。

    Cent7+Hadoop2.7.1伪分布式虚拟机VM15pro镜像

    大数据hadoop安装伪分布式成熟虚拟机镜像,只需改本地虚拟网卡ip地址为192.168.6.1,网关192.168.6.2即可

    CentOS7 Hadoop 2.7.X 安装部署.docx

    本文档将指导您如何在 CentOS 7 上安装和部署 Hadoop 2.7.X。Hadoop 是一个开源的大数据处理框架,由 Apache 开发,旨在提供高效、可靠、可扩展的数据处理能力。 准备软件包 在安装 Hadoop 之前,需要准备 JDK 和 ...

    hadoop2.7.1 eclipse 插件 64位linux版本

    在centos7进行编译出来的,亲测可用

    hadoop2.7.1安装手册.docx

    本篇将详细阐述如何在 CentOS 6.4 系统上安装 Hadoop 2.7.1。 **一、准备工作** 1. **获取安装包** - Hadoop 2.7.1 的安装包:`hadoop-2.7.1.tar.gz` - Java 开发工具 (JDK):推荐使用 JDK 1.8 版本,如 `jdk-8u...

    hadoop-2.7.1.tar.gz centos

    hadoop-2.7.1.tar.gz centos环境包下载,已上传百度网盘. txt文件中包含连接

    hadoop 2.7.1 64位编译 网盘地址

    hadoop 2.7.1是稳定版,官网上是32位编译的。在64位linux服务器运行有警告还有其他问题。此软件是在64位的 centos 6.5 下编译的。可放心使用

    Hadoop2.7.1编译

    ### Hadoop 2.7.1 的 64 位源码编译 #### 软件环境配置 为了成功地编译 Hadoop 2.7.1 的 64 位版本,需要确保以下软件环境已经正确安装并配置: 1. **操作系统**:CentOS 6.5 64位 2. **Java Development Kit ...

    centos安装hadoop超级详细

    本文旨在详细介绍如何在CentOS环境下安装Hadoop,包括必要的准备步骤、具体安装过程及注意事项。 #### 二、准备工作 在正式安装Hadoop之前,需要完成以下准备工作: ##### 2.1 创建Hadoop用户 由于Hadoop在运行时...

    在docker上部署hadoop集群

    教程:在linux虚拟机下(centos),通过docker容器,部署hadoop集群。一个master节点和三个slave节点。

    Hadoop-2.7.1已编译64位

    2. **HDFS改进**:HDFS(Hadoop Distributed File System)在2.7.1版本中得到了显著增强,支持更高级别的数据块管理和复制策略,从而提高了整体的数据可靠性和访问速度。 3. **安全增强**:为了更好地应对大数据环境...

    centos patch-2.7.1-12.el7_7.x86_64.rpm内核补丁

    centos patch-2.7.1-12.el7_7.x86_64.rpm内核补丁

    在centos7 编译安装部署Hadoop教程

    ### 在CentOS 7下编译安装部署Hadoop集群环境 #### 一、环境准备与配置 本教程将详细介绍如何在CentOS 7系统中从源码编译并部署Hadoop集群环境。整个过程涉及到了多个步骤,包括必要的依赖安装、相关工具的配置...

    hadoop-2.7.1.tar.gz centos 64位

    hadoop-2.7.1.tar.gz 编译了一天 ... 各种错误. 终于编译好了. 由于文件太大 上传百度网盘. txt文件中包含连接

    Win10的eclipse连接CentOS的Hadoop集群.doc

    通过以上步骤,你就可以在Windows 10的Eclipse环境中编写、测试和调试MapReduce程序,然后部署到远程的CentOS Hadoop集群上进行运行。记得在开发过程中,保持Hadoop版本的一致性,以及及时更新Hadoop的配置文件,以...

Global site tag (gtag.js) - Google Analytics