我的场景是这样的:
windowXP上运行着eclipse以及hadoop-eclipse插件,但是本文的重点不是说如何在eclipse上安装hadoop的开发插件。
hadoop集群运行在另外三台linux机器上,且已经安装好。
我的这篇文章是讲如何把上述的eclipse和这个hadoop集群联系起来,进行日常的开发调试。
hadoop集群上的用户是hadoop,但是window系统上的用户登录名为wxxxxxx,因为公司对用户管理严格,我没法添加hadoop用户,所以这篇文章讲了如何处理这种情景。
用户名不一致导致文件夹访问受影响,开始根据网上的提示,在FileUtil.java中注释掉了checkReturnValue函数中抛出异常的代码,然后又有新的问题,显示出了HDFS上的一个新文件夹,还是以window用户名命名的,虽然在eclipse的DFS Location配置中配置了用户名为hadoop,但是没起作用,后来急了,干脆把hadoop这个用户名直接写到程序里算了。对着源代码调,在org.apache.hadoop.security.User类里,
在shortName = new KerberosName(name).getShortName();
前面
添一句name="hadoop";
呵呵,有点粗暴。不过能解决问题。
能在eclipse上观察input文件夹和output文件夹里的内容真好。
分享到:
相关推荐
### Hadoop开发环境搭建知识点详解 ...综上所述,通过搭建Hadoop开发环境并使用HadoopEclipse插件,开发者可以更加高效地开发和管理Hadoop程序。这不仅简化了开发流程,还提高了程序的可维护性和扩展性。
在“压缩包子文件的文件名称列表”中提到的“hadoop开发环境”可能包含了一系列用于搭建Hadoop开发环境的文件和文档,如Hadoop的安装包、配置文件模板、示例代码等。这些资源可以帮助初学者快速理解和配置Hadoop环境...
在Windows 7操作系统中搭建Hadoop开发环境,你需要遵循一系列步骤,这通常涉及到安装和配置Hadoop,以及集成Eclipse IDE。以下是一个详尽的指南,涵盖了标题和描述中提到的关键知识点。 首先,Hadoop是一个分布式...
首先,创建一个新的Maven工程是搭建Hadoop开发环境的第一步。这可以通过运行以下命令完成: ```bash mvn archetype:generate -DgroupId=my.hadoopstudy -DartifactId=hadoopstudy -DarchetypeArtifactId=maven-...
在本文中,我们将详细介绍如何在Eclipse环境中搭建Hadoop 2.7.3的开发环境。这个过程将涉及几个关键步骤,包括安装Eclipse插件、配置Hadoop环境以及运行一个简单的WordCount示例。 首先,我们需要下载并安装Eclipse...
本文将详细介绍如何在Windows环境下安装配置Hadoop 2.5.2,并在Eclipse中搭建开发环境。 #### 二、准备工作 在开始安装之前,确保已经完成以下准备工作: 1. **Java环境**:Hadoop基于Java编写,因此需要先安装...
在搭建Hadoop伪分布式环境时,如果没有显式设置`hadoop.tmp.dir`字段,其默认值一般为`/tmp/hadoop-<username>`,在该目录下Hadoop的dfs以及mapred数据都会被存储。然而,`/tmp`目录在系统关闭时会被清空,导致数据...
搭建Eclipse下的Hadoop2.8.2开发环境是一个关键步骤,这允许开发者在本地环境中编写、测试和调试Hadoop MapReduce程序。以下是对标题和描述中所述知识点的详细说明: 1. **JDK安装与配置**:首先,你需要安装JDK 8...
在Windows环境下搭建Hadoop 3.1.0的分布式文件系统需要解决一个重要依赖——WinUtils。这个组件是Hadoop在Windows上运行所必需的,因为Hadoop原本是为Linux环境设计的,它的一些核心功能,如文件操作和本地进程管理...
在Windows环境下配置Hadoop开发环境,主要涉及以下几个关键步骤和知识点: 1. **Hadoop集群环境搭建**: 在本例中,使用了三台运行Ubuntu 10.0.4的虚拟机搭建了一个Hadoop分布式集群。集群包括一个NameNode...
在所有这些配置完成后,你将拥有一个完整的Hadoop开发环境,可以在Windows 7上的Eclipse 4.7中编写、测试和调试Hadoop应用。Hadoop的分布式文件系统(HDFS)和MapReduce框架将为大数据处理提供强大的平台,而Eclipse...
在Windows环境下搭建Hadoop开发环境时,经常遇到的两个关键组件是`hadoop.dll`和`winutils.exe`。这两个文件对于在Windows操作系统上运行Hadoop MapReduce和HDFS操作至关重要。本文将详细介绍这两个组件以及如何在...
通过以上步骤,您可以在Windows环境下快速地搭建起一个功能完善的Hadoop分布式处理环境,并结合Eclipse开发环境进行Hadoop应用程序的开发和调试。这种安装方法不仅简化了安装过程,而且为开发者提供了一个接近真实...
### Hadoop开发环境配置知识点详解 ...通过以上步骤,可以在CentOS系统上成功搭建一个Hadoop开发环境,并利用Eclipse进行MapReduce程序的编写和调试。这对于大数据处理的学习和实践具有重要的意义。
在实践中,你可能需要下载和配置这些文件来建立一个本地Hadoop开发环境,以便于测试、学习或者开发Spark应用。同时,理解这些文件的作用以及如何在Windows环境下正确配置它们,对于任何想要在Windows上从事Hadoop和...
在Windows环境中搭建Hadoop集群是一项复杂但有趣的技术挑战。Hadoop是一个开源的分布式计算框架,主要处理和存储大规模数据。为了在Windows上成功安装Hadoop,我们需要了解几个关键知识点,并准备一些必要的工具。...
在开始配置 Eclipse 上的 Hadoop 开发环境之前,确保已经完成了 Hadoop 运行环境的基础搭建。这通常包括 Hadoop 的安装与配置、Java 环境的设置等。一旦这些基础工作完成,我们就可以着手准备开发环境了。 ##### 2....
在IT行业中,Hadoop是一个广泛使用的开源框架,主要用于大...正确配置和使用这些文件对于在Windows上搭建Hadoop开发环境至关重要,对于想要在非Linux平台上进行Hadoop开发的IT专业人士来说,这是一个重要的参考资料。
在Windows环境下搭建Hadoop时,会遇到一些与Linux系统不同的挑战,其中配置环境变量是关键步骤之一。"windows下面的hadoop环境变量"这个标题暗示了我们正在解决Hadoop在Windows上的安装和配置问题,特别是关于`...
在Windows10系统中搭建Spark开发环境,需要准备几个关键组件:JDK、Hadoop、Spark、Scala以及Maven。以下是详细的搭建过程: 1. **安装JDK** - 首先,下载与系统兼容的JDK版本,例如JDK 1.8.0_171,将其安装到指定...