- 浏览: 41357 次
- 性别:
- 来自: 深圳
最新评论
-
Wuaner:
体积小巧,文字却很清晰,不错的版本。谢谢lz分享!
Hadoop权威指南(第二版)pdf中文版 -
laserdance:
command type python3.2
在Linux下安装Python
Hadoop开发环境
安装插件
0.20.0下原始的eclispe插件无法使用,需要下载网上改造过的:
hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar
copy到eclispe插件目录,然后重启eclispe。
PS:这里出现一个问题,发现在eclispe3.7下插件不会加载,最终删除旧的eclispe,使用新解压的文件解决,可以将旧eclispe插件目录下的文件COPY到新目录。同样可以使用之前的插件。
配置插件环境
Hadoop配置更改
之前配置的伪分布模式上,采用的localhost的配置,为使eclispe可以访问,需要更改为IP的配置方式,这里需要注意的是:
需要更改以下的内容:
<!--[if !supportLists]-->1、 <!--[endif]-->修改 /etc/hosts ,删除 127.0.0.1 ,添加本机ip的解析。
[root@localhost ~]# cat /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
#127.0.0.1 localhost.localdomain localhost
::1 localhost6.localdomain6 localhost6
192.168.128.133 localhost.localdomain localhost
<!--[if !supportLists]-->2、 <!--[endif]-->修改相关配置文件
[hadoop@localhost conf]$ cat core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.128.133:9000/</value>
</property>
</configuration>
[hadoop@localhost conf]$ cat mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>192.168.128.133:8021</value>
</property>
</configuration>
<!--[if !supportLists]-->3、 <!--[endif]-->另外SSH也需要查看Knowshosts里面是否有IP,否则会出现错误二,可以执行如下,则自动添加
ssh 192.168.128.133
<!--[if !supportLists]-->4、 <!--[endif]-->删除原临时目录,重新格式化
hadoop namenode –format
如果不按如上操作,可能会出现下面的错误:
错误一:
2011-08-14 09:44:28,206 INFO org.apache.hadoop.ipc.Server: IPC Server handler 7 on 9000, call addBlock(/user/hadoop/test.txt, DFSClient_1170937058) from 192.168.128.133:37785: error: java.io.IOException: File /user/hadoop/test.txt could only be replicated to 0 nodes, instead of 1
java.io.IOException: File /user/hadoop/test.txt could only be replicated to 0 nodes, instead of 1
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1271)
at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:422)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:508)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:959)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:955)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:953)
错误二:
This does not map back to the address - POSSIBLE BREAK-IN ATTEMPT
Eclispe调试Hadoop配置过程中问题
遇到如下问题:
Cannot run program "chmod": CreateProcess error=2
注意:需要安装Cygwin,并设置环境变量。就算不用本地的环境也必须。
安装Cygwin,并设置Cygwin_HOME/bin到windows Path变量
Cygwin下安装SSH
复制Hadoop文件
拷贝Hadoop项目中的eclipse plugin jar文件到eclipse plugin下
eclipse 在选项设置hadoop home路径,添加hadoop location(主要设置namenode 机器名端口和jobtracker端口即可)
新建map reduce project
从hadoop项目拷贝WordCount.java文件到新的项目
右键WordCount.java,设置运行参数
右键WordCount.java=> run on hadoop
注意:
windows下跑Hadoop Eclipse plugin,无论是连接本地还是远程,Cygwin是必须的安装的,调试远程不需要配置ssh。
每个hadoop版本必须和Hadoop Eclipse plugin一直否则无法进行连接和执行程序
-------------------------------------------------------------------------------------------------------------------
作者:CNZQS|JesseZhang 个人博客:CNZQS(http://www.cnzqs.com)
版权声明:除非注明,文章均为原创,可以任意转载,转载时请务必以超链接形式标明文章原始出处和作者信息及本声明
--------------------------------------------------------------------------------------------------------------------
发表评论
-
Hadoop正式发布1.0版本
2011-12-30 23:46 995作者:JesseZhang (CNZQS|JesseZh ... -
hadoop运行报错: java.lang.ClassNotFoundException解决方法
2011-12-11 23:10 2435作者:JesseZhang (CNZQS|JesseZh ... -
网友分享的《Hadoop实战》中文版 pdf
2011-12-08 20:50 2120作者:JesseZhang (CNZQS ... -
《权威指南》笔记十 管理Hadoop
2011-12-07 00:29 1658作者:JesseZhang (CNZQS|JesseZh ... -
《权威指南》笔记九 构建Hadoop集群
2011-12-05 22:03 1615作者:JesseZhang (CNZQS|JesseZh ... -
《权威指南》笔记八 MapReduce的特性
2011-12-05 00:25 1518作者:JesseZhang (CNZQS|JesseZh ... -
《权威指南》笔记七 MapReduce的类型和格式
2011-12-04 00:30 1740作者:JesseZhang (CNZQS|JesseZh ... -
Google三大论文中文版 pdf
2011-11-30 11:43 1909作者:JesseZhang (CNZQS|Jess ... -
Hadoop的五个典型应用场景
2011-11-08 11:18 1706本文为转载,原始地址为:http://blog.nosq ... -
Hadoop权威指南(第二版)pdf中文版
2011-11-03 11:29 2894今天终于找到 hadoop权威指南第二版的中文pdf版本 ... -
利用Ant构建Hadoop高效开发环境
2011-10-23 23:10 941最近Hadoop的研究中,都是利用Mockito ... -
chp6_MapReduce工作机制_20111016
2011-10-16 19:42 1051MapReduce工作机制 1. ... -
chp5_MapReduce应用开发_20111011
2011-10-16 16:43 951MapReduce应用开发 1. ... -
hadoop的应用(摘自itpub论坛)
2011-09-23 22:44 1094在itpub的hadoop论坛中看到一则hadoop的应用说明 ... -
Hadoop的Namenode的容灾处理
2011-08-17 21:48 1664Hadoop的namenode是关键节点,虽然业务尽量单一,减 ... -
HDFS系统学习笔记
2011-08-14 23:19 1070HDFS系统 1. 读 ... -
Hadoop安装总结
2011-08-13 13:07 877Hadoop安装总结 安装JDK 1 ... -
Hadoop及子项目介绍
2011-08-13 12:26 1549Hadoop及子项目介绍 H ... -
Google的三大基石
2011-07-20 13:58 1091Google的三大基石,也是云计算的几个重点论文的来源: ...
相关推荐
配置伪分布模式需要修改`core-site.xml`、`hdfs-site.xml`、`yarn-site.xml`等文件,设置相关参数,如`dfs.replication`(副本数量)、`fs.defaultFS`(HDFS的命名节点地址)等。 3. **完全分布式模式**: 在完全...
本教程将详细介绍"Hadoop-2.7.4 单机伪分布配置文件"的相关知识点,帮助你快速搭建本地单机模拟Hadoop集群环境。 首先,我们要理解什么是Hadoop的伪分布式模式。在伪分布式模式下,所有的Hadoop服务都在一台机器上...
Hadoop伪分布模式是一种在单台机器上模拟分布式环境的方式,通常用于开发测试阶段。这种方式既能够体验到Hadoop的分布式特性,又不需要复杂的多节点集群配置。本文将详细介绍如何在Ubuntu系统上搭建Hadoop伪分布环境...
在部署Hadoop前,需要配置Java开发环境,因为Hadoop是用Java编写的。推荐安装与Hadoop版本兼容的JDK,JDK(Java Development Kit)是Java程序设计语言的软件开发工具包。在本教程中,虽然没有提及具体的JDK版本,但...
搭建Hadoop开发环境,无论是单机模式还是伪分布式模式,都需要准备一些基础软件和环境。单机模式仅用于开发和测试,它在本地运行所有Hadoop守护进程;伪分布式模式将守护进程部署在单个机器上,但是每个守护进程都...
在单机环境中进行伪分布式配置,可以让我们在一台计算机上模拟多节点集群的行为,这对于学习、测试和开发是非常实用的。接下来,我们将详细探讨如何在单机环境下配置Hadoop和Spark的伪分布式模式。 首先,我们需要...
在介绍Hadoop-Eclipse开发环境配置之前,我们首先要了解Hadoop和Eclipse的基本概念。Hadoop是一个由Apache基金会开发的开源框架,能够支持在普通硬件上运行的分布式应用。它旨在从单一服务器扩展到数千台机器上,...
Hadoop伪分布模式环境搭建是指在单个节点上搭建Hadoop集群环境,主要用于开发调试MapReduce应用逻辑。以下是搭建伪分布模式环境的步骤: 一、SSH协议介绍 SSH(Secure Shell)是一种安全协议,用于远程登录服务器...
Hadoop提供了多种运行模式,以满足不同环境的需求,其中最常见的两种是单机模式(Local Mode)和伪分布模式(Pseudo-Distributed Mode)。 **一、Hadoop单机模式** 单机模式是Hadoop的最基本运行模式,主要用于...
"Hadoop 伪分布式环境配置" Hadoop 伪分布式环境配置是指在单机上模拟 Hadoop 分布式环境的配置过程。这种配置方式可以模拟分布式环境,方便开发者测试和调试 Hadoop 程序。下面是 Hadoop 伪分布式环境配置的详细...
2、大数据环境-安装Hadoop2.5.2伪分布式傻瓜教程 原创
本文将详细介绍如何在单机上搭建Hadoop伪分布式环境,并通过运行经典的WordCount示例来理解Hadoop的基本工作流程。 #### 二、Hadoop伪分布式环境简介 ##### 2.1 Hadoop分布式组件概述 Hadoop主要由两大部分构成:...
这种模式非常适合测试和开发环境,在这些环境中,我们可以利用单个节点模拟一个完整的Hadoop集群。 #### 1. Java环境配置 在Hadoop配置中,`JAVA_HOME`环境变量是必不可少的,它指定了Java的安装位置。Hadoop需要...
在这个"shell脚本配置Hadoop伪分布式.zip"压缩包中,包含了配置Hadoop伪分布式环境所需的所有资源和指南。伪分布式模式是在单个节点上模拟分布式环境,这对于学习和测试Hadoop功能非常有用,无需复杂的多节点集群...
Hadoop伪分布式部署文档是指在单台机器上模拟分布式Hadoop集群的部署文档,包括服务器伪分布式部署、本地Hadoop开发环境部署、Eclipse远程连接Hadoop服务器等内容。下面是该文档的详细解释: 首先,需要安装JDK,...
这里我们将详细讲解如何创建Hadoop用户、安装JDK、配置Hadoop环境以及在Eclipse中集成Hadoop开发环境。 首先,为了安全和管理的方便,我们需要创建一个专门的Hadoop用户。通过以下步骤创建名为`hadoop`的新用户: ...