`
san_yun
  • 浏览: 2662508 次
  • 来自: 杭州
文章分类
社区版块
存档分类
最新评论

hadoop hdfs环境搭建

 
阅读更多

参考:

http://wiki.apache.org/hadoop/GettingStartedWithHadoop

http://blog.csdn.net/warmspace2008/article/details/8540159

 

hadoop环境搭建参考官方wiki,首先下载hadoop官方包,我选择的是hadoop-1.2.1。conf目录新增配置文件:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/duitang/tmp/hadoop-${user.name}</value>
</property>
<property>
  <name>fs.default.name</name>
  <value>hdfs://localhost:54310</value>
</property>
<property>
  <name>mapred.job.tracker</name>
  <value>hdfs://localhost:54311</value>
</property>
<property> 
  <name>dfs.replication</name>
  <value>8</value>
</property>
<property>
  <name>mapred.child.java.opts</name>
  <value>-Xmx512m</value>
</property>
</configuration>

 

 

通过start-dfs.sh启动,

写道
yunpeng@yunpeng-duitang:/duitang/dist/sys/hadoop-1.2.1$ ./bin/start-dfs.sh
starting namenode, logging to /duitang/dist/sys/hadoop-1.2.1/libexec/../logs/hadoop-yunpeng-namenode-yunpeng-duitang.out
localhost: ssh: connect to host localhost port 22: Connection refused
localhost: ssh: connect to host localhost port 22: Connection refused

 

结果日志报错:

写道
2013-12-23 16:18:05,195 INFO org.apache.hadoop.hdfs.server.common.Storage: Storage directory /duitang/tmp/hadoop-yunpeng/dfs/name does not exist
2013-12-23 16:18:05,197 ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed.
org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /duitang/tmp/hadoop-yunpeng/dfs/name is in an inconsistent state: storage directory does not exist or is not accessible.

 

 

分析错误,应该是没有没有创建目录,创建之后再次启动,还是报错:

2013-12-23 16:20:42,797 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: java.io.IOException: NameNode is not formatted.

at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:331)

 

原来NameNode需要format,执行hadoop namenode -format 

写道
yunpeng@yunpeng-duitang:/duitang/dist/sys/hadoop-1.2.1$ ./bin/hadoop namenode -format
13/12/23 16:22:27 WARN conf.Configuration: DEPRECATED: hadoop-site.xml found in the classpath. Usage of hadoop-site.xml is deprecated. Instead use core-site.xml, mapred-site.xml and hdfs-site.xml to override properties of core-default.xml, mapred-default.xml and hdfs-default.xml respectively
13/12/23 16:22:27 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = yunpeng-duitang/127.0.0.1
STARTUP_MSG: args = [-format]
STARTUP_MSG: version = 1.2.1
STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152; compiled by 'mattf' on Mon Jul 22 15:23:09 PDT 2013
STARTUP_MSG: java = 1.6.0_29
************************************************************/
Re-format filesystem in /duitang/tmp/hadoop-yunpeng/dfs/name ? (Y or N) Y
13/12/23 16:22:29 INFO util.GSet: Computing capacity for map BlocksMap
13/12/23 16:22:29 INFO util.GSet: VM type = 64-bit
13/12/23 16:22:29 INFO util.GSet: 2.0% max memory = 932118528
13/12/23 16:22:29 INFO util.GSet: capacity = 2^21 = 2097152 entries
13/12/23 16:22:29 INFO util.GSet: recommended=2097152, actual=2097152
13/12/23 16:22:29 INFO namenode.FSNamesystem: fsOwner=yunpeng
13/12/23 16:22:29 INFO namenode.FSNamesystem: supergroup=supergroup
13/12/23 16:22:29 INFO namenode.FSNamesystem: isPermissionEnabled=true
13/12/23 16:22:29 INFO namenode.FSNamesystem: dfs.block.invalidate.limit=100
13/12/23 16:22:29 INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s)
13/12/23 16:22:29 INFO namenode.FSEditLog: dfs.namenode.edits.toleration.length = 0
13/12/23 16:22:29 INFO namenode.NameNode: Caching file names occuring more than 10 times
13/12/23 16:22:29 INFO common.Storage: Image file /duitang/tmp/hadoop-yunpeng/dfs/name/current/fsimage of size 113 bytes saved in 0 seconds.
13/12/23 16:22:30 INFO namenode.FSEditLog: closing edit log: position=4, editlog=/duitang/tmp/hadoop-yunpeng/dfs/name/current/edits
13/12/23 16:22:30 INFO namenode.FSEditLog: close success: truncate to 4, editlog=/duitang/tmp/hadoop-yunpeng/dfs/name/current/edits
13/12/23 16:22:30 INFO common.Storage: Storage directory /duitang/tmp/hadoop-yunpeng/dfs/name has been successfully formatted.
13/12/23 16:22:30 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at yunpeng-duitang/127.0.0.1
************************************************************/

启动成功,通过http://localhost:50070/ 可以查看。

 

hadoop-site.xml 写道
fs.default.name
mapred.job.tracker
hadoop.job.ugi
mapred.job.queue.name
mapred.used.genericoptionsparser true
mapred.map.max.attempts 5
mapred.reduce.max.attempts 5
mapred.child.java.opts -Xmx1024m
mapred.output.compress true
mapred.output.compression.codec org.apache.hadoop.io.compress.DefaultCodec
mapred.compress.map.output true
mapred.map.output.compression.codec org.apache.hadoop.io.compress.LzoCodec
io.compression.codecs org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.LzoCodec
fs.trash.interval 1440
fs.hdfs.impl org.apache.hadoop.hdfs.Yunti3FileSystem
fs.viewfs.impl org.apache.hadoop.fs.viewfs.ViewFileSystem
fs.yunti.prefix.lists hdfs://xxxx:9000,hdfs://xxxx:9000
fs.viewfs.zk.addr

 

 

客户端测试:

Exception in thread "main" java.io.IOException: Call to localhost/127.0.0.1:9000 failed on local exception: java.io.EOFException

报此错说明客户端hadoop版本和服务端hadoop版本不一致。修改客户端引用hadoop的版本

 

 

分享到:
评论

相关推荐

    hadoop开发环境搭建

    ### Hadoop开发环境搭建知识点详解 #### 一、Hadoop简介及重要性 Hadoop是一个开源的分布式计算框架,能够高效地处理大规模数据集。它主要由两大部分组成:Hadoop Distributed File System (HDFS) 和 MapReduce。...

    Hadoop集群环境搭建

    Hadoop集群环境搭建 Hadoop集群环境搭建是大数据处理的核心组件之一,本文将详细介绍Hadoop集群环境的搭建过程,包括集群规划、前置条件、免密登录、集群搭建、提交服务到集群等几个方面。 集群规划 在搭建Hadoop...

    hadoop集群环境的搭建

    "hadoop集群环境的搭建" Hadoop 是一个开源的大数据处理框架,由Apache基金会开发和维护。它可以实现大规模数据的存储和处理,具有高可扩展性、可靠性和高性能等特点。搭建 Hadoop 集群环境是实现大数据处理的重要...

    Hadoop2.7环境搭建手册

    通过上述步骤,我们已经完成了Hadoop2.7环境的搭建工作,包括Java环境的配置、Hadoop的安装与配置、HDFS的配置以及SSH免密登录的配置。这些步骤是构建Hadoop集群的基础,也是进行后续大数据处理任务的前提条件。希望...

    hadoop文档, hdfs mapreduce,环境搭建,例子介绍等

    ### Hadoop概述与环境搭建详解 #### 一、Hadoop简介 Hadoop是一个开源软件框架,主要用于处理大规模数据集(GB到PB级别)的分布式计算。它最初由Apache基金会开发,现已成为大数据处理领域的基石之一。Hadoop的核心...

    Hadoop开发环境搭建

    搭建Hadoop开发环境是进行Hadoop编程和应用开发的第一步,这对于理解和实践大数据处理至关重要。 标题“Hadoop开发环境搭建”指的是配置一个适合进行Hadoop应用开发的本地或集群环境。这个过程通常涉及安装Java运行...

    Hadoop_HDFS系统双机热备方案.pdf

    要搭建一个Hadoop HDFS双机热备环境,还需要了解和配置ZooKeeper,因为ZooKeeper在Hadoop高可用性集群中扮演着非常重要的角色。ZooKeeper负责管理集群状态信息,实现主从节点之间的协调。高可用性HDFS配置中的...

    实验2模板-HDFS环境搭建及基本命令的使用

    本实验旨在帮助学生掌握Hadoop分布式文件系统(HDFS)的搭建过程,以及在HDFS环境中执行基本的文件操作命令。通过实践,学生将熟悉伪分布式环境的配置,学习如何创建、上传、查看、下载和删除HDFS上的文件和目录,...

    hadoop hdfs配置

    ### Hadoop HDFS配置详解 #### 一、概述 在大数据处理领域,Hadoop作为一款开源软件框架,被广泛应用于...这些步骤对于搭建一个稳定可靠的HDFS集群至关重要。希望本文能帮助初学者快速掌握Hadoop HDFS的配置方法。

    hadoop环境搭建

    Hadoop 环境搭建 Hadoop 环境搭建是大数据处理和分析的基础,涉及到虚拟机安装、操作系统安装、JDK 安装、SSH 无密码登录、Hadoop 安装等多个方面。在本文中,我们将详细介绍 Hadoop 环境搭建的步骤和方法。 一、...

    hadoop环境搭建教程

    Hadoop环境搭建主要包括配置Hadoop相关的配置文件,包括但不限于hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、masters和slaves文件。 在hadoop-env.sh文件中需要指定Java的安装路径,因为Hadoop...

    Hadoop HDFS最佳实践攻略.docx

    在实践中,需要安装 Hadoop 环境,可以选择自己搭建环境,也可以使用打包好的 Hadoop 环境(版本 2.7.3)。在安装完成后,可以使用 Shell 命令行操作方式或 Java API 操作方式来操作 HDFS。 通过学习 HDFS 的基本...

    Hadoop环境搭建和HDFS Shell命令

    Hadoop环境搭建和HDFS Shell命令 ppt格式 内容丰富生动

    hadoop-2.x的环境搭建

    本文将详细阐述如何搭建Hadoop 2.x的环境,这包括单节点模式、伪分布式模式以及完全分布式模式的安装与配置,同时也涵盖了Hadoop生态系统中其他重要组件的安装。 一、Hadoop简介 Hadoop是基于Java开发的,它由...

    Hadoop_HDFS安装和管理.pdf

    - **安装环境搭建**:以`hdfs`用户身份登录,在主目录下创建子目录`hdfsinstall`,并在此目录下解压缩`forlink-hadoop.tar.gz`文件。 - **配置文件准备**:创建配置目录`hadoop-config`,并将必要的配置文件复制到该...

    linux下Hadoop集群环境搭建

    在Linux环境下搭建Hadoop集群是一项复杂但至关重要的任务,它为大数据处理提供了强大的分布式平台。以下将详细介绍如何在一台虚拟机上安装多台Linux服务节点,并构建Hadoop集群环境。 首先,我们需要准备一个基础...

Global site tag (gtag.js) - Google Analytics