`
kinghongen
  • 浏览: 5477 次
  • 性别: Icon_minigender_1
  • 来自: 天津
最近访客 更多访客>>
社区版块
存档分类
最新评论

hadoop 0.20.1 之环境搭建

阅读更多

参考文章
http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop1/index.html
http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop2/index.html
http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop3/

 

搭建过程中遇到了点小问题,随笔记录

 

1.下载的是最新版本hadoop-0.20.1,发现jdk1.5.0_04无法运行,换jdk1.6.0_16后正常

2.hadoop/bin 下的hadoop启动默认设置的堆大小为1000M,内存不够的同学请修改下

   JAVA=$JAVA_HOME/bin/java
   JAVA_HEAP_MAX=-Xmx1000m

3.网上现有的hadoop文章,需要修改的文件是hadoop-site.xml,可是hadoop-0.20.1版本确没有这个文件,取而代之的是core-site.xml。

分享到:
评论

相关推荐

    Hadoop 0.20.1 配置手册-高清pdf文字版

    1. **Hadoop环境搭建**:包括安装Java环境、配置Hadoop环境变量、设置Hadoop的安装目录和数据存储路径等。理解这些步骤是部署Hadoop集群的基础。 2. **Hadoop配置文件详解**:如`core-site.xml`、`hdfs-site.xml`、...

    在ubuntu下搭建hadoop环境搭建__说明文档

    ### 在Ubuntu下搭建Hadoop环境的关键步骤 #### 1. 安装JDK 在Ubuntu系统上搭建Hadoop环境的第一步是安装Java Development Kit (JDK)。这是因为Hadoop是用Java编写的,所以需要JDK来运行Hadoop。 ##### 1.1 下载与...

    Linux下Hadoop单机配置文档

    本文档介绍了如何在Linux环境下搭建Hadoop单机模式的基本配置。通过本教程的学习,读者可以了解Hadoop单机模式的配置流程,并能够通过一个简单的WordCount程序来验证Hadoop的安装是否成功。需要注意的是,本文档使用...

    windows下搭建hadoop平台.pdf

    1. 下载 Hadoop 安装包(hadoop-0.20.1.tar.gz) 2. 解压 Hadoop 安装包到指定目录(例如 D:\hadoop\run) 3. 修改 Hadoop 配置文件,包括 hadoop-env.sh、core-site.xml、hdfs-site.xml 和 mapred-site.xml 修改 ...

    hadoop完全分布配置指南

    为了成功搭建Hadoop集群,我们需要确保所有参与的机器都有适当的系统环境配置。本文档假设存在三台机器,并且都安装了Ubuntu操作系统。 - **主机:** 192.168.1.138 (hadoop-master) - **数据节点1:** 192.168.1.140...

    Hadoop学习及实战资料.zip

    在IT领域,Hadoop是一个广泛使用的开源框架,主要用于大数据处理和分析。这个压缩包文件"**Hadoop学习及实战资料...在学习过程中,建议结合实践,动手搭建Hadoop环境,编写和运行MapReduce程序,以达到最佳的学习效果。

    hadoop_ubuntu

    通过本教程的学习,您将能够成功地在本地或集群环境中搭建 Hadoop 平台。 #### 二、安装 JDK 6 Hadoop 的运行依赖于 Java 环境,因此第一步是安装 Java 开发工具包 (JDK)。本教程将指导您完成 JDK 6 的安装过程。 ...

    Hadoop配置手册

    ### Hadoop配置手册 #### 系统环境配置 在配置Hadoop集群之前,需要确保所有节点的操作系统已经正确安装并且能够...通过以上步骤,我们可以成功搭建一个功能完善的Hadoop集群环境,用于数据处理和分布式计算任务。

    Hadoop与HBase自学笔记

    【Hadoop与HBase自学笔记】是一篇详细记录在Windows环境下搭建Hadoop和HBase分布式环境的教程。本文主要分为六个部分,涵盖了从基础环境准备到集群开发的全过程。 1. **安装JDK**:首先,你需要安装Java ...

    ubuntu下hadoop配置指南.pdf

    - **环境搭建**:确保使用的是支持Hadoop的Ubuntu 10.04版本,并安装JDK 6或更高版本。Hadoop的配置需要与特定版本的Eclipse插件兼容,如本文档中提到的hadoop-0.20.1和eclipse-3.5.2。 - **伪分布式配置**:在...

    ubuntu下hadoop配置指南.docx

    通过实践这个配置指南,你将理解如何在Ubuntu环境下搭建Hadoop单机环境,掌握分布式编程模式MapReduce,以及如何解决实际的大数据处理问题。这将有助于你深入理解云计算环境下的数据处理,为后续的Hadoop开发和大...

    HBase的安装、配置、管理与编程

    所有节点都已安装了Hadoop-0.20.1或更高版本。 接下来是安装和配置ZooKeeper,因为从HBase 0.20.0开始,ZooKeeper成为HBase的必需组件。下载并解压Zookeeper-3.2.1到/home/hdfs/目录。在namenode节点创建zookeeper...

Global site tag (gtag.js) - Google Analytics