`
SavageGarden
  • 浏览: 222059 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Hadoop(0.21.0) 常用基本配置

阅读更多
1. Master与Slaver部署在同一台机器

有时候可能我们并没有那么多机器,比如只有两台,这时候想把一台机器既作为master又作为slaver,只需要在conf/slaves中添加上master即可

比如:

master 192.168.1.100
slave1 192.168.1.101
slave2 192.168.1.102


则conf/master

master


conf/slaves

master
slave1
slave2


2. 设置HDFS使用已有的存储,需要修改一下配置

#指定日志输出路径
export HADOOP_LOG_DIR=/hadoop/logs
#指定pid文件存储路径,防止不能正常执行 bin/stop-all.sh
export HADOOP_PID_DIR=/hadoop/pids


conf/core-site.xml

<property>
 	<name>fs.default.name</name>
  	<value>hdfs://master:9000</value>
</property>
<property>
	<name>hadoop.tmp.dir</name>
	<value>/hadoop</value>
</property>


conf/hdfs-site.xml

<property>
 	<name>dfs.replication</name>
  	<value>3</value>
</property>
<property>
	<name>dfs.data.dir</name>
	<value>${hadoop.tmp.dir}/dfs/data</value>
</property>
<property>
	<name>dfs.name.dir</name>
	<value>${hadoop.tmp.dir}/dfs/name</value>
</property>


conf/mapred-site.xml

<property>
 	<name>mapred.job.tracker</name>
  	<value>master:9001</value>
</property>
<property>
	<name>mapred.system.dir</name>
	<value>${hadoop.tmp.dir}/mapred/system</value>
</property>
<property>
	<name>mapred.local.dir</name>
	<value>${hadoop.tmp.dir}/mapred/local</value>
</property>

分享到:
评论

相关推荐

    Hadoop-0.21.0分布式集群配置

    Hadoop-0.21.0分布式集群配置.doc

    hadoop 0.21.0 API chm

    Hadoop 0.21.0 API CHM 文件是一份非常实用的参考资料,它将Hadoop 0.21.0版本的API以CHM(Windows帮助文档)格式呈现,便于开发者快速查找和理解相关接口及功能。CHM格式的优势在于提供了一种离线浏览、搜索和全文...

    Hadoop 0.21.0 Eclipse plugin相关

    总的来说,"Hadoop 0.21.0 Eclipse plugin相关"的主题涵盖了使用Eclipse开发工具进行Hadoop编程和管理的基本过程,以及该版本Hadoop的关键改进。通过深入理解和使用这些工具,开发者可以更高效地构建和维护大规模的...

    hadoop 0.21.0 安装包

    hadoop 0.21.0 linux下的安装包

    eclipse3.6+hadoop-0.21.0插件配置使用

    本文将详细阐述如何在Eclipse 3.6版本中配置并使用Hadoop 0.21.0的插件,帮助开发者更高效地进行Hadoop项目开发。 首先,我们需要了解Eclipse的插件系统。Eclipse允许通过安装插件来扩展其功能,这些插件可以提供...

    hadoop-0.21.0-eclipse-plugin

    这将生成一个包含基本结构的项目,包括Mapper和Reducer类,以及相关的配置文件,如job.xml。 4. **代码编辑与调试** 该插件提供了对Hadoop MapReduce程序的代码补全、语法高亮等特性,帮助开发者编写高效、规范的...

    hadoop-0.21.0-raid.jar

    hadoop-0.21.0-raid.jar

    hadoop-0.21.0.tar.gz

    Hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来,Hadoop是一个可以更容易开发和运行处理大规模数据...

    配置后的hadoop-0.21.0-eclipse-plugin.jar

    不是hadoop-0.21.0中自带的eclipse插件,是经过我配置后的,可用于eclipse的中进行开发的插件(9.2MB),因为这个版本自带的这个文件(1.5MB)不可用。 将此文件放入:/usr/share/eclipse/dropins 中即可使用! 在centos...

    hadoop-0.21.0-eclipse-plugin.jar

    不是hadoop-0.21.0中自带的eclipse插件,是经过我配置后的,可用于eclipse的中进行开发的插件(9.2MB),因为这个版本自带的这个文件(1.5MB)不可用。 将此文件放入:/usr/share/eclipse/dropins 中即可使用!!! 在...

    hadoop-0.21.0-streaming.jar

    hadoop-0.21.0-streaming.jar

    VMWare Workstation安装和配置Hadoop群集环境

    本文主要介绍了使用VMWare Workstation安装和配置Hadoop群集环境的步骤,包括安装 VMWare Workstation、Redhat Linux 9.0、JDK 1.6.0_25和Hadoop 0.21.0等软件的安装和配置,以及虚拟机的网络连接方式和IP地址的设置...

    hadoop-0.21.0-mrunit.jar

    hadoop-0.21.0-mrunit.jar

    基于Eclipse的Hadoop应用开发环境配置

    "基于Eclipse的Hadoop应用开发环境配置" 基于 Eclipse 的 Hadoop 应用开发环境配置是指在 Eclipse 中配置 Hadoop 开发环境,以便开发和运行 Hadoop 应用程序。本节将对基于 Eclipse 的 Hadoop 应用开发环境配置进行...

    hadoop-0.21.0-datajoin.jar

    hadoop-0.21.0-datajoin.jar

    Hadoop集群安装与配置详细步骤

    "Hadoop 集群安装与配置详细步骤" Hadoop 集群安装与配置详细步骤是大数据处理和存储的重要组件。为了实现高效的数据处理和存储,需要安装和配置 Hadoop 集群。本节将详细介绍 Hadoop 集群安装与配置的步骤。 安装...

    修复版 hadoop-0.21.0-eclipse-plugin.jar

    "修复版 hadoop-0.21.0-eclipse-plugin.jar"是针对原始hadoop-0.21.0版本的Eclipse插件进行了修正后的版本,解决了直接下载时可能存在的问题,确保用户能够直接在Eclipse中顺畅地使用。 原版的hadoop-0.21.0-...

Global site tag (gtag.js) - Google Analytics