1. Master与Slaver部署在同一台机器
有时候可能我们并没有那么多机器,比如只有两台,这时候想把一台机器既作为master又作为slaver,只需要在conf/slaves中添加上master即可
比如:
master 192.168.1.100
slave1 192.168.1.101
slave2 192.168.1.102
则conf/master
master
conf/slaves
master
slave1
slave2
2. 设置HDFS使用已有的存储,需要修改一下配置
#指定日志输出路径
export HADOOP_LOG_DIR=/hadoop/logs
#指定pid文件存储路径,防止不能正常执行 bin/stop-all.sh
export HADOOP_PID_DIR=/hadoop/pids
conf/core-site.xml
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop</value>
</property>
conf/hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>${hadoop.tmp.dir}/dfs/data</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>${hadoop.tmp.dir}/dfs/name</value>
</property>
conf/mapred-site.xml
<property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
</property>
<property>
<name>mapred.system.dir</name>
<value>${hadoop.tmp.dir}/mapred/system</value>
</property>
<property>
<name>mapred.local.dir</name>
<value>${hadoop.tmp.dir}/mapred/local</value>
</property>
分享到:
相关推荐
Hadoop-0.21.0分布式集群配置.doc
Hadoop 0.21.0 API CHM 文件是一份非常实用的参考资料,它将Hadoop 0.21.0版本的API以CHM(Windows帮助文档)格式呈现,便于开发者快速查找和理解相关接口及功能。CHM格式的优势在于提供了一种离线浏览、搜索和全文...
总的来说,"Hadoop 0.21.0 Eclipse plugin相关"的主题涵盖了使用Eclipse开发工具进行Hadoop编程和管理的基本过程,以及该版本Hadoop的关键改进。通过深入理解和使用这些工具,开发者可以更高效地构建和维护大规模的...
hadoop 0.21.0 linux下的安装包
本文将详细阐述如何在Eclipse 3.6版本中配置并使用Hadoop 0.21.0的插件,帮助开发者更高效地进行Hadoop项目开发。 首先,我们需要了解Eclipse的插件系统。Eclipse允许通过安装插件来扩展其功能,这些插件可以提供...
这将生成一个包含基本结构的项目,包括Mapper和Reducer类,以及相关的配置文件,如job.xml。 4. **代码编辑与调试** 该插件提供了对Hadoop MapReduce程序的代码补全、语法高亮等特性,帮助开发者编写高效、规范的...
hadoop-0.21.0-raid.jar
Hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来,Hadoop是一个可以更容易开发和运行处理大规模数据...
不是hadoop-0.21.0中自带的eclipse插件,是经过我配置后的,可用于eclipse的中进行开发的插件(9.2MB),因为这个版本自带的这个文件(1.5MB)不可用。 将此文件放入:/usr/share/eclipse/dropins 中即可使用! 在centos...
不是hadoop-0.21.0中自带的eclipse插件,是经过我配置后的,可用于eclipse的中进行开发的插件(9.2MB),因为这个版本自带的这个文件(1.5MB)不可用。 将此文件放入:/usr/share/eclipse/dropins 中即可使用!!! 在...
hadoop-0.21.0-streaming.jar
本文主要介绍了使用VMWare Workstation安装和配置Hadoop群集环境的步骤,包括安装 VMWare Workstation、Redhat Linux 9.0、JDK 1.6.0_25和Hadoop 0.21.0等软件的安装和配置,以及虚拟机的网络连接方式和IP地址的设置...
hadoop-0.21.0-mrunit.jar
"基于Eclipse的Hadoop应用开发环境配置" 基于 Eclipse 的 Hadoop 应用开发环境配置是指在 Eclipse 中配置 Hadoop 开发环境,以便开发和运行 Hadoop 应用程序。本节将对基于 Eclipse 的 Hadoop 应用开发环境配置进行...
hadoop-0.21.0-datajoin.jar
"Hadoop 集群安装与配置详细步骤" Hadoop 集群安装与配置详细步骤是大数据处理和存储的重要组件。为了实现高效的数据处理和存储,需要安装和配置 Hadoop 集群。本节将详细介绍 Hadoop 集群安装与配置的步骤。 安装...
"修复版 hadoop-0.21.0-eclipse-plugin.jar"是针对原始hadoop-0.21.0版本的Eclipse插件进行了修正后的版本,解决了直接下载时可能存在的问题,确保用户能够直接在Eclipse中顺畅地使用。 原版的hadoop-0.21.0-...