`
bo_hai
  • 浏览: 565970 次
  • 性别: Icon_minigender_1
  • 来自: 武汉
社区版块
存档分类
最新评论

Hadoop 配置分享

 
阅读更多

一、core-site.xml配置如下:

<configuration>
    <property>    
          <name>fs.default.name</name>
		  <!-- 请使用IP,不要使用localhost -->
          <value>hdfs://192.168.56.101:9000</value>    
      </property>    
      <property>  
           <name>hadoop.tmp.dir</name>  
		   <!-- 使用你的自己定义路径 -->
           <value>/home/user/hadoop</value>  
       </property> 	
</configuration>

 二、hdfs-site.xml 配置如下:

 

<configuration>
   <property>    
         <name>dfs.replication</name>    
         <value>1</value>    
    </property> 
</configuration>

 

 三、mapred-site.xml 配置如下:

<configuration>
	<property>    
	 <name>mapred.job.tracker</name>    
	 <!-- 请使用IP -->
	 <value>192.168.56.101:9001</value>    
	</property> 
	<property>
	   <name>hadoop.job.ugi</name>
	   <!-- 登录ubuntu的用户名和密码 -->
	   <value>tester,123456</value>
	   <description>hadoop user access password</description>
	</property>
</configuration>

 四、hadoop-env.sh 中加入以下配置:

 

export JAVA_HOME=/usr/Java/jdk1.6
export HADOOP_HOME_WARN_SUPPRESS=TRUN

 

 

1
0
分享到:
评论
1 楼 bo_hai 2013-10-28  
配置中一定不要使用localhost,都使用IP地址,这样做的好处是:windows 上的eclipse 也能够连接上虚拟机上hadoop环境。

相关推荐

    hadoop配置

    【标题】:“Hadoop配置”涉及的IT知识点主要包括Hadoop的安装、配置、集群搭建以及故障恢复等核心概念。Hadoop是一个开源的分布式计算框架,主要用于处理和存储大规模数据,其核心组件包括HDFS(Hadoop Distributed...

    软件工程课程设计报告Hadoop配置

    【软件工程课程设计报告Hadoop配置】主要涵盖了在软件工程课程中使用Hadoop进行课程设计的相关内容,包括环境搭建、Eclipse中的应用测试、遇到的问题与解决方案以及对Hadoop源码的分析。以下是对这些知识点的详细...

    centos下hadoop的配置

    【描述】:这份内容是关于个人在安装Hadoop过程中所做的笔记,旨在分享给对在CentOS操作系统上配置Hadoop感兴趣的读者。 【标签】:“CentOS” “Hadoop” 【正文】: 在CentOS系统中配置Hadoop是一个涉及多个...

    hadoop插件apache-hadoop-3.1.0-winutils-master.zip

    标题中的"apache-hadoop-3.1.0-winutils-master.zip"是一个针对Windows用户的Hadoop工具包,它包含了运行Hadoop所需的特定于Windows的工具和配置。`winutils.exe`是这个工具包的关键组件,它是Hadoop在Windows上的一...

    Hadoop HA搭建笔记和配置文件

    本笔记将深入探讨如何搭建Hadoop HA环境,并分享配置文件及其详细解读。 首先,我们要理解Hadoop HA的基本概念。HA主要涉及到两个关键组件:NameNode和ResourceManager。NameNode是HDFS的元数据管理节点,而...

    hadoop-2.6.5 + eclipse附配置hdfs相关文件.zip

    "有需求可以拿走"表明作者愿意分享资源,而"详情可见博客 eclipse没有DFS Locations"则暗示了可能在博客中有更详细的配置步骤或解决特定问题的指南,尤其是针对Eclipse中无法看到DFS位置的问题。 标签"eclipse+hdfs...

    hadoop运维经验分享

    2012年华东运维技术大会上分享的"Hadoop运维经验"涵盖了Hadoop生态系统中的多个关键方面,旨在帮助IT专业人士更好地管理和优化大规模数据处理环境。以下是对这些运维经验的详细解读: 1. **集群规划与搭建**:...

    Hadoop深入浅出分享资料

    "VMWare视频同步讲义"是实践操作部分,可能指导用户如何在虚拟环境中安装和配置Hadoop集群,包括设置硬件资源、安装Java环境、配置Hadoop环境变量、启动和停止服务等步骤。这种实践操作对于理解Hadoop的实际运行至关...

    大数据技术之Hadoop知识分享 Hadoop面试题目及其答案 Hadoop面试题目整理 Hadoop使用经验 共9页.pdf

    7. **集群管理工具**:Puppet、Pdsh和Cloudera Manager都是用于管理Hadoop集群的工具,而Zookeeper则提供分布式协调服务,对于Hadoop和HBase等系统中的命名服务、配置管理、选举等场景至关重要。 8. **机架感知**:...

    从零开始Hadoop安装和配置.rar

    说明,因为这里涉及到多台计算机的共同操作,对于主节点namenode 整篇文章照做,对于datanode节点,除了Hadoop的配置,其他照做,如果配置主机数为多太,只需在后更改hadoop配置文件即可 ________________

    hadoop—集群维护手册分享.pdf

    Hadoop 集群维护手册分享 本文档旨在为 Hadoop 集群维护提供详细的操作指南,从集群启动和停止到数据平衡、节点添加、副本系数设置、平衡阈值调整、Hadoop 升级等多个方面,提供了实践操作步骤和注意事项。 一、...

    Hadoop实用知识库分享知识分享

    Hadoop实用知识库分享知识分享 Hadoop是一个基于分布式处理的大数据处理框架,由Apache软件基金会开发和维护。它提供了一种可靠、可扩展、可维护的方式来存储和处理大规模数据。Hadoop的核心组件包括Hadoop ...

    Hadoop权威指南,hadoop权威指南pdf,Hadoop

    6. **最佳实践**:作者分享了他们在开发和应用Hadoop过程中的经验和技巧,帮助读者避免常见的陷阱,提高Hadoop应用的效率和性能。 通过阅读《Hadoop权威指南》,无论是初学者还是有经验的开发者,都能对Hadoop有...

    Hadoop书籍.rar

    本压缩包“Hadoop书籍.rar”包含了关于Hadoop的多个方面的学习资料,包括技术内幕、权威指南的中文版以及实战经验分享,还有针对Hadoop的面试题集,对于学习和理解Hadoop有着极大的帮助。 1. **Hadoop技术内幕**:...

    基于hadoop的云盘系统

    - `src/main/resources`: 配置文件,如Spring Boot的application.properties或yaml文件,数据库连接配置,Hadoop相关配置等。 - `pom.xml`: Maven项目的配置文件,定义了项目的依赖,包括SpringBoot、MySQL、Layui等...

    hadoop2.2 hbase0.96.2 hive 0.13.1整合部署

    7. **HBase安装**:下载并解压HBase,配置HBase的环境变量,如`HBASE_HOME`、`HBASE_CLASSPATH`,并根据Hadoop配置调整HBase配置文件。 8. **HBase与Hadoop整合**:设置HBase的HDFS和MapReduce配置,使HBase能够使用...

    hadoop_bayes代码下载

    2. **conf**:配置文件,如hadoop配置和作业特定的设置。 3. **data**:训练和测试数据样本,用于演示或验证算法的正确性。 4. **README**:文档,详细说明如何构建、运行和使用代码。 5. **build**或**target**:...

    hadoop毅哥的压缩包.7z

    标题中的“hadoop毅哥的压缩包.7z”表明这是一个与Hadoop相关的压缩文件,由用户“毅哥”分享。Hadoop是一个开源的分布式计算框架,由Apache基金会开发,主要用于处理和存储大规模数据。这个压缩包可能包含了不同...

Global site tag (gtag.js) - Google Analytics