`
gaojingsong
  • 浏览: 1201240 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
文章分类
社区版块
存档分类
最新评论

搭建Hadoop环境

 
阅读更多
1、关闭防火墙
service iptables status

service iptables stop

chkconfig --list

chkconfig iptables off

2、SSH 免密码登录
生成秘钥到root目录
ssh-keygen -t rsa
公钥文件放入authorized_keys
cp id_rsa.pub authorized_keys

验证:ssh localhost

3、安装JDK
配置etc/profile JDK环境变量

4、开始安装hadoop
1)解压,配置hadoop环境变量bin
HADOOP_HOME
PATH: HADOOP_HOME/bin
2)修改四个配置文件
hadoop-env.sh
JAVA_HOME
core-site.xml
fs.default.name
hdfs://hadoop0:9000

hadoop.tmp.dir
/usr/XXX
即:
<configuration>
<property>
   <name>fs.default.name</name>
   <value>hdfs://hadoop0:9000</value>
</property>
<property>
   <name>hadoop.tmp.dir</name>
   <value>/opt/data/hadoop272</value>
</property>
</configuration>

hdfs-site.xml
dfs.replication
dfs.permissions(false)
即:
<configuration>
<property>
   <name>dfs.replication</name>
   <value>1</value>
</property>
<property>
   <name>dfs.permissions</name>
   <value>false</value>
</property>
</configuration>



mapred-site.xml
mapred.job.tracer
hadoop0:9001
即:
<configuration>
<property>
   <name>mapred.job.tracker</name>
   <value>hadoop0:9001</value>
</property>
</configuration>

3)格式化(类似新硬盘)
执行hadoop namenode -format
启动start-all.sh
查看java进程jps

http://50070 (jetty服务器)
http://50030
分享到:
评论

相关推荐

    超详细单机版搭建hadoop环境图文解析

    Hadoop 单机版搭建环境图文解析 Hadoop 是一种基于分布式计算的开源框架,由 Apache 基金会开发和维护。它主要由 HDFS(分布式文件系统)和 MapReduce(分布式计算框架)两部分组成。Hadoop 的主要特点是高可扩展性...

    VMware7.1虚拟机+Ubuntu12.04搭建hadoop环境记录

    小白搭建hadoop完全分布式环境笔记,步骤详细,原创

    linux搭建hadoop环境

    本文详细介绍了如何在Linux环境下搭建Hadoop环境,包括安装JDK、SSH以及配置Hadoop的核心文件等关键步骤。此外,还提供了一个简单的WordCount示例程序的操作流程。通过这些步骤,你可以成功地在Linux上搭建起一个...

    CDH搭建hadoop环境文档指南

    ### CDH搭建Hadoop环境知识点整理 #### CDH简介 CDH(Cloudera's Distribution Including Apache Hadoop)是Cloudera公司提供的一个发行版,包含了Apache Hadoop的核心组件以及许多额外的工具和增强功能。CDH旨在...

    云计算技术Zstack实践-搭建Hadoop环境.pptx

    在本实践教程中,我们将探讨如何利用云计算技术ZStack搭建Hadoop环境,这对于大数据处理和分析至关重要。Hadoop是一个开源的分布式计算框架,允许在廉价硬件上存储和处理大规模数据集。ZStack作为云计算平台,提供了...

    在ubuntu下搭建hadoop环境搭建__说明文档

    ### 在Ubuntu下搭建Hadoop环境的关键步骤 #### 1. 安装JDK 在Ubuntu系统上搭建Hadoop环境的第一步是安装Java Development Kit (JDK)。这是因为Hadoop是用Java编写的,所以需要JDK来运行Hadoop。 ##### 1.1 下载与...

    搭建hadoop环境.doc

    在本文中,我们将详细介绍如何在 CentOS 6.4 操作系统环境下搭建 Hadoop 2.5.0 全分布式环境。这是一个逐步过程,包括设置多台虚拟机、安装 JDK、配置 Hadoop 环境以及启动集群。 首先,我们需要准备三台能够无密码...

    hadoop环境搭建教程

    在本教程中,我们将详细介绍如何在Windows系统下搭建Hadoop环境,内容涉及虚拟机的安装、基础环境配置以及Hadoop集群的具体搭建步骤。适合初学者跟随本教程一步步进行操作。 首先,搭建Hadoop环境需要一台高性能...

    hadoop环境搭建

    Hadoop 环境搭建 Hadoop 环境搭建是大数据处理和分析的基础,涉及到虚拟机安装、操作系统安装、JDK 安装、SSH 无密码登录、Hadoop 安装等多个方面。在本文中,我们将详细介绍 Hadoop 环境搭建的步骤和方法。 一、...

    在windows上eclipse搭建hadoop环境

    成功在windows的eclipse连接hadoop 具体步骤如下: 1.使用对应版本的Hadoop jar包 ...因为是Hadoop2.6环境,所以后者覆盖前者 解决:创建HADOOP_HOME环境变量,值为解压目录 将 %HADOOP_HOME%/bin添加至Path下。

    hadoop环境搭建,机器部署以及 Linux 常用命令操作指南

    hadoop 环境搭建、机器部署以及 Linux 常用命令操作指南 本指南将指导用户从头开始搭建 Hadoop 环境,包括虚拟机环境的准备、Linux 基础知识、shell 增强大数据集群环境准备、ZooKeeper 介绍及集群操作网络编程等...

    esplise插件搭建Hadoop环境

    本篇将详细介绍如何利用Eclipse插件来搭建Hadoop开发环境。 首先,Eclipse插件的安装是关键步骤。你需要找到适用于Eclipse的Hadoop开发插件,如"Hadoop Toolkit"或"Big Data Tools"。这些插件通常可以从Eclipse ...

    win10下搭建Hadoop环境(jdk+mysql+hadoop+scala+hive+spark) 3.docx

    在Windows 10环境下搭建Hadoop生态系统,包括JDK、MySQL、Hadoop、Scala、Hive和Spark等组件,是一项繁琐但重要的任务,这将为你提供一个基础的大数据处理平台。下面将详细介绍每个组件的安装与配置过程。 **1. JDK...

    从零起步搭建Hadoop单机和伪分布式开发环境图文教程.

    王家林教授通过图文教程详细指导了如何从零开始搭建Hadoop环境,提供了极为详尽的操作步骤和解释,帮助初学者能够快速掌握搭建过程,并理解Hadoop的工作原理。此外,他强调了工欲善其事,必先利其器的理念,说明了在...

    hadoop (多节点)环境搭建

    Hadoop 多节点环境搭建 Hadoop 是一种分布式计算技术,能够处理大量数据。搭建 Hadoop 环境是学习和使用 Hadoop 的基础。本文将详细介绍如何搭建多节点 Hadoop 环境,包括安装 Ubuntu 操作系统、安装 Hadoop 软件、...

    hadoop环境搭建.docx

    在搭建Hadoop环境的过程中,有几个关键步骤需要详细解释。首先,我们需要配置IP地址,这是所有网络服务的基础。在CentOS7系统中,我们通常使用`ifconfig`命令查看网络接口,例如`ens33`。然后,使用`vim`编辑器打开`...

Global site tag (gtag.js) - Google Analytics