`

Hadoop环境搭建记录

 
阅读更多

实验中可以参考的文章:

http://blog.sina.com.cn/s/blog_6524b4b50100lobs.html

 

准备开始学习下Hadoop,所以要搭下实验环境。

操作系统:CentOS6 (两台windows上的linux虚拟机)

 

具体步骤如下:

1. 安装CentOS(过程略)

 

2. 安装JDK 6

A) sun官网下载JDK6

http://www.oracle.com/technetwork/java/javase/downloads/jdk-6u27-download-440405.html

上传到/usr/local/setup files(新建的文件夹)

 

B)命令行安装jdk:

 ./jdk-6u16-linux-i586-rpm.bin 

 

C) 设置环境变量

 jdk默认被安装在/usr/java/jdk1.6.0_16目录下 

   vi /etc/profile 在末尾添加 

JAVA_HOME=/usr/java/jdk1.6.0_27
export JAVA_HOME 
PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin 
export PATH 
   CLASSPATH=$CLASSPATH:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/jre/lib 
export CLASSPATH

 
3. 检查SSH是否安装

 

rpm -p sshd

 

 

 

4.  下载Hadoop Common稳定的版本

下载文件为:hadoop-0.20.204.0.tar.gz
解压缩 tar zxvf hadoop-0.20.204.0.tar.gz 
放到/usr/hadoop

5. hadoop/conf/hadoop-env.sh最后添加

export JAVA_HOME=/usr/java/jdk1.6.0_27
HADOOP_HOME=/usr/hadoop
export HADOOP_HOME
 

6./etc/profile后面添加

 

HADOOP_HOME=/usr/hadoop
export HADOOP_HOME
 

 

 

 

分享到:
评论

相关推荐

    VMware7.1虚拟机+Ubuntu12.04搭建hadoop环境记录

    小白搭建hadoop完全分布式环境笔记,步骤详细,原创

    hadoopHA搭建资源包

    总的来说,这个资源包提供了一套完整的Hadoop HA搭建基础,涵盖了从环境准备到服务配置的所有关键组件。通过详细的配置和测试,你可以构建一个可靠的Hadoop集群,为大数据处理提供稳定的平台。在实际操作中,还需要...

    第7集-Hadoop环境搭建 - linux(centos7) - 安装配置hive2.1.1.pdf

    ### Hadoop环境搭建之Hive 2.1.1配置详解 #### 一、概述 在构建大数据处理环境时,Apache Hive 是一个重要的组件,它提供了SQL查询功能,使用户能够方便地对存储在Hadoop文件系统(HDFS)中的大规模数据集进行数据...

    hadoop集群搭建文档资料

    提供的文档资料应详细记录了每一步的操作,帮助读者理解和实践Hadoop集群的搭建。通过这份文档,你可以学习到Hadoop集群的全貌,理解分布式计算的核心概念,并掌握搭建和管理Hadoop集群的实际技能。

    Hadoop集群搭建详细简明教程

    配置是搭建Hadoop集群的关键步骤。在core-site.xml中设置HDFS的默认FS,以及临时目录等参数;在hdfs-site.xml中配置NameNode和DataNode,如副本数量、数据块大小等;在mapred-site.xml中指定MapReduce的运行模式,...

    hadoop环境搭建.jpg

    例如,在大型互联网公司中,每天都会产生海量的日志数据,包括用户访问记录、系统运行日志等。Hadoop可以被用来对这些日志数据进行实时分析、监控和报告生成,帮助企业做出合理的决策。 总之,Hadoop是一个强大而...

    hadoop配置

    【描述】:虽然描述信息为“NULL”,但从提供的博文链接可以推测,该资源可能涵盖了作者在实践Hadoop过程中的一些经验分享,包括但不限于环境搭建、优化技巧以及可能遇到的问题和解决方案。博文...

    Hadoop集群配置文件备份

    - **使用版本控制系统**:如Git,可以更好地管理配置文件的版本,记录每次更改,并方便回滚。 - **加密备份**:为了保护敏感信息,备份文件应进行加密存储。 - **异地备份**:在不同地理位置存储备份,以抵御局部...

    spark1.3与hadoop2.6环境配置

    Spark 1.3 和 Hadoop 2.6 环境配置是大数据处理领域中的重要环节,它们共同构建了一个高效、可扩展的数据处理框架。Spark 是一个快速、通用且可扩展的大数据处理引擎,而 Hadoop 则是分布式存储和计算的基础平台。在...

    伪分布式hadoop的配置信息

    ### 伪分布式Hadoop的配置信息 在深入探讨伪分布式Hadoop配置之前,我们先来了解下何为伪分布式模式。...通过上述步骤,我们可以构建一个基本的伪分布式Hadoop环境,并在此基础上进一步扩展和优化配置。

    基于Ubuntu的Hadoop简易集群安装与配置

    ### 基于Ubuntu的Hadoop简易集群安装与配置知识点详解 #### 一、绪论 ##### 1.1 研究背景及意义 在当前信息化社会中,随着科技的发展与进步,尤其是互联网技术的普及,我们正处在一个数据爆炸的时代。各行各业都在...

    手动搭建hadoop高可用

    3. **配置Hadoop环境变量**: ```bash [root@namenode ~]# vim /etc/profile ``` 在此文件中添加Hadoop的环境变量,例如`HADOOP_HOME`等,并使更改生效。 ```bash [root@namenode ~]# source /etc/profile ``...

    hadoop高可用安装.docx

    本文档记录了一次采用Zookeeper-3.6.1+Hadoop-3.2.1高可用环境搭建过程,涵盖了服务器规划、安装JAVA环境、安装Hadoop和Zookeeper、关闭系统防火墙、修改主机名、添加主机解析、设置免密登录、设置目录路径和配置...

    hadoop配置文件详解

    核心配置文件core-site.xml涉及整个Hadoop环境的设置,而hdfs-site.xml和mapred-site.xml则针对Hadoop分布式文件系统(HDFS)和MapReduce计算框架进行局部配置。 core-site.xml作为全局配置文件,定义了Hadoop集群的...

    hadoop&spark环境配置.pdf

    - 配置Hadoop环境变量。 - 编辑配置文件(`core-site.xml`, `hdfs-site.xml` 等)以适应本地模式。 #### 四、Hadoop 伪分布模式搭建 - **步骤**: - 在单台机器上安装和配置Hadoop。 - 设置SSH无密码登录。 - ...

    Hadoop2.6集群环境搭建,原来4G内存也能任性一次

    #### 四、Hadoop环境搭建 ##### 4.1 安装JDK - 下载JDK安装包,并解压到指定目录。 - 设置环境变量JAVA_HOME。 ##### 4.2 安装Hadoop - 下载Hadoop安装包,并解压到指定目录。 - 配置Hadoop的核心配置文件(core-...

    hadoop完全分布式搭建.pdf

    在搭建Hadoop完全分布式环境时,我们需要关注一系列配置和组件,这些内容对于理解Hadoop的运作至关重要。Hadoop是一个开源的分布式计算框架,主要由HDFS(Hadoop Distributed File System)和MapReduce两大部分组成...

    hadoop配置.zip

    本压缩包文件"hadop配置.zip"提供了一个简单的Hadoop高可用性(HA)配置参考,特别针对NameNode的迁移。以下是对配置过程的详细说明: 一、Hadoop HA概述 Hadoop HA主要通过在两个不同的节点上设置NameNode的热备来...

    搭建hadoop-1.2.1环境

    搭建Hadoop-1.2.1环境是一项关键任务,它涉及到多步骤的配置和安装,以便在集群中运行分布式计算任务。在这个过程中,我们将使用VMware9和Debian7作为基础操作系统,创建三台虚拟机(vmDebA、vmDebB、vmDebC)来构建...

    使用hadoop实现WordCount实验报告.docx

    - **配置Hadoop环境变量**:编辑`hadoop-env.cmd`文件设置JAVA_HOME。 - **创建data文件夹**:创建namenode和datanode子文件夹。 - **修改配置文件**:更新`hdfs-site.xml`、`mapred-site.xml`和`yarn-site.xml`...

Global site tag (gtag.js) - Google Analytics