`
huangyongxing310
  • 浏览: 496113 次
  • 性别: Icon_minigender_1
  • 来自: 广州
文章分类
社区版块
存档分类
最新评论

hadoop安装

 
阅读更多

//---------------------------------------------------------------
虚拟机安装(VMware 14.1.2 + ubuntu14.04.4 64X)
http://www.zdfans.com/html/5928.html
https://www.cnblogs.com/huangjianxin/p/6341256.html



//---------------------------------------------------------------
Ctrl+alt+F1可以从图形界面转换到console界面,
Ctrl+alt+F7可以从console界面转换到图形界面

//---------------------------------------------------------------
初始化root密码:
sudo passwd root

切换到root
su root


//---------------------------------------------------------------
ubuntu安装SSH 服务
ssh localhost
如果出现下面提示则表示还没有安装:
ssh: connect to hostlocalhost port 22: Connection refused

安装ssh服务
apt-get update
apt-get install openssh-server
重启后服务自动开启,监听22

//---------------------------------------------------------------
关闭防火墙
查看防火墙状态
sudo ufw status
开启/关闭防火墙 (默认设置是’disable’)
sudo ufw enable|disable

//---------------------------------------------------------------
Ubuntu14.04设置开机可以以root用户身份登录
先初始化root密码

进入到相应目录
cd /usr/share/lightdm/lightdm.conf.d/

编辑 50-ubuntu.conf文件, 增加greeter-show-manual-login=true

关机重启,在开机界面弹出如下图所示,点击登录:


//---------------------------------------------------------------
SSH 以root身份登陆
然后su root切换到root账号,

vim /etc/ssh/sshd_config
注释掉 #PermitRootLogin without-password,添加 PermitRootLogin yes

重启 ssh  服务
sudo service ssh restart
出现如下信息表示成功
ssh stop/waiting
ssh start/running, process 1499


//---------------------------------------------------------------


重启命令 :
1、reboot
2、shutdown -r now 立刻重启
3、shutdown -r 10 过10分钟自动重启
4、shutdown -r 20:35 在时间为20:35时候重启

关机命令 :
1、halt   立刻关机(一般加-p 关闭电源)
2、poweroff 立刻关机
3、shutdown -h now 立刻关机
4、shutdown -h 10 10分钟后自动关机


//---------------------------------------------------------------


//---------------------------------------------------------------
配置静态IP
gedit /etc/network/interfaces

加入
auto eth0
iface eth0 inet static
address 192.168.162.128
netmask 255.255.255.0
gateway 192.168.162.2

重启eth0
sudo ifconfig eth0 down
sudo ifconfig eth0 up

查看网络配置的参数是不是正确
ifconfig

//---------------------------------------------------------------
为虚拟机IP定义一个域名
C:\Windows\System32\drivers\etc\hosts

加上
192.168.162.128 ubuntuHadoop

测试是否配置正确
CMD
ping ubuntuHadoop




//---------------------------------------------------------------
IP分配情况
192.168.162.128  (ubuntuHadoop)



//---------------------------------------------------------------
ubuntu jdk8安装

下载JDK 1.8
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

tar zxvf jdk-8u121-linux-x64.tar.gz  -C  /usr/local/java/
cd /usr/local/java/

//配置环境变量
vim  /etc/profile
//加入如下内容:
#set java environment
export JAVA_HOME=/usr/local/java/jdk1.8.0_121
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:$JRE_HOME/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=${JAVA_HOME}/bin:$PATH

echo $PATH //查看环境变量,/etc/profile要重启,如果不想重启就一句句执行


java -version//查看版本


让/etc/profile文件修改后立即生效 ,可以使用如下命令:
# source /etc/profile

env//查看所有环境变量


//---------------------------------------------------------------
hadoop安装(2.6.5版本是64位的,2.4.1是32位的)

修改主机名和IP的映射关系
vim /etc/hosts
192.168.162.128 ubuntuHadoop



tar -zxvf hadoop-1.1.2.tar.gz -C /home/hadoop/

伪分布式需要修改5个配置文件
第一个:hadoop-env.sh
vim hadoop-env.sh
#第27行
export JAVA_HOME=/home/jdk/java/jdk1.8.0_181

第二个:core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://ubuntuHadoop:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-2.6.5/tmp</value>
</property>
</configuration>

第三个:hdfs-site.xml   hdfs-default.xml  (3)
<configuration>
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

第四个:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
<!-- mv mapred-site.xml.template mapred-site.xml(从mapred-site.xml.template复制一分改名)-->
<!-- vim mapred-site.xml-->
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
    </property>

第五个:yarn-site.xml
<configuration>

<!-- Site specific YARN configuration properties -->
<!-- 指定YARN的老大(ResourceManager)的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>ubuntuHadoop</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>


3.2将hadoop添加到环境变量
vim /etc/proflie

//加入如下内容:
#set java environment
export JAVA_HOME=/home/jdk/java/jdk1.8.0_181
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:$JRE_HOME/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
#export PATH=${JAVA_HOME}/bin:$PATH
export HADOOP_HOME=/home/hadoop/hadoop-2.6.5
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

让/etc/profile文件修改后立即生效 ,可以使用如下命令:
# source /etc/profile

env//查看所有环境变量


3.3格式化namenode(是对namenode进行初始化)
hdfs namenode -format (hadoop namenode -format)


3.4启动hadoop
先启动HDFS
sbin/start-dfs.sh

再启动YARN
sbin/start-yarn.sh

也可以以上两个一起启动
start-all.sh

3.5验证是否启动成功fs
使用jps命令验证
出现如下进程代表成功
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode

还可以通过浏览器的方式验证
http://192.168.162.128:50070 (hdfs管理界面)
http://192.168.162.128:50030 (mr管理界面)

http://ubuntuHadoop:50070 (hdfs管理界面)
http://ubuntuHadoop:50030 (mr管理界面)


http://ubuntuHadoop:8088/ (YARN的Web页面)

//---------------------------------------------------------------
//测试HDFS
hadoop dfs //列出帮助信息


//列出所有目录
hdfs dfs -ls /
hadoop dfs -ls /

//创建目录
hadoop fs -mkdir /test001
hadoop fs -mkdir hdfs://ubuntuHadoop:9000/test001

//上传文件
hadoop fs -put /home/hadoop/testFile/test /test001

//删除文件
hadoop fs -rm /test001/test

//查看文件内容
hadoop fs -cat /test001/test
//---------------------------------------------------------------


//---------------------------------------------------------------
//测试MAPREDUCE

hadoop fs -mkdir /input
hadoop fs -put /home/hadoop/testFile/test /input

运行mapreduce的例子
hadoop jar /home/hadoop/hadoop-2.6.5/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar wordcount /input /output

//查看文件内容
hdfs dfs -ls /output

hadoop fs -cat /output/part-r-00000
分享到:
评论

相关推荐

    Hadoop课程实验和报告——Hadoop安装实验报告

    Hadoop课程实验和报告——Hadoop安装实验报告 Hadoop是一个开源的大数据处理框架,由Apache基金会开发和维护。它提供了一种可靠、可扩展、可高效的方法来存储和处理大规模数据。在本实验报告中,我们将介绍Hadoop的...

    Hadoop安装教程_单机_伪分布式配置

    ### Hadoop安装教程:单机与伪分布式配置详解 #### 一、引言 Hadoop是一种开源的大数据处理框架,广泛应用于数据存储和处理场景。本文档将详细介绍如何在Ubuntu 14.04环境下安装配置Hadoop 2.6.0版本,包括单机模式...

    linux下载,安装,JDK配置,hadoop安装

    ### Linux下载、安装、JDK配置、Hadoop安装相关知识点 #### 一、Linux环境准备与安装 **1.1 Linux版本选择** - **CentOS 6.5**:适用于本教程,是一款稳定且广受支持的企业级操作系统。 **1.2 下载Linux** - **...

    HADOOP安装部署文档

    《Hadoop安装部署详解》 Hadoop,作为Google文件系统(GFS)的开源实现,是分布式计算领域的重要工具,其强大的数据处理能力和高容错性吸引了众多开发者和企业的关注。本文将详细介绍如何在Linux环境下安装和部署...

    Hadoop安装学习-入门教程

    Hadoop 安装 学习 入门教程 Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, ...

    hadoop 安装部署手册

    Hadoop安装部署手册是针对初学者的全面指南,旨在帮助用户了解和实践Hadoop的安装与运行。Hadoop是一个开源的分布式计算框架,由Apache基金会开发,主要用于处理和存储大规模数据集。以下是详细的步骤和关键知识点:...

    Hadoop安装和配置

    ### Hadoop安装与配置详解 #### 一、概述 Hadoop是一个开源软件框架,用于分布式存储和处理大数据集。它能够高效地处理PB级别的数据,适用于海量数据的存储和计算场景。本文将详细介绍如何在多台虚拟机上安装和...

    HADOOP安装过程

    ### Hadoop安装过程详解 #### 一、概述 Hadoop是一种能够处理大量数据的大规模分布式存储与计算框架,常用于构建大数据分析平台。本文档基于一位用户的实践经历,详细介绍了如何在虚拟机环境下安装和配置Hadoop的...

    hadoop安装详细文档

    ### Hadoop 安装详细指南 #### 一、概述 Hadoop是一款开源软件框架,用于分布式存储和处理大型数据集。本文档详细介绍了如何在CentOS 7环境下部署Hadoop 2.7.3的完全分布式环境。此教程适合希望在多台服务器之间...

    最详尽的Hadoop安装过程

    ### Hadoop安装与配置详解 #### 一、前言 Hadoop是一款开源软件框架,用于分布式存储和处理大型数据集。本文将详细介绍如何在CentOS 5.5环境下搭建一个包含1个NameNode节点和2个DataNode节点的Hadoop集群,并通过一...

    Hadoop安装-保你一次成功.pdf

    Hadoop安装-保你一次成功

    Hadoop安装教程_伪分布式配置_CentOS6.4_Hadoop2.61

    【Hadoop安装教程_伪分布式配置_CentOS6.4】 Hadoop是一个开源的分布式计算框架,由Apache基金会开发,主要用于处理和存储大规模数据。本教程针对的是在CentOS 6.4操作系统上安装Hadoop 2.6.0的伪分布式配置,这种...

    Hadoop安装部署及教学

    三、Hadoop安装与部署 1. 环境准备:确保具备多台Linux服务器,安装Java环境,配置SSH无密码登录。 2. 下载Hadoop:从Apache官方网站获取最新稳定版本的Hadoop,解压到服务器。 3. 配置环境变量:在`~/.bashrc`或`~/...

    Hadoop安装使用教程0基础!!!易懂!!!

    Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程...

    hadoop安装和配置

    hadoop安装和配置,这份PPT讲诉了如何安装和配置Hadoop

    Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04

    Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04 本教程主要讲述了在 Ubuntu 16.04 环境下安装 Hadoop 2.7.1 的步骤,包括单机模式、伪分布式模式和分布式模式三种安装方式。以下是本教程的知识点总结...

    实验2-Hadoop安装与HDFS基础实践.nbn.zip

    二、Hadoop安装 1. 环境准备:确保系统为Linux环境,因为Hadoop通常在Linux服务器上运行。同时,需要安装Java环境,因为Hadoop依赖Java运行。 2. 下载Hadoop:访问Apache官方网站下载最新稳定版的Hadoop二进制包。 3...

Global site tag (gtag.js) - Google Analytics