一、设置Linux的静态IP
修改桌面图标修改,或者修改配置文件修改
1、先执行ifconfig,得到网络设备的名称eth0
2、编辑/etc/sysconfig/network-scripts/ifcfg-eth0文件
设置静态ip、dns、ip地址、子网掩码、网关等信息
3、重启网卡:service network restart
最后执行ifconfig命令查看是否修改成功
该步骤需保证虚拟机中的Linux能与客户机在同一网段并且ping通
二、修改主机名
修改当前会话主机名(当前会话生效):hostname 主机名
修改配置文件主机名(永久生效):vi /etc/sysconfig/network
重启机器查看是否修改成功:
其中hadoop为主机名
三、把hostname和ip绑定
修改hosts文件:vi /etc/hosts文件,增加一行
192.168.1.214 hadoop
验证:ping hadoop
四、关闭防火墙:service iptables stop
1、查看防火墙状态:service iptables status
2、关闭防火墙:service iptables stop
3、关闭防火墙的自运行:
a)查看自运行状态:chkconfig --list | grep 'iptables'
[root@hadoop sysconfig]# chkconfig --list | grep 'iptables'
iptables 0:关闭 1:关闭 2:启用 3:启用 4:启用 5:启用 6:关闭
b)关闭:chkconfig iptables off
[root@hadoop sysconfig]# chkconfig iptables off
c)再次查看自运行状态:chkconfig --list | grep 'iptables'
[root@ hadoop sysconfig]# chkconfig --list | grep 'iptables'
iptables 0:关闭 1:关闭 2:关闭 3:关闭 4:关闭 5:关闭 6:关闭
这样下次开机的时候就会不开启防火墙了
五、ssh免密码登陆
1、生成秘钥文件
进入~/.ssh文件夹
cd ~
cd .ssh
注意:
如果没有.ssh文件夹,就使用ssh协议登录一次试试
如果还是没有.ssh文件夹,就自己创建一个。修改.ssh文件夹权限为700
生成秘钥:ssh-keygen -t rsa
查看.ssh文件夹中已经多出了两个文件id_rsa和 id_rsa.pub
[root@hadoop .ssh]# ls
id_rsa id_rsa.pub
2、查看秘钥文件是否生成成功
查看id_rsa.pub中的秘钥文件,反正我是看不懂
3、将id_rsa.pub文件内容放入到authorized_keys中
[root@hadoop .ssh]# cp id_rsa.pub authorized_keys
[root@hadoop .ssh]# ls
authorized_keys id_rsa id_rsa.pub
为什么要复制出一份authorized_keys文件?
答:因为SSH在运行的时候会读取authorized_keys文件
4、验证是否免密码登陆:ssh localhost
使用localhost,不输密码登陆:ssh localhost
[root@hadoop .ssh]# ssh localhost
The authenticity of host 'localhost (127.0.0.1)' can't be established.
RSA key fingerprint is 8c:f4:bf:b5:c4:95:30:7b:1c:d7:cc:f8:69:15:e1:ab.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'localhost' (RSA) to the list of known hosts.
Last login: Sun Apr 5 17:45:25 2015
验证:退出登陆
[root@hadoop ~]#exit
[root@hadoop ~]#exit
再次输入exit的时候将会退出终端
六、安装JDK
需下载 jdk-6u24-linux-i586.bin文件,并cp到usr/local目录下
1、授予执行权限:
chmod u+x jdk-6u24-linux-i586.bin
2、解压缩:./jdk-6u24-linux-i586.bin
[root@hadoop local]# ./jdk-6u24-linux-i586.bin
3、回车,查看jdk1.6.0.24文件夹
4、将jdk1.6.0_24重命名为jdk:mv jdk1.6.0_24/ jdk
5、配置环境变量:编辑/etc/profile文件,增加如下代码
export JAVA_HOME=/usr/local/jdk
export PATH=.:$JAVA_HOME/bin:$PATH
6、使设置立即生效:source /etc/profile
再输入java –version时已经可以看到java版本了
七、伪分布安装hadoop
需下载hadoop-1.1.2.tar.gz文件,并且cp到usr/local目录下
1、解压缩hadoop-1.1.2.tar.gz: tar –zxvf hadoop-1.1.2.tar.gz
为了方便重命名为hadoop:mv hadoop-1.1.2 hadoop
2、添加到环境变量中
编辑/etc/profile文件,增加红色字体文件
export JAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
3、使设置立即生效:source /etc/profile
4、修改hadoop的配置文件:$HADOOP_HOME/conf目录下的配置文件
修改以下4个配置文件
hadoop-env.sh
core-site.xml
hdfs-site.xml
mapred-site.xml
每个配置文件修改内容如下:
hadoop-env.sh修改内容如下:
取消下面一行的注释:注意jdk的安装路径
export JAVA_HOME=/usr/local/jdk/
以下3个配置文件,需要替换<configuration>中内容
core-site.xml修改内容如下:注意:hadoop为主机名称
<configuration> <property> <name>fs.default.name</name> <value>hdfs://hadoop:9000</value> <description>change your own hostname</description> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop/tmp</value> </property> </configuration>
hdfs-site.xml修改内容如下:
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> </configuration>
mapred-site.xml修改内容如下:同样需要注意修改主机名称:hadoop
<configuration> <property> <name>mapred.job.tracker</name> <value>hadoop:9001</value> <description>change your own hostname</description> </property> </configuration>
5、对hadoop进行格式化
命令:hadoop namenode -format
如果格式化过程中出现错误,则删除hadoop/tmp文件夹。重新格式化
6、启动hadoop
启动:start-all.sh
停止:stop-all.sh
共启动5个java进程
7、消除start-all.sh时候的警告信息
出现上面警告信息的原因为:hadoop-config.sh文件中的如下代码
主要是:$HADOOP_HOME_WARN_SUPPRESS变量内容为空
解决办法是设置该变量不为空即可!
修改/etc/profile文件,增加如下代码
export HADOOP_HOME_WARN_SUPPRESS=1
最后使设置生效:source /etc/profile
8、验证是否启动hadoop:
a)通过jps验证是否共5个java进程:jps命令在windows中也有
b) 通过浏览器端口验证
注意:如果想通过主机名在windows下访问。需要修改windows/system32/dirves/etc/host文件
增加如下映射
192.168.1.214 hadoop
浏览器地址输入: http://hadoop:50070/ 或者: http://hadoop:50030/验证
出现如下界面说明hadoop的NameNode正在运行,启动成功。
输入:http://hadoop:50030/
出现如下界面,说明Hadoop的Map/Reduce正在运行,启动成功。
PS:
至此,hadoop的伪分布安装完成。至于上面的[root@hadoop ~]#、[root@fangzheng ~]#主机名称不一致不用在意,因为中间做过改动。安装过程中保证主机名都一致就行。
注意:改动主机名的时候需要改hadoop的2个配置文件中的主机名。
相关推荐
"Hadoop集群安装笔记" Hadoop集群安装笔记是一篇详细的安装指南,旨在帮助新手快速搭建Hadoop学习环境。以下是该笔记中的重要知识点: Hadoop集群安装目录 在安装Hadoop集群之前,需要准备好安装环境。安装环境...
Hadoop学习笔记,自己总结的一些Hadoop学习笔记,比较简单。
Hadoop 学习笔记.md
1. 安装Java:Hadoop依赖Java运行环境,确保系统安装了JDK并设置好环境变量。 2. 下载Hadoop:从Apache官方网站获取最新稳定版Hadoop,根据系统选择合适的版本。 3. 解压Hadoop:将下载的压缩包解压到指定目录,如 `...
Hadoop是一种开源的分布式存储和计算系统,它由Apache软件基金会开发。在初学者的角度,理解Hadoop的组成部分以及其架构...随着技术的深入学习,应逐步掌握其安装部署、性能调优、故障处理以及与其他工具的集成使用。
云计算,hadoop,学习笔记, dd
我学习hadoop的笔记,并在公司做的报告,给大家共享下
hadoop学习笔记,分天学习,原创,亲测,放心使用,没问题。
《Hadoop学习笔记详解》 Hadoop,作为大数据处理领域中的核心框架,是Apache软件基金会下的一个开源项目,主要用于分布式存储和并行计算。本文将根据提供的Hadoop学习笔记,深入解析Hadoop的关键概念和实战技巧,...
Hadoop安装通常包括下载、配置和启动集群的NameNode和DataNode。NameNode是HDFS的主节点,负责管理文件系统的命名空间和客户端对文件的访问。DataNode是从节点,负责存储实际的数据块。Hadoop集群启动时,NameNode...
【HADOOP学习笔记】 Hadoop是Apache基金会开发的一个开源分布式计算框架,是云计算领域的重要组成部分,尤其在大数据处理方面有着广泛的应用。本学习笔记将深入探讨Hadoop的核心组件、架构以及如何搭建云计算平台。...
Hadoop架构分析之集群结构分析,Hadoop架构分析之HDFS架构分析,Hadoop架构分析之NN和DN原生文档解读,Hadoop MapReduce原理之流程图.Hadoop MapReduce原理之核心类Job和ResourceManager解读.Hadoop MapReduce原理之...
Hadoop 3.x 笔记 Hadoop 是一个基于分布式存储的大数据处理框架,本文档将详细介绍 Hadoop 3.x 的配置和底层原理,从零搭建集群以及解决遇到的问题,通过图形化的方式更好地理解 Hadoop 的作用。 一、HDFS 组成 ...
以上步骤是按照学习笔记中提供的信息进行分解的,可能在不同版本的Hadoop中启动命令会有所差别。在学习和安装过程中,查阅官方文档非常重要,以获取最新的安装指南和配置说明。此外,需要注意的是,Hadoop的安装需要...
在本篇"Hadoop学习笔记(三)"中,我们将探讨如何使用Hadoop的MapReduce框架来解决一个常见的问题——从大量数据中找出最大值。这个问题与SQL中的`SELECT MAX(NUMBER) FROM TABLE`查询相似,但在这里我们通过编程...
- **3.2.2 所需软件**:需要安装JDK(Java Development Kit),因为Hadoop是用Java编写的。 - **3.2.3 安装软件**:下载最新的Hadoop二进制包,并解压缩到指定目录。 **3.3 下载** 从Apache官方网站下载最新的...