- 浏览: 494442 次
- 性别:
- 来自: 广州
文章分类
- 全部博客 (502)
- Java (70)
- Linux (10)
- 数据库 (38)
- 网络 (10)
- WEB (13)
- JSP (4)
- 互联网 (71)
- JavaScript (30)
- Spring MVC (19)
- HTML (13)
- CSS (3)
- AngularJS (18)
- Redis (5)
- Bootstrap CSS (1)
- ZooKeeper (4)
- kafka (6)
- 服务器缓存 (4)
- Storm (1)
- MongoDB (9)
- Spring boot (16)
- log4j (2)
- maven (3)
- nginx (5)
- Tomcat (2)
- Eclipse (4)
- Swagger (2)
- Netty (5)
- Dubbo (1)
- Docker (7)
- Hadoop (12)
- OAuth (1)
- webSocket (4)
- 服务器性能 (7)
- Session共享 (1)
- tieye修改 (1)
- 工作 (1)
- 有用的语录 (0)
- https (2)
- common (5)
- 产品开发管理 (1)
- CDN 工作原理 (1)
- APNS、GCM (1)
- 架构图 (3)
- 功能实现分析 (1)
- JMX (1)
- 服务器相关操作命令 (1)
- img02 (0)
- 服务器环境搭建 (9)
- goodMenuBook (1)
- CEInstantPot (0)
- 有用数据 (1)
- 百度地图WEB API (2)
- 正则表达式 (1)
- 样式例子 (2)
- staticRecipePressureCooker.zip (1)
- jCanvas (1)
- 网站攻击方法原理 (1)
- 架构设计 (3)
- 物联网相关 (3)
- 研发管理 (7)
- 技术需求点 (1)
- 计划 (1)
- spring cloud (11)
- 服务器开发的一些实用工具和方法 (1)
- 每天学到的技术点 (4)
- Guava (1)
- ERP 技术注意要点 (2)
- 微信小程序 (1)
- FineRepor (1)
- 收藏夹 (1)
- temp (5)
- 服务架构 (4)
- 任职资格方案 (0)
- osno_test (1)
- jquery相关 (3)
- mybatis (4)
- ueditor (1)
- VueJS (7)
- python (10)
- Spring EL (1)
- shiro (1)
- 前端开发原理与使用 (7)
- YARN (1)
- Spark (1)
- Hbase (2)
- Pig (2)
- 机器学习 (30)
- matplotlib (1)
- OpenCV (17)
- Hystrix (1)
- 公司 (1)
- miniui (4)
- 前端功能实现 (3)
- 前端插件 (1)
- 钉钉开发 (2)
- Jenkins (1)
- elasticSearch使用 (2)
- 技术规范 (4)
- 技术实现原理 (0)
最新评论
//---------------------------------------------------------------
虚拟机安装(VMware 14.1.2 + ubuntu14.04.4 64X)
http://www.zdfans.com/html/5928.html
https://www.cnblogs.com/huangjianxin/p/6341256.html
//---------------------------------------------------------------
Ctrl+alt+F1可以从图形界面转换到console界面,
Ctrl+alt+F7可以从console界面转换到图形界面
//---------------------------------------------------------------
初始化root密码:
sudo passwd root
切换到root
su root
//---------------------------------------------------------------
ubuntu安装SSH 服务
ssh localhost
如果出现下面提示则表示还没有安装:
ssh: connect to hostlocalhost port 22: Connection refused
安装ssh服务
apt-get update
apt-get install openssh-server
重启后服务自动开启,监听22
//---------------------------------------------------------------
关闭防火墙
查看防火墙状态
sudo ufw status
开启/关闭防火墙 (默认设置是’disable’)
sudo ufw enable|disable
//---------------------------------------------------------------
Ubuntu14.04设置开机可以以root用户身份登录
先初始化root密码
进入到相应目录
cd /usr/share/lightdm/lightdm.conf.d/
编辑 50-ubuntu.conf文件, 增加greeter-show-manual-login=true
关机重启,在开机界面弹出如下图所示,点击登录:
//---------------------------------------------------------------
SSH 以root身份登陆
然后su root切换到root账号,
vim /etc/ssh/sshd_config
注释掉 #PermitRootLogin without-password,添加 PermitRootLogin yes
重启 ssh 服务
sudo service ssh restart
出现如下信息表示成功
ssh stop/waiting
ssh start/running, process 1499
//---------------------------------------------------------------
重启命令 :
1、reboot
2、shutdown -r now 立刻重启
3、shutdown -r 10 过10分钟自动重启
4、shutdown -r 20:35 在时间为20:35时候重启
关机命令 :
1、halt 立刻关机(一般加-p 关闭电源)
2、poweroff 立刻关机
3、shutdown -h now 立刻关机
4、shutdown -h 10 10分钟后自动关机
//---------------------------------------------------------------
//---------------------------------------------------------------
配置静态IP
gedit /etc/network/interfaces
加入
auto eth0
iface eth0 inet static
address 192.168.162.128
netmask 255.255.255.0
gateway 192.168.162.2
重启eth0
sudo ifconfig eth0 down
sudo ifconfig eth0 up
查看网络配置的参数是不是正确
ifconfig
//---------------------------------------------------------------
为虚拟机IP定义一个域名
C:\Windows\System32\drivers\etc\hosts
加上
192.168.162.128 ubuntuHadoop
测试是否配置正确
CMD
ping ubuntuHadoop
//---------------------------------------------------------------
IP分配情况
192.168.162.128 (ubuntuHadoop)
//---------------------------------------------------------------
ubuntu jdk8安装
下载JDK 1.8
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
tar zxvf jdk-8u121-linux-x64.tar.gz -C /usr/local/java/
cd /usr/local/java/
//配置环境变量
vim /etc/profile
//加入如下内容:
#set java environment
export JAVA_HOME=/usr/local/java/jdk1.8.0_121
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:$JRE_HOME/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=${JAVA_HOME}/bin:$PATH
echo $PATH //查看环境变量,/etc/profile要重启,如果不想重启就一句句执行
java -version//查看版本
让/etc/profile文件修改后立即生效 ,可以使用如下命令:
# source /etc/profile
env//查看所有环境变量
//---------------------------------------------------------------
hadoop安装(2.6.5版本是64位的,2.4.1是32位的)
修改主机名和IP的映射关系
vim /etc/hosts
192.168.162.128 ubuntuHadoop
tar -zxvf hadoop-1.1.2.tar.gz -C /home/hadoop/
伪分布式需要修改5个配置文件
第一个:hadoop-env.sh
vim hadoop-env.sh
#第27行
export JAVA_HOME=/home/jdk/java/jdk1.8.0_181
第二个:core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://ubuntuHadoop:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-2.6.5/tmp</value>
</property>
</configuration>
第三个:hdfs-site.xml hdfs-default.xml (3)
<configuration>
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
第四个:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
<!-- mv mapred-site.xml.template mapred-site.xml(从mapred-site.xml.template复制一分改名)-->
<!-- vim mapred-site.xml-->
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
第五个:yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<!-- 指定YARN的老大(ResourceManager)的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>ubuntuHadoop</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
3.2将hadoop添加到环境变量
vim /etc/proflie
//加入如下内容:
#set java environment
export JAVA_HOME=/home/jdk/java/jdk1.8.0_181
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:$JRE_HOME/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
#export PATH=${JAVA_HOME}/bin:$PATH
export HADOOP_HOME=/home/hadoop/hadoop-2.6.5
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
让/etc/profile文件修改后立即生效 ,可以使用如下命令:
# source /etc/profile
env//查看所有环境变量
3.3格式化namenode(是对namenode进行初始化)
hdfs namenode -format (hadoop namenode -format)
3.4启动hadoop
先启动HDFS
sbin/start-dfs.sh
再启动YARN
sbin/start-yarn.sh
也可以以上两个一起启动
start-all.sh
3.5验证是否启动成功fs
使用jps命令验证
出现如下进程代表成功
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode
还可以通过浏览器的方式验证
http://192.168.162.128:50070 (hdfs管理界面)
http://192.168.162.128:50030 (mr管理界面)
http://ubuntuHadoop:50070 (hdfs管理界面)
http://ubuntuHadoop:50030 (mr管理界面)
http://ubuntuHadoop:8088/ (YARN的Web页面)
//---------------------------------------------------------------
//测试HDFS
hadoop dfs //列出帮助信息
//列出所有目录
hdfs dfs -ls /
hadoop dfs -ls /
//创建目录
hadoop fs -mkdir /test001
hadoop fs -mkdir hdfs://ubuntuHadoop:9000/test001
//上传文件
hadoop fs -put /home/hadoop/testFile/test /test001
//删除文件
hadoop fs -rm /test001/test
//查看文件内容
hadoop fs -cat /test001/test
//---------------------------------------------------------------
//---------------------------------------------------------------
//测试MAPREDUCE
hadoop fs -mkdir /input
hadoop fs -put /home/hadoop/testFile/test /input
运行mapreduce的例子
hadoop jar /home/hadoop/hadoop-2.6.5/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar wordcount /input /output
//查看文件内容
hdfs dfs -ls /output
hadoop fs -cat /output/part-r-00000
发表评论
-
大数据相关安装和测试
2019-08-05 22:32 330大数据相关安装和测试 -
hadoop MR运行原理
2018-08-25 11:36 823hadoop MR运行原理 http://s5.51cto. ... -
迭代计算原理
2018-08-21 17:48 1248迭代计算原理 把上一步的计算结果代入这一步的运算中去。。 ... -
hive 原理与安装
2018-08-12 17:39 449hive 原理与安装 hive 是把类似SQL的语 ... -
ssh原理和使用
2018-08-10 21:10 650SSH 远程登陆原理: 使用密码登录,每次都必须输入密码 ... -
hadoop 集群运行的原理与使用
2018-08-09 16:43 844hadoop 集群运行的原理与使用 就是在每台服务器上分别 ... -
spark基础知识
2018-07-25 16:28 237spark基础知识 Apache Spark是一个围绕速度、 ... -
Hadoop应用基础知识
2018-07-25 15:57 458hadoop (1)Hadoop是一个开源 ... -
Hadoop 与 JStrom 的应用场景和区别
2016-11-25 14:19 442Hadoop 与 JStrom 的应用场 ... -
Hadoop MapReduce框架详解
2016-11-25 14:19 465Hadoop MapReduce框架详解 ... -
HDFS的运行原理
2016-09-10 16:16 435HDFS的运行原理 简介 HDF ...
相关推荐
Hadoop课程实验和报告——Hadoop安装实验报告 Hadoop是一个开源的大数据处理框架,由Apache基金会开发和维护。它提供了一种可靠、可扩展、可高效的方法来存储和处理大规模数据。在本实验报告中,我们将介绍Hadoop的...
### Hadoop安装教程:单机与伪分布式配置详解 #### 一、引言 Hadoop是一种开源的大数据处理框架,广泛应用于数据存储和处理场景。本文档将详细介绍如何在Ubuntu 14.04环境下安装配置Hadoop 2.6.0版本,包括单机模式...
### Linux下载、安装、JDK配置、Hadoop安装相关知识点 #### 一、Linux环境准备与安装 **1.1 Linux版本选择** - **CentOS 6.5**:适用于本教程,是一款稳定且广受支持的企业级操作系统。 **1.2 下载Linux** - **...
《Hadoop安装部署详解》 Hadoop,作为Google文件系统(GFS)的开源实现,是分布式计算领域的重要工具,其强大的数据处理能力和高容错性吸引了众多开发者和企业的关注。本文将详细介绍如何在Linux环境下安装和部署...
Hadoop 安装 学习 入门教程 Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, ...
Hadoop安装部署手册是针对初学者的全面指南,旨在帮助用户了解和实践Hadoop的安装与运行。Hadoop是一个开源的分布式计算框架,由Apache基金会开发,主要用于处理和存储大规模数据集。以下是详细的步骤和关键知识点:...
### Hadoop安装与配置详解 #### 一、概述 Hadoop是一个开源软件框架,用于分布式存储和处理大数据集。它能够高效地处理PB级别的数据,适用于海量数据的存储和计算场景。本文将详细介绍如何在多台虚拟机上安装和...
### Hadoop 安装详细指南 #### 一、概述 Hadoop是一款开源软件框架,用于分布式存储和处理大型数据集。本文档详细介绍了如何在CentOS 7环境下部署Hadoop 2.7.3的完全分布式环境。此教程适合希望在多台服务器之间...
### Hadoop安装与配置详解 #### 一、前言 Hadoop是一款开源软件框架,用于分布式存储和处理大型数据集。本文将详细介绍如何在CentOS 5.5环境下搭建一个包含1个NameNode节点和2个DataNode节点的Hadoop集群,并通过一...
Hadoop安装-保你一次成功
【Hadoop安装教程_伪分布式配置_CentOS6.4】 Hadoop是一个开源的分布式计算框架,由Apache基金会开发,主要用于处理和存储大规模数据。本教程针对的是在CentOS 6.4操作系统上安装Hadoop 2.6.0的伪分布式配置,这种...
三、Hadoop安装与部署 1. 环境准备:确保具备多台Linux服务器,安装Java环境,配置SSH无密码登录。 2. 下载Hadoop:从Apache官方网站获取最新稳定版本的Hadoop,解压到服务器。 3. 配置环境变量:在`~/.bashrc`或`~/...
Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程...
hadoop安装和配置,这份PPT讲诉了如何安装和配置Hadoop
Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04 本教程主要讲述了在 Ubuntu 16.04 环境下安装 Hadoop 2.7.1 的步骤,包括单机模式、伪分布式模式和分布式模式三种安装方式。以下是本教程的知识点总结...
二、Hadoop安装 1. 环境准备:确保系统为Linux环境,因为Hadoop通常在Linux服务器上运行。同时,需要安装Java环境,因为Hadoop依赖Java运行。 2. 下载Hadoop:访问Apache官方网站下载最新稳定版的Hadoop二进制包。 3...