reference:
jdk
http://download.oracle.com/otn-pub/java/jdk/8u65-b17/jdk-8u65-linux-x64.tar.gz?AuthParam=1446188886_c05919ec5a7b6e8054319a58e126adaa
hadoop 1.0.1
http://54.231.168.112/hadoop-1.0.1.tar.gz?fid=-adgwP3oJtPRgxCNyw1XMu0Suzp6558DAAAAAB2DWPlGH0HYYZCWOvwFaz810ZB6&mid=666&threshold=150&tid=F6097BEB55BB7E1DD806EB1263BF4469&srcid=119&verno=1
需要ssh server。
1.拷贝hadoop1.0.1.tar.gz到usr下的local文件夹内。
2.解压.gz文件。
3.修改解压后的文件夹为hadoop
4.给用户添加权限,修改/etc/sudoers文件,在root ALL=(ALL)ALL下添加当前用户的ALL=(ALL)ALL
5.修改/users/local/hadoop/conf/hadoop-env.sh,找到#export JAVA_HOME。。。。,删掉#,在=后加上jdk的路径。
6.在/users/local/hadoop/conf/core-site.xml的cofiguration中加上:
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/tmp</value>
</property>
7.在/users/local/hadoop/conf/mapred-site.xml的cofiguration中加上:
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
8.格式化namenode
进入/users/local/hadoop目录,输入命令:
./bin/hadoop namenode -format
9.启动hadoop
进入/users/local/hadoop目录,输入命令:
./bin/start-all.sh
没有问题就成功启动了。
注意点:
1.验证启动hadoop的用户是否有hadoop目录的相关操作权限。
2.jdk安装成功。
分享到:
相关推荐
Linux运维-运维课程MP4频-06-大数据之Hadoop部署-17hadoop单机部署.mp4
Linux运维-运维课程MP4频-06-大数据之Hadoop部署-18hadoop单机部署应用测试.mp4
Linux运维-运维课程MP4频-06-大数据之Hadoop部署-16hadoop单机部署介绍及软件包获
### Linux下Hadoop单机配置知识点详解 #### 一、环境搭建 1. **操作系统**: - 使用的系统为Red Hat Linux 9。 2. **JDK版本**: - 采用JDK 1.6,这符合Hadoop 0.20.1的要求,因为早期版本的Hadoop对JDK版本有...
### Hadoop单机与集群部署知识点 #### 一、Hadoop单机系统版本安装配置 **1.1 配置前的准备工作** - **添加hadoop用户并设置密码:** - 在Linux环境下,首先需要创建一个专用的`hadoop`用户,并为其设置一个安全...
Hadoop-2.7.3 arm平台麒麟操作系统部署,已编译支持snappy lz4压缩 Hadoop国产化部署 Linux version 4.19.90-vhulk2001.1.0.0026.ns7.15.aarch64 (root@mockbuild) (gcc version 4.8.5 20150623 (NeoKylin 4.8.5-36)...
本教程将指导你通过VirtualBox虚拟机软件,在Ubuntu操作系统上进行Hadoop单机部署,逐步深入理解大数据框架的基础架构和组件原理。 首先,我们需要下载虚拟机软件VirtualBox。访问官方网站,根据你的操作系统选择...
Hadoop环境安装设置(最简单的hadoop单机环境部署教程) 安装前设置 SSH设置和密钥生成 安装Java.下载Java (JDK<最新版> - X64 ... 下载Hadoop.下载来自Apache基金会软件,使用下面 ... Hadoop操作模式 在单机模式下...
016 hadoop单机部署介绍及软件包获取-mp4 017 hadoop单机部-mp4 018 hadoop单机部客应用测试mp4 019 hadoop伪分布式介绍及软件准备-mp4 015 hadoop部分类mp4 016 hadoop单相部署介绍及软件包获取-mp4 017 hadoop单机...
大数据实践系列课程中的入门部分。大数据系列课程涉及Hadoop、Hbase、Hive、Spark、Spark SQL、Python数据分析等内容,将会为朋友们详细的做讲解,讲解的视频配有齐全的资料(源码、课程笔记)。
### 单机下Hadoop部署与配置 #### 关于本教程 本文档旨在详细介绍如何在单节点环境下安装、配置并运行Hadoop集群的过程。通过本教程的学习,读者将能够掌握在Ubuntu Linux系统上搭建单机Hadoop集群的基本步骤,...
本文主要介绍了在Ubuntu系统上Hadoop单机版测试环境的搭建过程。
第五课:hadoopwindow单机部署和试用-python验证码识别1
【大数据云计算技术系列 hadoop单机版搭建图文详解】 在当今的数据时代,大数据处理和分析已经成为企业及研究机构的核心需求之一。Apache Hadoop 是一种开源的分布式计算框架,它允许在大规模集群上处理和存储海量...
5. 配置Hadoop单机模式:修改Hadoop配置文件,让Hadoop运行在单机模式。 6. 测试Wordcount示例:运行Hadoop自带的Wordcount示例,验证环境搭建是否成功。 搭建伪分布式开发环境的步骤大致与单机模式相似,但是需要...
至此,Hadoop单机版已经成功安装并运行。通过这个过程,你可以深入了解Hadoop的基本架构和操作,为进一步学习Hadoop分布式集群打下基础。在实际生产环境中,Hadoop通常部署在多台机器上,以实现更高的可用性和性能。...
#### 三、Hadoop单机集群配置步骤详解 ##### 1. 设置固定IP 为了保证网络通信稳定,首先需要设置虚拟机的静态IP。这一步骤中,`DEVICE`的值应与`/etc/udev/rules.d/70-persistent-net.rules`文件中的`NAME`值相对应...
#### 三、Hadoop单机部署 **3.1 目的** 本节旨在介绍如何在单台计算机上部署Hadoop,这通常用于开发和测试环境。 **3.2 先决条件** - **3.2.1 支持平台**:Hadoop可以在多种操作系统上运行,如Linux、Mac OS X和...
2. **Hadoop单机版安装**:为单台机器快速安装Hadoop,适合个人学习。 3. **Hadoop伪分布式安装**:在一台机器上模拟多节点环境,方便测试和调试。 4. **Hadoop完全分布式集群安装**:在多台机器上搭建真正的分布式...
搭建一个完整的Hadoop单机版、HBase单机版以及Pinpoint与SpringBoot的整合环境,需要对大数据处理框架和微服务监控有深入的理解。在这个过程中,我们将涉及到以下几个关键知识点: 1. **Hadoop单机版**:Hadoop是...