- 浏览: 87123 次
- 性别:
- 来自: 郑州
文章分类
- 全部博客 (69)
- java (28)
- linux (6)
- redis (4)
- C# (3)
- 架构 (10)
- java ee (1)
- web (1)
- 操作系统 (7)
- sqlserver (1)
- android (2)
- Hadoop (12)
- 大数据 (21)
- 分布式 事务 消息 (10)
- linux mysql (1)
- 数据库 (3)
- 关于hadoop之bootshell使用 (2)
- 关于hbase---HTableInterfaceFactory (1)
- Spring (3)
- Hbase (5)
- jstorm (10)
- nginx (1)
- 分布式 (1)
- 区块链 (3)
- dubbo (1)
- nacos (1)
- 阿里 (1)
- go (3)
- 缓存 (1)
- memcached (1)
- ssdb (1)
- 源码 (1)
最新评论
-
想个可以用的名字:
楼主,能不能给发一份源代码,1300246542@qqq.co ...
spring+websocket的使用 -
wahahachuang5:
web实时推送技术使用越来越广泛,但是自己开发又太麻烦了,我觉 ...
websocket -
dalan_123:
前提是你用的是spring mvc 才需要加的1、在web.x ...
spring+websocket的使用 -
string2020:
CharacterEncodingFilter这个filter ...
spring+websocket的使用
centos6.6安装hadoop2.6.1操作步骤 大致如下
1.安装JDK
1.1下载上传
jdk-7u79-linux-i586.rpm
1.2安装
rpm -ivh jdk-7u79-linux-i586.rpm
1.3将java添加到环境变量中
vim /etc/profile
#在文件最后添加
export JAVA_HOME=/usr/java/jdk1.7.0_79/
export PATH=$PATH:$JAVA_HOME/bin
#刷新配置
source /etc/profile
2.设置系统环境
2.1修改主机名
vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=itcast01 ###
2.2修改主机名和IP的映射关系
vim /etc/hosts
XXX.XXX.X.XXX itcast01
2.3关闭防火墙
#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off
2.4重启Linux
reboot
3.安装hadoop2.6.1
1,下载Hadoop2.6
2,解压安装
1),复制 hadoop-2.6.1.tar.gz 到/root/hadoop目录下,
然后#tar -xzvf hadoop-2.6.1.tar.gz 解压,解压后目录为:/root/hadoop/hadoop-2.6.1
2),在/root /hadoop/目录下,建立tmp、hdfs/name、hdfs/data目录,执行如下命令
#mkdir /root/hadoop/tmp
#mkdir /root/hadoop/hdfs
#mkdir /root/hadoop/hdfs/data
#mkdir /root/hadoop/hdfs/name
3),设置环境变量,#vi ~/.bash_profile
3.2将hadoop添加到环境变量
vim /etc/proflie
export JAVA_HOME=/usr/java/jdk1.7.0_79/
export HADOOP_HOME=/hadoop01/hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
-----------------------------------------------------------------------
Hadoop配置
进入$HADOOP_HOME/etc/hadoop目录,配置 hadoop-env.sh等。涉及的配置文件如下:
hadoop-2.6.0/etc/hadoop/hadoop-env.sh
hadoop-2.6.0/etc/hadoop/yarn-env.sh
hadoop-2.6.0/etc/hadoop/core-site.xml
hadoop-2.6.0/etc/hadoop/hdfs-site.xml
hadoop-2.6.0/etc/hadoop/mapred-site.xml
hadoop-2.6.0/etc/hadoop/yarn-site.xml
1)配置hadoop-env.sh
# The java implementation to use.
#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/usr/lib/jdk1.6.0_45
2)配置yarn-env.sh
#export JAVA_HOME=/home/y/libexec/jdk1.6.0/
export JAVA_HOME=/usr/lib/jdk1.6.0_45
3)配置core-site.xml
添加如下配置:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
<description>HDFS的URI,文件系统://namenode标识:端口号</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/root/hadoop/tmp</value>
<description>namenode上本地的hadoop临时文件夹</description>
</property>
</configuration>
4),配置hdfs-site.xml
添加如下配置
<configuration>
<!—hdfs-site.xml-->
<property>
<name>dfs.name.dir</name>
<value>/root/hadoop/hdfs/name</value>
<description>namenode上存储hdfs名字空间元数据 </description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/root/hadoop/hdfs/data</value>
<description>datanode上数据块的物理存储位置</description>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
<description>副本个数,配置默认是3,应小于datanode机器数量</description>
</property>
</configuration>
5),配置mapred-site.xml
添加如下配置:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
6),配置yarn-site.xml
添加如下配置:
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>${yarn.resourcemanager.hostname}:8099</value>
</property>
</configuration>
4,Hadoop启动
1)格式化namenode
$ bin/hdfs namenode –format
2)启动NameNode 和 DataNode 守护进程
$ sbin/start-dfs.sh
3)启动ResourceManager 和 NodeManager 守护进程
$ sbin/start-yarn.sh
5,启动验证
1)执行jps命令,有如下进程,说明Hadoop正常启动
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode
4.配置ssh免登陆
1)运行:ssh-keygen -t rsa
2)然后拍两下回车(均选择默认)
3)运行: ssh-copy-id -i /root/.ssh/id_rsa.pub root@10.18.12.22
4)再输入22机器上的root密码
-------------------------------------------
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
验证ssh,# ssh localhost
不需要输入密码即可登录。
5、打开yarn管理页面
在浏览器中输入:http://hostname:8099/ 即可看到YARN的ResourceManager的界面。注意:默认端口是8088,这里面改成8099
1.安装JDK
1.1下载上传
jdk-7u79-linux-i586.rpm
1.2安装
rpm -ivh jdk-7u79-linux-i586.rpm
1.3将java添加到环境变量中
vim /etc/profile
#在文件最后添加
export JAVA_HOME=/usr/java/jdk1.7.0_79/
export PATH=$PATH:$JAVA_HOME/bin
#刷新配置
source /etc/profile
2.设置系统环境
2.1修改主机名
vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=itcast01 ###
2.2修改主机名和IP的映射关系
vim /etc/hosts
XXX.XXX.X.XXX itcast01
2.3关闭防火墙
#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off
2.4重启Linux
reboot
3.安装hadoop2.6.1
1,下载Hadoop2.6
2,解压安装
1),复制 hadoop-2.6.1.tar.gz 到/root/hadoop目录下,
然后#tar -xzvf hadoop-2.6.1.tar.gz 解压,解压后目录为:/root/hadoop/hadoop-2.6.1
2),在/root /hadoop/目录下,建立tmp、hdfs/name、hdfs/data目录,执行如下命令
#mkdir /root/hadoop/tmp
#mkdir /root/hadoop/hdfs
#mkdir /root/hadoop/hdfs/data
#mkdir /root/hadoop/hdfs/name
3),设置环境变量,#vi ~/.bash_profile
3.2将hadoop添加到环境变量
vim /etc/proflie
export JAVA_HOME=/usr/java/jdk1.7.0_79/
export HADOOP_HOME=/hadoop01/hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
-----------------------------------------------------------------------
Hadoop配置
进入$HADOOP_HOME/etc/hadoop目录,配置 hadoop-env.sh等。涉及的配置文件如下:
hadoop-2.6.0/etc/hadoop/hadoop-env.sh
hadoop-2.6.0/etc/hadoop/yarn-env.sh
hadoop-2.6.0/etc/hadoop/core-site.xml
hadoop-2.6.0/etc/hadoop/hdfs-site.xml
hadoop-2.6.0/etc/hadoop/mapred-site.xml
hadoop-2.6.0/etc/hadoop/yarn-site.xml
1)配置hadoop-env.sh
# The java implementation to use.
#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/usr/lib/jdk1.6.0_45
2)配置yarn-env.sh
#export JAVA_HOME=/home/y/libexec/jdk1.6.0/
export JAVA_HOME=/usr/lib/jdk1.6.0_45
3)配置core-site.xml
添加如下配置:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
<description>HDFS的URI,文件系统://namenode标识:端口号</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/root/hadoop/tmp</value>
<description>namenode上本地的hadoop临时文件夹</description>
</property>
</configuration>
4),配置hdfs-site.xml
添加如下配置
<configuration>
<!—hdfs-site.xml-->
<property>
<name>dfs.name.dir</name>
<value>/root/hadoop/hdfs/name</value>
<description>namenode上存储hdfs名字空间元数据 </description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/root/hadoop/hdfs/data</value>
<description>datanode上数据块的物理存储位置</description>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
<description>副本个数,配置默认是3,应小于datanode机器数量</description>
</property>
</configuration>
5),配置mapred-site.xml
添加如下配置:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
6),配置yarn-site.xml
添加如下配置:
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>${yarn.resourcemanager.hostname}:8099</value>
</property>
</configuration>
4,Hadoop启动
1)格式化namenode
$ bin/hdfs namenode –format
2)启动NameNode 和 DataNode 守护进程
$ sbin/start-dfs.sh
3)启动ResourceManager 和 NodeManager 守护进程
$ sbin/start-yarn.sh
5,启动验证
1)执行jps命令,有如下进程,说明Hadoop正常启动
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode
4.配置ssh免登陆
1)运行:ssh-keygen -t rsa
2)然后拍两下回车(均选择默认)
3)运行: ssh-copy-id -i /root/.ssh/id_rsa.pub root@10.18.12.22
4)再输入22机器上的root密码
-------------------------------------------
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
验证ssh,# ssh localhost
不需要输入密码即可登录。
5、打开yarn管理页面
在浏览器中输入:http://hostname:8099/ 即可看到YARN的ResourceManager的界面。注意:默认端口是8088,这里面改成8099
发表评论
-
jstorm源码之TransactionalState
2016-03-21 19:31 888一、作用 主要是通过结合zookeeper,在zookee ... -
jstorm源码之RotatingTransactionalState
2016-03-21 19:29 582一、作用 构建一个Rotationg transacti ... -
jstorm源码之PartitionedTridentSpoutExecutor
2016-03-21 19:28 887一、作用 Partition Spout对应的exec ... -
jstorm源码之 RichSpoutBatchExecutor
2016-03-21 19:28 0一、作用 RichSpoutBatchExecutor是IRi ... -
jstorm源码之RotatingMap
2016-03-21 19:27 877一、作用 基于LinkedList + HashM ... -
jstorm源码之 RichSpoutBatchExecutor
2016-03-21 19:24 615一、作用 RichSpoutBatchExecutor是IRi ... -
jstorm源码之TridentTopology
2016-03-16 18:12 2363在jstorm中对应TridentTopology的源码如下, ... -
jstorm操作命令
2016-03-15 18:04 2738启动ZOOPKEEPER zkServer.sh start ... -
JStorm之Supervisor简介
2016-03-15 18:02 1249一、简介Supervisor是JStorm中的工作节点,类似 ... -
JStorm介绍
2016-03-15 17:56 921一、简介Storm是开源的 ... -
nginx tcp的使用
2015-12-24 12:39 728安装说明 系统环境:CentOS-6.7 软件:nginx-1 ... -
jstorm安装
2015-12-03 19:43 1748关于jstorm单机安装可以 ... -
spring hadoop系列(六)---HbaseSystemException
2015-11-30 09:13 498一、源码 /** * HBase Data Access e ... -
spring hadoop系列(五)---spring hadoop hbase之HbaseSynchronizationManager
2015-11-27 18:16 875一、源码如下 /** * Synchronization m ... -
spring hadoop 系列(三)--spring hadoop hbase HbaseConfigurationFactoryBean
2015-11-27 16:28 1541一、源码分析 /** * 设定Hbase指定Configu ... -
spring hadoop 系列(二)
2015-11-27 15:26 598一、源码分析 /** * * HbaseAccesso ... -
spring hadoop之batch处理(二)
2015-11-24 18:10 1523一、测试 public class MrBatchApp { ... -
spring hadoop之mapreduce batch
2015-11-24 15:51 636一、测试 // 定义hadoop configuration ... -
centos6.7 64位 伪分布 安装 cdh5.4.8 + jdk 8
2015-11-09 00:37 2320一、安装JAVA # 创建JAVA的目录 mkdir -p / ... -
了解 Nginx 的 7 个原因(转)
2015-11-08 21:13 559Nginx (“engine x”)是一个 ...
相关推荐
hadoop-2.6.1-src.tar源码包,欢迎下载,hadoop-2.6.1-src.tar源码包,欢迎下载
编译的eclipse hadoop 2.6.1插件
标题中的“win7编译过的hadoop2.6.1”指的是这个版本的Hadoop是为Windows 7操作系统特别编译的,确保在该平台上能够正常运行。Hadoop是一个开源框架,主要用于分布式存储和计算,它由Apache软件基金会开发。在...
《Hadoop 2.6.1在Windows X64平台上的安装与配置详解》 Hadoop,这个由Apache基金会开发的分布式计算框架,是大数据处理领域的重要工具。本篇文章将详细解析如何在Windows X64平台上安装和配置Hadoop 2.6.1版本,以...
这里我们将详细讨论标题“windows-hadoop2.6.1依赖文件”所涉及的关键知识点,以及如何解决描述中提到的在`bin`文件夹下添加依赖文件的问题。 1. **Hadoop 2.6.1**: 这是Hadoop的一个稳定版本,发布于2015年,它...
### Hadoop 2.6.1 安装教程详解 #### 一、环境准备与配置 **1. JDK 7 的安装** 为了确保Hadoop能够正常运行,首先需要安装Java Development Kit (JDK) 7。以下是具体步骤: - **1.1 新建目录** ```shell mkdir...
8. **验证安装**:通过Hadoop命令行工具测试HDFS和MapReduce功能,如`hadoop fs -ls /`检查HDFS根目录,`hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.1.jar pi`运行Pi估算示例。 除了基本的...
在本案例中,我们讨论的是针对Windows系统的Hadoop 2.6.1的编译版本,这个版本可能经过了特殊优化以适应Windows操作环境。 首先,我们需要理解Hadoop的分发方式。通常,大型的Hadoop发行版会以压缩文件的形式提供,...
windows平台.eclipse的hadoop2.6.1插件 jdk1.6编译的. hadoop是安装包是32位的
这通常包括启动单机模式(本地模式)的Hadoop,运行一些基本的MapReduce示例,以验证编译结果。要启动Hadoop,你需要配置`conf`目录下的配置文件,如`core-site.xml`, `hdfs-site.xml` 和 `mapred-site.xml`。 总的...
【安装Hadoop(单机版和集群)步骤】 在IT领域,Hadoop是一个分布式计算框架,主要用于处理和存储海量数据。本教程将详细介绍如何在Ubuntu 12.10操作系统上安装Hadoop的单机版和集群版。首先,确保你已经在VMware...
这个"无jar版windows平台hadoop-2.6.1.zip"文件是为了方便Windows用户,尤其是初学者快速上手Hadoop而准备的。在这个压缩包中,你将找到一个已经为Windows系统优化过的Hadoop版本,无需额外安装Java运行环境(即jar...
Ubuntu12.04下安装Hadoop2.4.0单机模式详细教程
Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04 本教程主要讲述了在 Ubuntu 16.04 环境下安装 Hadoop 2.7.1 的步骤,包括单机模式、伪分布式模式和分布式模式三种安装方式。以下是本教程的知识点总结...
CDH_Hadoop_单机安装_集群安装_CDH-Hadoop-Install
大数据组件 详细安装步骤(linux配置 hadoop集群搭建 hive flume kafka spark zk 搭建安装)
### Hadoop安装教程:单机与伪分布式配置详解 #### 一、引言 Hadoop是一种开源的大数据处理框架,广泛应用于数据存储和处理场景。本文档将详细介绍如何在Ubuntu 14.04环境下安装配置Hadoop 2.6.0版本,包括单机模式...
Could not locate executabl ....\hadoop-2.2.0\hadoop-2.2.0\bin\winutils.exe in the Hadoop binaries,本地环境缺失winutil.exe,请下载后配置环境变量
3.配置%HADOOP_HOME%\etc\hadoop\hadoop-env.cmd文件中JAVA_HOME为本地jdk安装路径 4.重启电脑 ------------------------- 本分卷由2345好压(Haozip)生成,请使用2345好压来解压。 2345好压下载地址:...