- 浏览: 60942 次
- 性别:
- 来自: 北京
最新评论
-
scu_cxh:
您好,我在学习hadoop方面的东西,想做一个对task监控的 ...
JobClient应用概述 -
bennie19870116:
看不到图呢...
Eclipse下配置使用Hadoop插件
一、安装准备
1、下载zookeeper-3.3.1,地址:http://www.apache.org/dist/hadoop/zookeeper/zookeeper-3.3.1/
2、JDK版本:jdk-6u20-linux-i586.bin
3、操作系统:Linux s132 2.6.9-78.8AXS2smp #1 SMP Tue Dec 16 02:42:55 EST 2008 x86_64 x86_64 x86_64 GNU/Linux
4、默认前提是安装完hadoop 0.20.2版本:
192.168.3.131 namenode
192.168.3.132 datanode
192.168.3.133 datanode
二、操作步骤(默认在namenode上进行)
1、拷贝以上文件到Linux的“/root”目录下。同时新建目录“/jz”。
2、安装JDK,此步省略...
3、解压zookeeper到/jz目录下。tar -zxvf zookeeper-3.3.1.tar.gz -C /jz
4、将“/jz/zookeeper-3.3.1/conf”目录下zoo_sample.cfg修改名称为“zoo.cfg”
5、打开zoo.cfg文件,修改配置如下:
dataDir=/jz/zookeeper_data
clientPort=2181
initLimit=10
syncLimit=5
tickTime=2000
server.1=192.168.3.131:2888:3888
server.2=192.168.3.132:2888:3888
server.3=192.168.3.133:2888:3888
6、创建dataDir参数指定的目录(这里指的是“/jz/zookeeper_data”),并在目录下创建文件,命名为“myid”。
7、编辑“myid”文件,并在对应的IP的机器上输入对应的编号。如在192.168.3.131上,“myid”文件内容就是1,在192.168.3.132上,内容就是2
8、将 “/jz/zookeeper-3.3.1” 目录分别拷贝到192.168.3.132和192.168.3.133下。同时修改对应的“myid”文件内容。
9、至此,安装步骤结束,接下来启动zookeeper。
三、启动zookeeper
1、在三台机器上分别执行shell脚本。“sh /jz/zookeeper-3.3.1/bin/zkServer.sh start”
2、执行完成之后输入“jps”命令,查看进程如下:
namenode上显示如下:
29844 JobTracker
29583 NameNode
31477 HMaster
29762 SecondaryNameNode
32356 Jps
31376 HQuorumPeer
datanode:
16812 DataNode
17032 HRegionServer
17752 HQuorumPeer
16921 TaskTracker
18461 Jps
3、通过输入“sh /jz/zookeeper-3.3.1/bin/zkServer.sh status”检查是否启动,一般返回内容如下:
leader:
JMX enabled by default
Using config: /jz/zookeeper-3.3.1/bin/../conf/zoo.cfg
Mode: leader
follower:
JMX enabled by default
Using config: /jz/zookeeper-3.3.1/bin/../conf/zoo.cfg
Mode: follower
4、通过在控制台输入命令检查集群zookeeper启动状态。命令如“echo ruok | nc 192.168.3.131 2181”,控制台输出“imok”
四、注意事项
通过shell脚本在每个机器上启动zookeeper的时候,可能会显示错误信息“Cannot open channel to X at election address”。这是由于zoo.cfg文件中指定的其他zookeeper服务找不到所导致。所有机器的zookeeper服务启动之后该错误提示将会消失。
有疑问或是写的不对的地方欢迎大家发邮件交流:dajuezhao@gmail.com
发表评论
-
Hadoop的基准测试工具使用(部分转载)
2011-01-21 11:58 1603一、背景由于以前没有 ... -
分布式集群中的硬件选择
2011-01-21 11:58 1031一、背景最近2个月时间一直在一个阴暗的地下室的角落里工作,主要 ... -
Map/Reduce的内存使用设置
2011-01-21 11:57 1643一、背景今天采用10台 ... -
Hadoop开发常用的InputFormat和OutputFormat(转)
2011-01-21 11:55 1479Hadoop中的Map Reduce框架依 ... -
SecondaryNamenode应用摘记
2010-11-04 15:54 1059一、环境 Hadoop 0.20.2、JDK 1.6、 ... -
Hadoop分布式安装
2010-10-27 09:41 1007一、安装准备1、下载hadoop 0.20.2,地址:http ... -
Map/Reduce使用杂记
2010-10-27 09:40 957一、硬件环境1、CPU:Intel(R) Core(TM)2 ... -
Hadoop中自定义计数器
2010-10-27 09:40 1531一、环境1、hadoop 0.20.22、操作系统Linux二 ... -
Map/Reduce中的Partiotioner使用
2010-10-27 09:39 909一、环境1、hadoop 0.20.22 ... -
Map/Reduce中的Combiner的使用
2010-10-27 09:38 1185一、作用1、combiner最基本是实现本地key的聚合,对m ... -
Hadoop中DBInputFormat和DBOutputFormat使用
2010-10-27 09:38 2432一、背景 为了方便MapReduce直接访问关系型数据 ... -
Hadoop的MultipleOutputFormat使用
2010-10-27 09:37 1684一、背景 Hadoop的MapReduce中多文件输出默 ... -
Map/Reduce中公平调度器配置
2010-10-27 09:37 1537一、背景一般来说,JOB ... -
无法启动Datanode的问题
2010-10-27 09:37 2393一、背景早上由于误删namenode上的hadoop文件夹,在 ... -
Map/Reduce的GroupingComparator排序简述
2010-10-27 09:36 1341一、背景排序对于MR来说是个核心内容,如何做好排序十分的重要, ... -
Map/Reduce中分区和分组的问题
2010-10-27 09:35 1133一、为什么写分区和分组在排序中的作用是不一样的,今天早上看书, ... -
关于Map和Reduce最大的并发数设置
2010-10-27 09:34 1242一、环境1、hadoop 0.20.22、操作系统 Linux ... -
关于集群数据负载均衡
2010-10-27 09:33 886一、环境1、hadoop 0.20.22、操作系统 Linux ... -
Map/Reduce执行流程简述
2010-10-27 09:33 981一、背景最近总在弄MR的东西,所以写点关于这个方面的内容,总结 ... -
Hadoop集群中关于SSH认证权限的问题
2010-10-27 09:32 893今天回北京了,想把在外地做的集群移植回来,需要修改ip地址和一 ...
相关推荐
Apache ZooKeeper 是一款高度可靠的分布式协调服务,源于Google的Chubby概念,并在开源社区得到了广泛的应用和开发。作为Hadoop和Hbase等大数据处理框架的关键组成部分,ZooKeeper旨在解决分布式环境下的诸多复杂...
《Zookeeper服务器管理手册》是IT领域中针对分布式协调服务Zookeeper的一份详细指南,它涵盖了从基础到高级的各种操作和管理知识。Zookeeper是由Apache软件基金会开发的一个开源项目,常用于分布式系统的数据存储、...
1. 安装Java环境:由于Zookeeper是基于Java开发的,所以首先确保系统安装了Java运行环境。 2. 下载Zookeeper:从官方网站获取最新版本的Zookeeper,解压到指定目录。 3. 配置环境变量:在系统环境变量中添加...
### Zookeeper安装手册(Linux) #### 一、概述 Zookeeper是一个分布式的、开放源码的协调服务,用于管理和协调大型分布式系统中的进程。本文档旨在详细介绍如何在Linux环境下安装和配置Zookeeper。 #### 二、...
Zookeeper集群是一个分布式协调服务,常用于管理大型分布式系统中的命名空间、配置管理、领导者选举等任务。在本文中,我们将深入探讨如何搭建一个由三个节点组成的Zookeeper集群,并了解其配置过程。 首先,...
### Storma集群安装手册知识点详解 #### 一、概述 本文档主要介绍如何在多台服务器上部署一个完整的Storm集群,其中包括JDK安装、Zookeeper集群安装以及Storm集群的搭建。整个过程分为三个主要部分:Java环境(JDK)...
Zookeeper是一款开源的分布式协调服务框架,主要用于解决分布式环境中复杂的应用问题,如命名服务、配置管理、集群管理等。本书旨在帮助用户掌握Zookeeper的基本原理及其在实际运维过程中的应用技巧。 #### 二、...
`zookeeperAdmin.pdf` 是 Zookeeper 管理员手册,内容可能包括安装配置、运维监控、故障排查等,对于维护 Zookeeper 集群的人来说至关重要。 `zookeeperInternals.pdf` 深入剖析了 Zookeeper 内部工作原理,可能...
Zookeeper集群搭建手册配置指导 Apache ZooKeeper是一个分布式协调服务,广泛应用于分布式系统,如大数据处理、服务治理、配置管理等。它提供了一种简单、高效且可靠的分布式数据一致性解决方案。在搭建Zookeeper...
**Zookeeper安装手册** Zookeeper是一款分布式协调服务,由Apache软件基金会开发,广泛应用于大数据、分布式计算领域。它提供了一种可靠的方式来进行命名服务、配置管理、集群管理、分布式同步等核心功能。对于软件...
ZooKeeper是一个分布式的,开放源码的分布式应用程序...通过阅读和理解这份手册,你可以更好地掌握Zookeeper的使用,提升你在分布式系统开发中的技能。记得定期更新Zookeeper到最新版本,以获取最新的特性和安全修复。
Zookeeper是一个开源的分布式协调服务,它为分布式应用提供了高性能、高可用性和严格有序的协调机制。Zookeeper的主要设计目标是将那些复杂且容易出错的分布式一致性服务封装起来,为用户提供简单易用的接口。 ...
ZooKeeper 是一个开源的分布式协调服务,广泛应用于大型分布式系统中。下面是 ZooKeeper 的开发使用技巧和常用命令,适合初学者和服务器开发人员。 一、ZooKeeper 的安装和配置 在安装 ZooKeeper 之前,需要安装 ...
这个PDF教程可能还会详细解释Zookeeper的安装、配置、启动和停止过程,以及如何进行故障排查。它可能还包含一些最佳实践和常见问题解答,帮助读者在实际项目中顺利应用Zookeeper。 通过学习和理解这些知识点,...
本手册介绍在多个节点上安装配置HBase分布式系统的详细步骤和知识点。首先,为了保证在多个节点上部署成功,需确保Hadoop环境已经搭建完毕。文档中提到实验环境包含三个结点,主机名为master, slave1和slave2。HBase...
Apache ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它是集群的管理者,监视着分布式应用程序的运行状态,提供诸如命名服务、配置管理、分布式同步、组服务等分布式基础服务。Zookeeper的设计目标...
在大数据领域,Zookeeper和HBase是两个至关重要的组件,它们在分布式系统中扮演着核心角色。本资源包提供的是Zookeeper和HBase在Windows 10环境下的安装指南及对应的二进制安装包,非常适合Hadoop初学者进行学习和...
通过阅读《ZooKeeper安装.docx》和《Hbase安装手册.docx》文档,你可以获得更详细的步骤指导和注意事项。在部署过程中,务必遵循最佳实践,确保系统的稳定运行。在遇到问题时,可以参考社区资源或官方文档寻求解决...
**分布式Web框架CTG-BSS操作手册概览** 在IT领域,分布式Web框架是构建可扩展、高可用性网络服务的重要工具。CTG-BSS分布式Web框架提供了在大规模分布式环境中构建和管理Web服务的能力。本手册V0.4详细介绍了该框架...