storm的用途这里不做过多的讲解,网上资料一大把,这里只讲安装:strom的按装分为两部分,首先安装相关的依赖。
storm的安装主要以来的其他组件有:
1.java
2.zookeeper
3.ZeroMQ 2.1.7
4.JZMQ
5.python
6.unzip
可以确认的是1,2,3,4是必须的,unzip只是在解压的jzmq的之后用了在storm实际的运行中有没有用到目前还不确定,Python在目前整个安装过程中确实是没有用到的。我的安装顺序是1-2-6-3-4-5.因为要解压jzmq所以现装了unzip
安装java:
1.java安装比较简单:tar -xvf [java包]
2.在/etc/profile加入classpath
安装zookeeper:
1.在一台机器上解压后进行如下配置:
在zookeeper-xx/conf/zoo.cfg中进行如下配置:
tickTime=2000
dataDir=/var/zookeeper/
clientPort=2181
initLimit=5
syncLimit=2
server.1=ip1:2888:3888
server.2=ip2:2888:3888
server.3=ip3:2888:3888
2.使用scp命令分发到其它两台机子上
3.在每台机子的/var/zookeeper/下创建myid文件,内容为serve编号。例如server.1的myid文件内容是:1。
安装ZeroMQ 2.1.7:
tar -xzf zeromq-2.1.7.tar.gz
cd zeromq-2.1.7
./configure
make
sudo make install
在安装过程中可能会error uuid库找不到。
解决:redhat下:yum install libuuid-devel。
centos5.9下:yum install uuid*
yum install e2fsprogs*
yum install libuuid*
安装JZMQ:
1.保证ZeroMQ成功
2. unzip jzmq.zip
cd jzmq
./autogen.sh
./configure
make
sudo make install
安装storm:
1.unzip storm-0.8.1.zip
2.修改storm.yaml配置文件(storm-x.x.x/conf)
A.storm.zookeeper.servers:
- ip1;
- ip2;
- ip3;
如果Zookeeper集群使用的不是默认端口,那么还需要storm.zookeeper.port选项
B.storm.local.dir:/data/storm/workdir
C.java.library.path: Storm使用的本地库(ZMQ和JZMQ)加载路径,默认为"/usr/local/lib:/opt/local/lib:/usr/lib",一般来说ZMQ和JZMQ默认安装在/usr/local/lib 下,因此不需要配置即可。
D.nimbus.host: ip1(ip1为nimbus节点)
E.supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
同样是在一台机子上配置好,用scp分发到其他2台机子上
启动storm:
Nimbus: 在Storm主控节点上运行"bin/storm nimbus >/dev/null 2>&1 &"启动Nimbus后台程序,并放到后台执行;
Supervisor: 在Storm各个工作节点上运行"bin/storm supervisor >/dev/null 2>&1 &"启动Supervisor后台程序,并放到后台执行;
UI: 在Storm主控节点上运行"bin/storm ui >/dev/null 2>&1 &"启动UI后台程序,并放到后台执行,
启动后可以通过http://{nimbus host}:8080观察集群的worker资源使用情况、Topologies的运行状态等信息。
PS:Nimbus和UI应该在同一台机子上
参考:
http://xumingming.sinaapp.com/179/twitter-storm-%E6%90%AD%E5%BB%BAstorm%E9%9B%86%E7%BE%A4/
http://www.cnblogs.com/panfeng412/archive/2012/11/30/how-to-install-and-deploy-storm-cluster.html
http://blog.sina.com.cn/s/blog_8ae7b3fe010124mr.html
分享到:
相关推荐
strom介绍,包括出现背景,应用场景,环境搭建,基本架构。
本文将详细介绍如何在Linux环境下从零开始搭建一个Storm集群。 #### 二、准备阶段 在开始搭建之前,确保具备以下条件: 1. **Linux虚拟机**:至少三台虚拟机,分别作为Nimbus节点、Supervisor节点以及工作节点。 2....
【描述】:“strom hadoop,批量下载】storm环境搭建v1等.zip批量下载】storm环境搭建v1等.zip”虽然重复,但可以推测内容可能不仅限于Storm本身,还可能涉及到Hadoop的集成,因为提到了“hadoop”。这暗示了这个...
在 Strom 集群的搭建过程中,首先需要安装 JDK,因为 Storm 的运行依赖 Java 环境。接着是安装 ZooKeeper,ZooKeeper 的配置文件(如 `/etc/profile`)需要添加环境变量,并设置 ZooKeeper 的服务器地址和端口。随后...
书中会详细介绍如何利用Storm搭建实时数据处理平台,包括拓扑结构的设计、数据流的定义以及容错机制的实现。 首先,书中会介绍大数据的基本概念,包括数据量、数据类型、数据价值以及大数据处理的挑战。这有助于...
Apache Storm 是一个强大的流式处理框架,通过上述步骤,我们可以成功安装并配置 Zookeeper 和 Storm,从而搭建起一个基本可用的 Storm 集群。对于初学者来说,理解这些基础配置和概念是非常重要的,这有助于更好地...
视频详细讲解,需要的小伙伴自行百度网盘下载,链接见附件,永久有效。 Storm视频教程通过含3个Storm完整项目,均为企业实际项目,其中一个是完全由Storm Trident开发。...让Hadoop平台环境搭建和维护都变得轻而易举。
搭建你的开发环境并测试Strom集群。 处理数据流,包括基于规则的处理流程。 构建分布式远程过程调用。 交付基于多语言实现的Storm Topology,包括Java、Clojure、Ruby和C++。 将Storm与Cassandra、Hadoop集成。 使用...
搭建Storm开发环境需要安装Java运行环境和Apache Storm软件包,并配置相应的环境变量。此外,还需要搭建Zookeeper集群来协调Storm集群的工作。 除了书籍《Getting Started with Storm》之外,还有一些社区和网站...
从提供的文件内容中,我们可以提取出以下关于Hadoop 2.5的知识点: 1. Hadoop版本更新:文档中提到了...同时,文档还关注了开发环境的搭建、API的使用以及社区资源的利用,为Hadoop的学习和应用提供了全方位的支持。
除了上述内容,搭建Nexus服务器的目的还包括提高软件构建的效率,由于每个开发机不必都从远程中央仓库下载依赖,可以显著减少网络带宽的使用和下载时间,从而加快构建过程,提升开发效率。此外,私有仓库还能有效...
Storm 常用组件和编程 API 是分布式集群技术的基础,Topology、Spout、Bolt、Storm 分组策略(stream groupings)、Storm 项目 maven 环境搭建、使用 Strom 开发一个 WordCount 例子、Storm 程序本地模式 debug、...
以下是搭建Storm集群的详细步骤: 1. **设置Zookeeper集群**: Storm依赖Zookeeper进行集群协调,确保高可用性和容错性。Zookeeper集群需要正确配置,包括设置适当的副本数量(通常为奇数个节点以避免投票冲突)和...
- **Storm集群搭建**:搭建完整的Storm集群环境。 - **Storm配置文件配置项讲解**:详解Storm配置文件中的各项参数。 - **集群搭建常见问题解决**:解决集群搭建过程中可能遇到的问题。 - **Storm常用组件和编程API*...
此外,课程还涵盖了Hadoop集群的配置,确保学习者能理解如何搭建和管理Hadoop环境。 Hive是一个基于Hadoop的数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供SQL类查询功能。课程详细介绍了Hive的...
1. **Hadoop简介与安装入门**:这部分内容介绍了Hadoop的基本概念,包括其设计理念和架构,以及如何在系统上安装和配置Hadoop环境。对于初学者,这是理解Hadoop的基础。 2. **MapReduce**:MapReduce是Hadoop的主要...
2. 熟悉并不限于大数据生态圈 Hadoop、Strom、Spark、HDFS、Kafka、Zookeeper、Hbase、Redis、ElasticSearch、fastdfs 等相关基础组件的框架知识和运行原理。 3. 熟悉软硬件设备,网络原理,有丰富的大数据平台 CDH...
通过理解和使用这个压缩包,开发者可以搭建自己的实时数据处理系统,实现高效、可靠的流处理应用。无论是大数据分析、实时监控还是复杂事件处理,Storm 都能作为一个强大而灵活的工具,帮助企业或组织应对各种实时...