JStorm2.1.1集群的安装和使用
Storm是一个免费开源、分布式、高容错的实时计算系统,而JStorm是阿里巴巴开源的基于Storm采用Java重写的一套分布式实时流计算框架,在性能和支持的集群规模上做了较大优化。
官方地址:https://github.com/alibaba/jstorm
相关文章:Storm深入理解
相关项目:Leek——简易版实时智能选股平台
JStorm集群的安装:
1、Zookeeper集群的安装
2、JStorm的安装(安装前需先安装JDK和Python)
下载JStorm
wget https://github.com/alibaba/jstorm/wiki/Downloads
在服务器A和服务器B上:
unzip jstorm-2.1.1
vim /etc/profile
#profile中添加如下内容:
export JSTORM_HOME=/XXXXX/XXXX
export PATH=$PATH:$JSTORM_HOME/bin
在服务器A上配置:
vim /home/jstorm/jstorm-2.1.1/conf/storm.yaml
storm.zookeeper.servers:
- "192.168.xx.100"
- "192.168.xx.101"
- "192.168.xx.102"
nimbus.host: "192.168.xx.100"
storm.zookeeper.root: "/jstorm"
storm.local.dir: "%JSTORM_HOME%/data"
supervisor.slots.ports:
- 6800
- 6801
- 6802
- 6803
在服务器B上配置:
vim /home/jstorm/jstorm-2.1.1/conf/storm.yaml
storm.zookeeper.servers:
- "192.168.xx.100"
- "192.168.xx.101"
- "192.168.xx.102"
nimbus.host: "192.168.xx.100"
storm.zookeeper.root: "/jstorm"
storm.local.dir: "%JSTORM_HOME%/data"
supervisor.slots.ports:
- 6800
- 6801
- 6802
- 6803
3、在各个服务器提交jar的节点上执行:
mkdir ~/.jstorm
cp -f $JSTORM_HOME/conf/storm.yaml ~/.jstorm
4、启动JStorm
在服务器A上启动:
nohup jstorm nimbus &
nohup jstorm supervisor &
#查看启动情况
jps
在服务器B上启动:
nohup jstorm supervisor &
#查看启动情况
jps
在服务器A上部署TOPOLOGY
jstorm jar Leek-1.0-SNAPSHOT.jar com.yingjun.stock.topology.StockStategyTopology xxx
注:TOPOLOGY的写法可参考项目:Leek——简易版实时智能选股平台
5、安装JStorm Web UI
mkdir ~/.jstorm
cp -f $JSTORM_HOME/conf/storm.yaml ~/.jstorm
#下载tomcat 7.x (以apache-tomcat-7.0.37 为例)
tar -xzf apache-tomcat-7.0.37.tar.gz
cd apache-tomcat-7.0.37
cd webapps
cp $JSTORM_HOME/jstorm-ui-0.9.6.3.war ./
../bin./startup.sh
访问地址:http://192.168.xx.xxx:8080/jstorm-ui-2.1.1/
相关推荐
JStorm 2.1.1是其一个重要的版本,此版本的API为开发者提供了丰富的功能和便利的开发接口。本文将深入探讨JStorm 2.1.1的核心API,以及如何利用这些API构建实时处理应用。 1. **Topology构建** JStorm的核心在于...
### JStorm集群安装知识点 #### 一、软件需求与集群规划 **软件需求:** - **虚拟化平台:** VMware Workstation 11.0.0 - **远程登录工具:** SecureCRT Portable - **文件传输工具:** FlashFXP - **应用软件:**...
jstorm框架default.yaml参数配置项列表详解
Leek — 韭菜的自我救赎 ...相关部署ZooKeeper 高可用集群的安装及配置Kafka 集群的部署与测试JStorm2.1.1集群的安装和使用Flume 集群负载均衡(待完善)架构图:Storm计算节点:Esper计算模型: 标签:Leek
jstorm-core-2.1.1.jar,maven中央仓库中没有,从官网上下载的
Jstorm 、zookeeper集群部署详细操作步骤 Centos7系统
编写Topology代码,创建Spout和Bolt,定义Stream Grouping,然后使用`LocalCluster`进行本地测试,验证无误后,使用`StormSubmitter`提交到远程集群。 **5. 简单示例** 以下是一个简单的WordCount Topology示例: ...
**标题解析:** ...8. **最佳实践**:分享一些使用JStorm时的注意事项和最佳实践,如资源管理、性能调优等。 通过这个入门示例,学习者将能够对JStorm有基本的理解,并能动手实践,进一步掌握实时流处理的精髓。
8. **监控与优化**:在实际部署中,需要关注性能指标,如处理速度、内存使用和错误率。根据需求调整JStorm和Kafka的配置,优化数据处理流程。 总的来说,"jstorm集成kafka代码实例"是一个实践性的教程,帮助开发者...
1. **安装与配置**:首先确保已经安装了JStorm和Kafka,并配置好相应的环境变量。对于Kafka,你需要设置Zookeeper地址,对于JStorm,你需要配置nimbus和supervisor节点。 2. **创建Kafka Topic**:在Kafka中,数据...
2. **搭建JStorm集群**:根据官方文档,部署Nimbus、Supervisor和Zookeeper节点。 3. **编写Topology**:使用Java或Python编写Spout和Bolt,定义数据处理逻辑。 4. **提交Topology**:通过JStorm提供的命令行工具...
《JStorm阿里巴巴官方文档》是全面了解和学习阿里巴巴开源分布式计算框架JStorm的重要参考资料。JStorm是由阿里巴巴集团研发的一款高效、稳定、易用的实时计算系统,它在处理大规模数据流方面表现出色,广泛应用于...
1. **内存隔离缺乏**:由于使用Python编写作业,JStorm集群缺乏内存隔离,导致作业间的资源冲突,例如单个工作进程可能占用大量内存,对整体集群稳定性造成影响。 2. **资源管理和预算混乱**:不同业务团队之间的...
11. **API与开发工具**:掌握JStorm的Java API,以及使用IDE如Eclipse或IntelliJ IDEA进行开发和调试的方法。 12. **扩展性**:理解JStorm如何与其他技术如Hadoop、HBase、Elasticsearch等结合,实现大数据生态中的...
4. **Zookeeper**:JStorm使用Zookeeper作为集群协调器,管理Topology的部署和状态,保证系统的高可用性和一致性。 5. **Nimbus**:Nimbus是JStorm的主控节点,负责分配任务给Worker节点,监控Topologies的状态,并...
3. **优化的RPC**:JStorm使用Netty+Disruptor作为底层RPC,确保发送和接收速度匹配,解决了Storm中Zeromq堆外内存导致的OS内存不足和Netty引发的OOM问题。 4. **数据流稳定性**:JStorm改进了任务重平衡机制,避免...
JStorm是参考storm的实时流式计算框架,在网络IO、线程模型、资源调度、可用性及稳定性上做了持续改进,已被越来越多企业使用。经过4年发展,阿里巴巴JStorm集群已经成为世界上最大的集群之一,基于JStorm的应用数量...
4. 易用性:JStorm提供了丰富的API和工具,简化了Topology的开发和管理,同时具备强大的监控和故障恢复功能。 三、JStorm的架构与工作流程 JStorm的架构主要由Supervisor、Nimbus、Zookeeper和Worker四部分组成: ...
jstorm框架介绍,包含架构图、jstorm安装部署以及配置、如何在jstorm框架里写业务代码。
9. 性能优化:jstorm提供了性能改进功能,例如平滑关闭、自定义内存使用和不同的Netty策略等,这些都是为了提升处理性能和稳定性。 通过分析封仲淹的演讲内容,我们可以看到jstorm不仅继承了Apache Storm的优点,...