`
wuneng94zui
  • 浏览: 34920 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

jstorm集群部署

阅读更多

Install JStorm

Take jstorm-0.9.6.zip as an example

unzip jstorm-0.9.6.1.zip
vi ~/.bashrc
export JSTORM_HOME=/XXXXX/XXXX
export PATH=$PATH:$JSTORM_HOME/bin

vi $JSTORM_HOME/conf/storm.yaml 

       storm.zookeeper.servers:

     - "192.168.144.79"

     - "192.168.145.138"

     - "192.168.145.129"

     nimbus.host: "192.168.144.79"

     storm.local.dir: "%JSTORM_HOME%/data"

     supervisor.slots.ports.base: 6800

     supervisor.slots.port.cpu.weight: 1.2

     supervisor.slots.port.mem.weight: 0.7

     supervisor.slots.ports: null

#mkdir ~/.jstorm

#cp –f $JSTORM_HOME/conf/storm.yaml ~/.jstorm

 

Install JStorm Web UI

Note: Web UI can run on the node different from the Nimbus node.

Download tomcat 7.x (take apache-tomcat-7.0.37 as an example)

mkdir ~/.jstorm 
cp -f $JSTORM_HOME/conf/storm.yaml ~/.jstorm
tar -xzf apache-tomcat-7.0.37.tar.gz
cd apache-tomcat-7.0.37
cd webapps
cp $JSTORM_HOME/jstorm-ui-0.9.6.1.war ./
mv ROOT ROOT.old
ln -s jstorm-ui-0.6.1 ROOT
cd ../bin
./startup.sh

 

Start JStorm

 $JSTORM_HOME/bin/start.sh

2
0
分享到:
评论

相关推荐

    jstorm安装部署wzx.docx

    Jstorm 、zookeeper集群部署详细操作步骤 Centos7系统

    Jstorm集群安装文档

    ### JStorm集群安装知识点 #### 一、软件需求与集群规划 **软件需求:** - **虚拟化平台:** VMware Workstation 11.0.0 ...通过以上步骤,可以成功地部署一个功能完善的JStorm集群,用于处理实时数据流任务。

    jstorm集成kafka代码实例

    这可以通过`topology.builder.setSpout()`和`topology.builder.setBolt()`方法完成,然后调用`submitTopology()`提交到JStorm集群。 6. **代码实例**:`demo`文件夹中的代码应包含上述步骤的实现。`readme`说明文档...

    jstorm storm入门demo

    3. **本地模式与集群模式**:阐述两种运行模式的区别,如何在本地模式下进行开发和测试,以及如何在集群模式下部署和运行实时处理任务。 4. **JStorm的安装与配置**:指导如何安装JStorm,配置环境变量,以及如何...

    jstorm example

    2. **搭建JStorm集群**:根据官方文档,部署Nimbus、Supervisor和Zookeeper节点。 3. **编写Topology**:使用Java或Python编写Spout和Bolt,定义数据处理逻辑。 4. **提交Topology**:通过JStorm提供的命令行工具...

    jstorm课程

    8. **配置与部署**:了解如何配置JStorm集群,包括设置worker、nimbus、supervisor等节点,以及如何部署和启动拓扑。 9. **监控与调优**:学习如何使用JStorm的监控工具,如Web UI,监控任务的运行状态,并进行性能...

    Jstorm 到 Apache Flink 的迁移实践.pdf

    1. **内存隔离缺乏**:由于使用Python编写作业,JStorm集群缺乏内存隔离,导致作业间的资源冲突,例如单个工作进程可能占用大量内存,对整体集群稳定性造成影响。 2. **资源管理和预算混乱**:不同业务团队之间的...

    jstorm 阿里巴巴官方文档 pdf

    接着,文档会详细阐述JStorm的安装与配置过程,包括下载源码、编译、部署以及设置环境变量。对于初学者,这部分内容至关重要,因为正确配置JStorm环境是后续开发和运行的基础。 在JStorm的使用方法部分,你会了解到...

    jstorm-2.2.1

    4. **Zookeeper**:JStorm使用Zookeeper作为集群协调器,管理Topology的部署和状态,保证系统的高可用性和一致性。 5. **Nimbus**:Nimbus是JStorm的主控节点,负责分配任务给Worker节点,监控Topologies的状态,并...

    Jstorm开源技术架构最佳实践.pdf

    多集群部署允许根据需求动态扩展。反压机制有效地控制了数据流入速率,避免了资源耗尽。此外,自定义元数据管理和tuple生命周期管理进一步增强了系统的健壮性和灵活性。 总的来说,JStorm是阿里巴巴集团在实时大...

    Jstorm开源技术架构最佳实践.pptx

    在性能方面,JStorm通过优化Task Pipeline、应用部署、核心任务、自定义调度器、并行度调整、批处理设计、序列化、路由优化、降低开销等多种方式实现了显著提升。例如,在特定配置下,与Storm相比,JStorm在...

    阿里巴巴实时计算平台_JStorm_Turbo.pdf

    JStorm作为中国区的Storm布道者,其职责涵盖了应用开发、平台演进、技术支持、集群管理和社区贡献等多个方面。自2013年4月30日0.7.1版本发布以来,JStorm经历了多次重大升级,如Nimbus HA、Backpressure、Scheduler...

    智能实时选股系统Leek.zip

    Leek — 韭菜的自我救赎  ...相关部署ZooKeeper 高可用集群的安装及配置Kafka 集群的部署与测试JStorm2.1.1集群的安装和使用Flume 集群负载均衡(待完善)架构图:Storm计算节点:Esper计算模型: 标签:Leek

    ros-templates:ROS模板的示例和最佳实践

    ROS Templates本仓库包含了编写 ROS 模板的示例和最佳实践。欢迎体验 ,阅读 以了解更多细节。...3JStorm创建JStorm容器服务集群。JStorm依赖的Zookeeper也会一并部署。JSON4Jenkins创建Jenkins容器服务集群。YAML JSON

    Storm 源码分析

    - **统一平台**:在一些大数据平台中,Storm和Hadoop可以共同部署在同一集群内,通过YARN进行资源管理。 #### 七、总结 通过本文对Storm源码的分析,我们深入了解了Storm的架构、工作原理以及核心组件的实现细节。...

    阿里巴巴实时计算平台介绍

    1. **大规模化**:通过JStorm-on-YARN技术实现在单一物理集群上部署多个逻辑集群,以满足不同业务的需求。 2. **轻量化(单元化)**:利用JStorm-on-Docker方案,可以在测试机器上划分出更小的资源空间供JStorm使用...

    Storm流计算项目:1号店电商实时数据分析系统-41.会员问题收集和解答.pptx

    课程中详细介绍了CDH5的安装部署和集群管理。 4. **HBase**:HBase是一个分布式的、面向列的NoSQL数据库,适合大规模数据存储。项目中通过快速入门和Dao开发,讲解了如何利用HBase存储和访问数据。 5. **...

    Storm流计算项目:1号店电商实时数据分析系统-21.项目1-地区销售额-项目发布及总结.pptx

    首先,项目的基础环境搭建包括了CDH5的安装部署,涵盖了CM5(Cloudera Manager)的配置,以及Hadoop、HBase和Zookeeper集群的管理。其中,Hadoop提供分布式存储,HBase作为NoSQL数据库用于存储大量结构化数据,...

    CDH搭建hadoop环境文档指南

    - **JStorm**:一个流处理框架,类似于Apache Storm。 - **Azkaban**:用于工作流调度。 - **Redis**:一个开源的内存中数据结构存储。 - **Kafka**:分布式流媒体平台。 - **Tomcat**:一个开源的Web服务器和...

Global site tag (gtag.js) - Google Analytics