1.主要看阿里官网
https://github.com/alibaba/jstorm/wiki/%E5%A6%82%E4%BD%95%E5%AE%89%E8%A3%85
2.linux环境默认已经安装了Python
3.Zookeeper安装省略
4.jstorm2.1.1依赖jdk7
查看linux docker是32位还是64:uname -a
5.下载JDK
jdk-7u60-linux-x64.tar.gz
解压设置profile,生效source,验证java -version
6.下载jstorm-2.1.1
7.解压设置home与bin
export JSTORM_HOME=/XXXXX/XXXX
export PATH=$PATH:$JSTORM_HOME/bin
8.source生效
9.配置$JSTORM_HOME/conf/storm.yaml
storm.zookeeper.servers:
- "192.168.192.83"
storm.zookeeper.root: "/jstorm"
# cluster.name: "default"
#nimbus.host/nimbus.host.start.supervisor is being used by $JSTORM_HOME/bin/start.sh
#it only support IP, please don't set hostname
# For example
nimbus.host: "192.168.192.83"
#nimbus.host: "localhost"
#nimbus.host.start.supervisor: false
# %JSTORM_HOME% is the jstorm home directory
storm.local.dir: "%JSTORM_HOME%/data"
# please set absolute path, default path is JSTORM_HOME/logs
# jstorm.log.dir: "absolute path"
# java.library.path: "/usr/local/lib:/opt/local/lib:/usr/lib"
# if supervisor.slots.ports is null,
# the port list will be generated by cpu cores and system memory size
# for example,
# there are cpu_num = system_physical_cpu_num/supervisor.slots.port.cpu.weight
# there are mem_num = system_physical_memory_size/(worker.memory.size * supervisor.slots.port.mem.weight)
# The final port number is min(cpu_num, mem_num)
# supervisor.slots.ports.base: 6800
# supervisor.slots.port.cpu.weight: 1.2
# supervisor.slots.port.mem.weight: 0.7
# supervisor.slots.ports: null
supervisor.slots.poRts:
- 6800
- 6801
- 6802
- 6803
9.启动调度任务:jstorm nimbus
启动报错:
[ERROR 2016-10-28 14:47:50 c.a.j.s.FollowerRunnable:85 main] get nimbus host error!
java.lang.Exception: the hostname which Nimbus get is localhost
at com.alibaba.jstorm.schedule.FollowerRunnable.<init>(FollowerRunnable.java:82) ~[jstorm-core-2.1.1.jar:na]
at com.alibaba.jstorm.daemon.nimbus.NimbusServer.initFollowerThread(NimbusServer.java:275) [jstorm-core-2.1.1.jar:na]
at com.alibaba.jstorm.daemon.nimbus.NimbusServer.launchServer(NimbusServer.java:121) [jstorm-core-2.1.1.jar:na]
at com.alibaba.jstorm.daemon.nimbus.NimbusServer.main(NimbusServer.java:95) [jstorm-core-2.1.1.jar:na]
[ERROR 2016-10-28 14:47:50 c.a.j.d.n.NimbusServer:137 main] Fail to run nimbus
java.lang.RuntimeException: java.lang.Exception: the hostname which Nimbus get is localhost
at com.alibaba.jstorm.schedule.FollowerRunnable.<init>(FollowerRunnable.java:86) ~[jstorm-core-2.1.1.jar:na]
at com.alibaba.jstorm.daemon.nimbus.NimbusServer.initFollowerThread(NimbusServer.java:275) [jstorm-core-2.1.1.jar:na]
at com.alibaba.jstorm.daemon.nimbus.NimbusServer.launchServer(NimbusServer.java:121) [jstorm-core-2.1.1.jar:na]
at com.alibaba.jstorm.daemon.nimbus.NimbusServer.main(NimbusServer.java:95) [jstorm-core-2.1.1.jar:na]
Caused by: java.lang.Exception: the hostname which Nimbus get is localhost
at com.alibaba.jstorm.schedule.FollowerRunnable.<init>(FollowerRunnable.java:82) ~[jstorm-core-2.1.1.jar:na]
... 3 common frames omitted
10.主要解决Hostname
修改/etc/hosts以及使用命令hostname -i
查看直到显示非127.0.0.1以及localhost
11.远程后台运行:nohup jstorm nimbus &
12.task任务节点同理:nohup jstorm supervisor &
13.最后安装tomcat7 启动ui
14.
http://192.168.192.83:8880/jstorm-ui-2.1.1/cluster?name=jstorm
- 大小: 64.9 KB
分享到:
相关推荐
Jstorm 、zookeeper集群部署详细操作步骤 Centos7系统
1. **JStorm安装与配置**:首先,你需要下载并安装JStorm。确保配置文件(如`conf/storm.yaml`)正确设置,包括Zookeeper和Nimbus服务器地址等。此外,可能还需要根据实际需求调整其他配置参数。 2. **Kafka安装与...
jstorm框架介绍,包含架构图、jstorm安装部署以及配置、如何在jstorm框架里写业务代码。
### JStorm集群安装知识点 #### 一、软件需求与集群规划 **软件需求:** - **虚拟化平台:** VMware Workstation 11.0.0 - **远程登录工具:** SecureCRT Portable - **文件传输工具:** FlashFXP - **应用软件:**...
4. **JStorm的安装与配置**:指导如何安装JStorm,配置环境变量,以及如何配置storm.yaml等关键配置文件。 5. **创建和运行示例**:详细解释压缩包中的代码结构,包括四个类的功能,如何编译源代码,以及如何启动...
1. **安装与配置**:首先确保已经安装了JStorm和Kafka,并配置好相应的环境变量。对于Kafka,你需要设置Zookeeper地址,对于JStorm,你需要配置nimbus和supervisor节点。 2. **创建Kafka Topic**:在Kafka中,数据...
接着,文档会详细阐述JStorm的安装与配置过程,包括下载源码、编译、部署以及设置环境变量。对于初学者,这部分内容至关重要,因为正确配置JStorm环境是后续开发和运行的基础。 在JStorm的使用方法部分,你会了解到...
本文档将详细介绍JStorm的基础知识,包括其核心概念、工作原理、安装配置以及简单的示例,帮助初学者快速入门。 **1. JStorm的核心概念** - **Topology**: 一个Topology是JStorm中的工作单元,它定义了一组相互...
1. **环境配置**:首先,需要安装Java环境,并设置好JStorm的相关环境变量。 2. **搭建JStorm集群**:根据官方文档,部署Nimbus、Supervisor和Zookeeper节点。 3. **编写Topology**:使用Java或Python编写Spout和...
新版本2.4.0,最新编译的 jstorm2.4.0包,大数据流式计算必备工具。
jstorm2.2.1 执行步骤: 1. 本地正确安装maven 2. 本地正确安装zookeeper,并启动 3. Idea导入项目源码,以maven形式 4. 执行mvn clean compile 4. 可分别运行random或wordcount下topology下的main类
1-jdk安装 2-解压缩zk 3-安装zeromq configure: error: cannot link with -luuid, install uuid-dev rpm -ivh uuid-1.6.1-10.el6.x86_64.rpm rpm -ivh uuid-devel-1.6.1-10.el6.x86_64.rpm error: Failed ...
在本篇文章中,我们将深入探讨JStorm源码中关于Bolt异常处理方法的实现细节。首先,我们了解到如果在Bolt代码中出现未被捕获的异常,所在的工作进程会直接退出。这一点与Storm的设计相似,旨在避免问题被掩盖而无法...
Leek — 韭菜的自我救赎 ...相关部署ZooKeeper 高可用集群的安装及配置Kafka 集群的部署与测试JStorm2.1.1集群的安装和使用Flume 集群负载均衡(待完善)架构图:Storm计算节点:Esper计算模型: 标签:Leek
在"zk-kafka-redis-storm安装"过程中,首先需要安装Zookeeper,确保集群的协调和数据一致性。接着是Kafka的部署,设置好broker配置、创建主题并配置消费者和生产者。安装Redis时要注意选择合适的版本,配置网络参数...
【课程大纲】01.Storm项目实战课程大纲02.CDH5搭建之CM5安装部署03.CDH5搭建和CM界面化集群管理04.Hadoop、HBase、Zookeeper集群管理和角色分配05.Kafka基础知识和集群搭建06.Kafka基本操作和最优设置07.Kafka Java ...
- **JStorm**:一个流处理框架,类似于Apache Storm。 - **Azkaban**:用于工作流调度。 - **Redis**:一个开源的内存中数据结构存储。 - **Kafka**:分布式流媒体平台。 - **Tomcat**:一个开源的Web服务器和...
课程中详细介绍了CDH5的安装部署和集群管理。 4. **HBase**:HBase是一个分布式的、面向列的NoSQL数据库,适合大规模数据存储。项目中通过快速入门和Dao开发,讲解了如何利用HBase存储和访问数据。 5. **...
在基础阶段,首先要学习Linux操作系统,包括安装、常用命令、软件安装、网络配置和Shell编程等。接着,深入学习Java高级知识,尤其是并发编程和JVM优化。接下来,逐步进入大数据领域,学习Hadoop、HBase、Hive、...