- 浏览: 86915 次
- 性别:
- 来自: 郑州
文章分类
- 全部博客 (69)
- java (28)
- linux (6)
- redis (4)
- C# (3)
- 架构 (10)
- java ee (1)
- web (1)
- 操作系统 (7)
- sqlserver (1)
- android (2)
- Hadoop (12)
- 大数据 (21)
- 分布式 事务 消息 (10)
- linux mysql (1)
- 数据库 (3)
- 关于hadoop之bootshell使用 (2)
- 关于hbase---HTableInterfaceFactory (1)
- Spring (3)
- Hbase (5)
- jstorm (10)
- nginx (1)
- 分布式 (1)
- 区块链 (3)
- dubbo (1)
- nacos (1)
- 阿里 (1)
- go (3)
- 缓存 (1)
- memcached (1)
- ssdb (1)
- 源码 (1)
最新评论
-
想个可以用的名字:
楼主,能不能给发一份源代码,1300246542@qqq.co ...
spring+websocket的使用 -
wahahachuang5:
web实时推送技术使用越来越广泛,但是自己开发又太麻烦了,我觉 ...
websocket -
dalan_123:
前提是你用的是spring mvc 才需要加的1、在web.x ...
spring+websocket的使用 -
string2020:
CharacterEncodingFilter这个filter ...
spring+websocket的使用
关于jstorm单机安装可以参看如下
http://hexiaoqiao.sinaapp.com/2014/06/jstorm%E7%8E%AF%E5%A2%83%E6%90%AD%E5%BB%BA/
https://github.com/alibaba/jstorm/wiki/%E5%A6%82%E4%BD%95%E5%AE%89%E8%A3%85
这些是本人在安装过程具体的安装过程以及问题解决
1、安装zeromq
wget http://download.zeromq.org/zeromq-3.2.4.tar.gz
tar zxf zeromq-3.2.4.tar.gz
cd zeromq-3.2.4
./configure (提示: error: Unable to find a working C++ compiler ----》先执行sudo yum install gcc 和$ sudo yum install gcc-c++ 在执行 ./configure 若是仍不能解决 则直接执行 ./configure -without-libsodium)
make
sudo make install
sudo ldconfig
2、安装jzmq
wget https://github.com/zeromq/jzmq/tarball/master -O jzmq.tar.gz
tar zxf jzmq.tar.gz
cd jzmq
./autogen.sh(若是出现 ”jzmq error could not find libtool“ 则先执行 sudo yum install libtool 在执行该命令)
./configure
make
sudo make install
3、安装zookeeper
wget http://apache.dataguru.cn/zookeeper/zookeeper-3.4.5/zookeeper-3.4.5.tar.gz
tar zxf zookeeper-3.4.5.tar.gz
cd zookeeper-3.4.5
(在启动zookeeper之前要调整conf文件夹下 zoo-sample.cfg 拷贝一份 重命名为 ”zoo.cfg“ 否则会出现启动失败 pid之类的错误信息)
./bin/zkServer.sh start
./bin/zkServer.sh stop
4.安装jstorm
下载jstorm安装文件:jstorm-2.1.0.tar.bz2
tar -jxvf jstorm-2.1.0.tar.bz2
配置$JSTORM_HOME/conf/storm.yaml
配置项:(如果是单机如下项并不是必须全部修改的)
------------------------------------------如下项是必须的----------------------------------
storm.zookeeper.servers: 表示zookeeper 的地址,
nimbus.host: 表示nimbus的地址
storm.zookeeper.root: 表示jstorm在zookeeper中的根目录,当多个JStorm共享一个ZOOKEEPER时,需要设置该选项,默认即为“/jstorm”
storm.local.dir: 表示jstorm临时数据存放目录,需要保证jstorm程序对该目录有写权限
--------------------------------------如下可以不设置----------------------------------------
java.library.path: zeromq 和java zeromq library的安装目录,默认"/usr/local/lib:/opt/local/lib:/usr/lib"
supervisor.slots.ports: 表示supervisor 提供的端口slot列表,注意不要和其他端口发生冲突,默认是68xx,而storm的是67xx
supervisor.disk.slot: 表示提供数据目录,当一台机器有多块磁盘时,可以提供磁盘读写slot,方便有重IO操作的应用。
topology.enable.classloader: false, 默认关闭classloader,如果应用的jar与jstorm的依赖的jar发生冲突,比如应用使用thrift9,但jstorm使用thrift7时,就需要打开classloader
nimbus.groupfile.path: 如果需要做资源隔离,比如数据仓库使用多少资源,技术部使用多少资源,无线部门使用多少资源时,就需要打开分组功能, 设置一个配置文件的绝对路径,改配置文件如源码中group_file.ini所示
storm.local.dir: jstorm使用的本地临时目录,如果一台机器同时运行storm和jstorm的话, 则不要共用一个目录,必须将二者分离开
安装完成jstorm和zookeeper记得设置下环境变量
同时$JSTORM_HOME/bin文件夹下面的start.sh里面java_home 和 jstorm地址要调整下
注:解决在jdk8环境下不能完成启动问题($JSTORM_HOME/conf/storm.yaml)添加如下内容
nimbus.childopts: " -Xms1g -Xmx1g -Xmn768m -XX:SurvivorRatio=4 -XX:MaxTenuringThreshold=10 -XX:+UseConcMarkSweepGC -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=70 -XX:+HeapDumpOnOutOfMemoryError -XX:CMSMaxAbortablePrecleanTime=5000 "
worker.gc.childopts: " -XX:SurvivorRatio=4 -XX:MaxTenuringThreshold=10 -XX:+UseConcMarkSweepGC -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=70 -XX:CMSFullGCsBeforeCompaction=5 -XX:+HeapDumpOnOutOfMemoryError -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:CMSMaxAbortablePrecleanTime=5000 "
http://hexiaoqiao.sinaapp.com/2014/06/jstorm%E7%8E%AF%E5%A2%83%E6%90%AD%E5%BB%BA/
https://github.com/alibaba/jstorm/wiki/%E5%A6%82%E4%BD%95%E5%AE%89%E8%A3%85
这些是本人在安装过程具体的安装过程以及问题解决
1、安装zeromq
wget http://download.zeromq.org/zeromq-3.2.4.tar.gz
tar zxf zeromq-3.2.4.tar.gz
cd zeromq-3.2.4
./configure (提示: error: Unable to find a working C++ compiler ----》先执行sudo yum install gcc 和$ sudo yum install gcc-c++ 在执行 ./configure 若是仍不能解决 则直接执行 ./configure -without-libsodium)
make
sudo make install
sudo ldconfig
2、安装jzmq
wget https://github.com/zeromq/jzmq/tarball/master -O jzmq.tar.gz
tar zxf jzmq.tar.gz
cd jzmq
./autogen.sh(若是出现 ”jzmq error could not find libtool“ 则先执行 sudo yum install libtool 在执行该命令)
./configure
make
sudo make install
3、安装zookeeper
wget http://apache.dataguru.cn/zookeeper/zookeeper-3.4.5/zookeeper-3.4.5.tar.gz
tar zxf zookeeper-3.4.5.tar.gz
cd zookeeper-3.4.5
(在启动zookeeper之前要调整conf文件夹下 zoo-sample.cfg 拷贝一份 重命名为 ”zoo.cfg“ 否则会出现启动失败 pid之类的错误信息)
./bin/zkServer.sh start
./bin/zkServer.sh stop
4.安装jstorm
下载jstorm安装文件:jstorm-2.1.0.tar.bz2
tar -jxvf jstorm-2.1.0.tar.bz2
配置$JSTORM_HOME/conf/storm.yaml
配置项:(如果是单机如下项并不是必须全部修改的)
------------------------------------------如下项是必须的----------------------------------
storm.zookeeper.servers: 表示zookeeper 的地址,
nimbus.host: 表示nimbus的地址
storm.zookeeper.root: 表示jstorm在zookeeper中的根目录,当多个JStorm共享一个ZOOKEEPER时,需要设置该选项,默认即为“/jstorm”
storm.local.dir: 表示jstorm临时数据存放目录,需要保证jstorm程序对该目录有写权限
--------------------------------------如下可以不设置----------------------------------------
java.library.path: zeromq 和java zeromq library的安装目录,默认"/usr/local/lib:/opt/local/lib:/usr/lib"
supervisor.slots.ports: 表示supervisor 提供的端口slot列表,注意不要和其他端口发生冲突,默认是68xx,而storm的是67xx
supervisor.disk.slot: 表示提供数据目录,当一台机器有多块磁盘时,可以提供磁盘读写slot,方便有重IO操作的应用。
topology.enable.classloader: false, 默认关闭classloader,如果应用的jar与jstorm的依赖的jar发生冲突,比如应用使用thrift9,但jstorm使用thrift7时,就需要打开classloader
nimbus.groupfile.path: 如果需要做资源隔离,比如数据仓库使用多少资源,技术部使用多少资源,无线部门使用多少资源时,就需要打开分组功能, 设置一个配置文件的绝对路径,改配置文件如源码中group_file.ini所示
storm.local.dir: jstorm使用的本地临时目录,如果一台机器同时运行storm和jstorm的话, 则不要共用一个目录,必须将二者分离开
安装完成jstorm和zookeeper记得设置下环境变量
同时$JSTORM_HOME/bin文件夹下面的start.sh里面java_home 和 jstorm地址要调整下
注:解决在jdk8环境下不能完成启动问题($JSTORM_HOME/conf/storm.yaml)添加如下内容
nimbus.childopts: " -Xms1g -Xmx1g -Xmn768m -XX:SurvivorRatio=4 -XX:MaxTenuringThreshold=10 -XX:+UseConcMarkSweepGC -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=70 -XX:+HeapDumpOnOutOfMemoryError -XX:CMSMaxAbortablePrecleanTime=5000 "
worker.gc.childopts: " -XX:SurvivorRatio=4 -XX:MaxTenuringThreshold=10 -XX:+UseConcMarkSweepGC -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=70 -XX:CMSFullGCsBeforeCompaction=5 -XX:+HeapDumpOnOutOfMemoryError -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:CMSMaxAbortablePrecleanTime=5000 "
发表评论
-
jstorm源码之TransactionalState
2016-03-21 19:31 887一、作用 主要是通过结合zookeeper,在zookee ... -
jstorm源码之RotatingTransactionalState
2016-03-21 19:29 578一、作用 构建一个Rotationg transacti ... -
jstorm源码之PartitionedTridentSpoutExecutor
2016-03-21 19:28 886一、作用 Partition Spout对应的exec ... -
jstorm源码之 RichSpoutBatchExecutor
2016-03-21 19:28 0一、作用 RichSpoutBatchExecutor是IRi ... -
jstorm源码之RotatingMap
2016-03-21 19:27 875一、作用 基于LinkedList + HashM ... -
jstorm源码之 RichSpoutBatchExecutor
2016-03-21 19:24 613一、作用 RichSpoutBatchExecutor是IRi ... -
jstorm源码之TridentTopology
2016-03-16 18:12 2362在jstorm中对应TridentTopology的源码如下, ... -
jstorm操作命令
2016-03-15 18:04 2733启动ZOOPKEEPER zkServer.sh start ... -
JStorm之Supervisor简介
2016-03-15 18:02 1246一、简介Supervisor是JStorm中的工作节点,类似 ... -
JStorm介绍
2016-03-15 17:56 918一、简介Storm是开源的 ... -
spring hadoop系列(六)---HbaseSystemException
2015-11-30 09:13 492一、源码 /** * HBase Data Access e ... -
spring hadoop系列(五)---spring hadoop hbase之HbaseSynchronizationManager
2015-11-27 18:16 872一、源码如下 /** * Synchronization m ... -
spring hadoop 系列(二)
2015-11-27 15:26 597一、源码分析 /** * * HbaseAccesso ... -
spring hadoop之batch处理(二)
2015-11-24 18:10 1521一、测试 public class MrBatchApp { ... -
spring hadoop之mapreduce batch
2015-11-24 15:51 632一、测试 // 定义hadoop configuration ... -
centos6.7 64位 伪分布 安装 cdh5.4.8 + jdk 8
2015-11-09 00:37 2318一、安装JAVA # 创建JAVA的目录 mkdir -p / ... -
spring hadoop系列二(MapReduce and Distributed cache)
2015-11-06 15:22 985关于MapReduce and Distributed Ca ... -
spring hadoop系列一
2015-11-05 23:18 1803一、要求 1、对于spring hadoop2.1构建 ... -
Hadoop+Hbase+Zookeeper(独立)环境搭建 ---(转)
2015-10-23 08:34 614准备的机器信息:192.1 ... -
hadoop2.6.1单机安装
2015-10-22 17:12 1155centos6.6安装hadoop2.6.1操作步骤 大致如下 ...
相关推荐
Jstorm 、zookeeper集群部署详细操作步骤 Centos7系统
1. **JStorm安装与配置**:首先,你需要下载并安装JStorm。确保配置文件(如`conf/storm.yaml`)正确设置,包括Zookeeper和Nimbus服务器地址等。此外,可能还需要根据实际需求调整其他配置参数。 2. **Kafka安装与...
jstorm框架介绍,包含架构图、jstorm安装部署以及配置、如何在jstorm框架里写业务代码。
### JStorm集群安装知识点 #### 一、软件需求与集群规划 **软件需求:** - **虚拟化平台:** VMware Workstation 11.0.0 - **远程登录工具:** SecureCRT Portable - **文件传输工具:** FlashFXP - **应用软件:**...
4. **JStorm的安装与配置**:指导如何安装JStorm,配置环境变量,以及如何配置storm.yaml等关键配置文件。 5. **创建和运行示例**:详细解释压缩包中的代码结构,包括四个类的功能,如何编译源代码,以及如何启动...
1. **安装与配置**:首先确保已经安装了JStorm和Kafka,并配置好相应的环境变量。对于Kafka,你需要设置Zookeeper地址,对于JStorm,你需要配置nimbus和supervisor节点。 2. **创建Kafka Topic**:在Kafka中,数据...
接着,文档会详细阐述JStorm的安装与配置过程,包括下载源码、编译、部署以及设置环境变量。对于初学者,这部分内容至关重要,因为正确配置JStorm环境是后续开发和运行的基础。 在JStorm的使用方法部分,你会了解到...
本文档将详细介绍JStorm的基础知识,包括其核心概念、工作原理、安装配置以及简单的示例,帮助初学者快速入门。 **1. JStorm的核心概念** - **Topology**: 一个Topology是JStorm中的工作单元,它定义了一组相互...
1. **环境配置**:首先,需要安装Java环境,并设置好JStorm的相关环境变量。 2. **搭建JStorm集群**:根据官方文档,部署Nimbus、Supervisor和Zookeeper节点。 3. **编写Topology**:使用Java或Python编写Spout和...
新版本2.4.0,最新编译的 jstorm2.4.0包,大数据流式计算必备工具。
jstorm2.2.1 执行步骤: 1. 本地正确安装maven 2. 本地正确安装zookeeper,并启动 3. Idea导入项目源码,以maven形式 4. 执行mvn clean compile 4. 可分别运行random或wordcount下topology下的main类
1-jdk安装 2-解压缩zk 3-安装zeromq configure: error: cannot link with -luuid, install uuid-dev rpm -ivh uuid-1.6.1-10.el6.x86_64.rpm rpm -ivh uuid-devel-1.6.1-10.el6.x86_64.rpm error: Failed ...
在本篇文章中,我们将深入探讨JStorm源码中关于Bolt异常处理方法的实现细节。首先,我们了解到如果在Bolt代码中出现未被捕获的异常,所在的工作进程会直接退出。这一点与Storm的设计相似,旨在避免问题被掩盖而无法...
Leek — 韭菜的自我救赎 ...相关部署ZooKeeper 高可用集群的安装及配置Kafka 集群的部署与测试JStorm2.1.1集群的安装和使用Flume 集群负载均衡(待完善)架构图:Storm计算节点:Esper计算模型: 标签:Leek
在"zk-kafka-redis-storm安装"过程中,首先需要安装Zookeeper,确保集群的协调和数据一致性。接着是Kafka的部署,设置好broker配置、创建主题并配置消费者和生产者。安装Redis时要注意选择合适的版本,配置网络参数...
【课程大纲】01.Storm项目实战课程大纲02.CDH5搭建之CM5安装部署03.CDH5搭建和CM界面化集群管理04.Hadoop、HBase、Zookeeper集群管理和角色分配05.Kafka基础知识和集群搭建06.Kafka基本操作和最优设置07.Kafka Java ...
- **JStorm**:一个流处理框架,类似于Apache Storm。 - **Azkaban**:用于工作流调度。 - **Redis**:一个开源的内存中数据结构存储。 - **Kafka**:分布式流媒体平台。 - **Tomcat**:一个开源的Web服务器和...
课程中详细介绍了CDH5的安装部署和集群管理。 4. **HBase**:HBase是一个分布式的、面向列的NoSQL数据库,适合大规模数据存储。项目中通过快速入门和Dao开发,讲解了如何利用HBase存储和访问数据。 5. **...
在基础阶段,首先要学习Linux操作系统,包括安装、常用命令、软件安装、网络配置和Shell编程等。接着,深入学习Java高级知识,尤其是并发编程和JVM优化。接下来,逐步进入大数据领域,学习Hadoop、HBase、Hive、...