`
dalan_123
  • 浏览: 86899 次
  • 性别: Icon_minigender_1
  • 来自: 郑州
社区版块
存档分类
最新评论

jstorm安装

阅读更多
关于jstorm单机安装可以参看如下
http://hexiaoqiao.sinaapp.com/2014/06/jstorm%E7%8E%AF%E5%A2%83%E6%90%AD%E5%BB%BA/
https://github.com/alibaba/jstorm/wiki/%E5%A6%82%E4%BD%95%E5%AE%89%E8%A3%85
这些是本人在安装过程具体的安装过程以及问题解决
1、安装zeromq
wget http://download.zeromq.org/zeromq-3.2.4.tar.gz
tar zxf zeromq-3.2.4.tar.gz
cd zeromq-3.2.4
./configure (提示: error: Unable to find a working C++ compiler ----》先执行sudo yum install gcc 和$ sudo yum install gcc-c++ 在执行 ./configure 若是仍不能解决 则直接执行 ./configure -without-libsodium)
make
sudo make install
sudo ldconfig
2、安装jzmq
wget https://github.com/zeromq/jzmq/tarball/master -O jzmq.tar.gz
tar zxf jzmq.tar.gz
cd jzmq
./autogen.sh(若是出现 ”jzmq error could not find libtool“  则先执行 sudo yum install libtool 在执行该命令)
./configure
make
sudo make install
3、安装zookeeper
wget http://apache.dataguru.cn/zookeeper/zookeeper-3.4.5/zookeeper-3.4.5.tar.gz
tar zxf zookeeper-3.4.5.tar.gz
cd zookeeper-3.4.5
(在启动zookeeper之前要调整conf文件夹下 zoo-sample.cfg 拷贝一份 重命名为 ”zoo.cfg“ 否则会出现启动失败 pid之类的错误信息)
./bin/zkServer.sh start
./bin/zkServer.sh stop
4.安装jstorm
下载jstorm安装文件:jstorm-2.1.0.tar.bz2
tar -jxvf jstorm-2.1.0.tar.bz2

配置$JSTORM_HOME/conf/storm.yaml
配置项:(如果是单机如下项并不是必须全部修改的)
------------------------------------------如下项是必须的----------------------------------
storm.zookeeper.servers: 表示zookeeper 的地址,
nimbus.host: 表示nimbus的地址
storm.zookeeper.root: 表示jstorm在zookeeper中的根目录,当多个JStorm共享一个ZOOKEEPER时,需要设置该选项,默认即为“/jstorm”
storm.local.dir: 表示jstorm临时数据存放目录,需要保证jstorm程序对该目录有写权限
--------------------------------------如下可以不设置----------------------------------------
java.library.path: zeromq 和java zeromq library的安装目录,默认"/usr/local/lib:/opt/local/lib:/usr/lib"
supervisor.slots.ports: 表示supervisor 提供的端口slot列表,注意不要和其他端口发生冲突,默认是68xx,而storm的是67xx
supervisor.disk.slot: 表示提供数据目录,当一台机器有多块磁盘时,可以提供磁盘读写slot,方便有重IO操作的应用。
topology.enable.classloader: false, 默认关闭classloader,如果应用的jar与jstorm的依赖的jar发生冲突,比如应用使用thrift9,但jstorm使用thrift7时,就需要打开classloader
nimbus.groupfile.path: 如果需要做资源隔离,比如数据仓库使用多少资源,技术部使用多少资源,无线部门使用多少资源时,就需要打开分组功能, 设置一个配置文件的绝对路径,改配置文件如源码中group_file.ini所示
storm.local.dir: jstorm使用的本地临时目录,如果一台机器同时运行storm和jstorm的话, 则不要共用一个目录,必须将二者分离开
安装完成jstorm和zookeeper记得设置下环境变量
同时$JSTORM_HOME/bin文件夹下面的start.sh里面java_home 和 jstorm地址要调整下
注:解决在jdk8环境下不能完成启动问题($JSTORM_HOME/conf/storm.yaml)添加如下内容
nimbus.childopts: " -Xms1g -Xmx1g -Xmn768m -XX:SurvivorRatio=4 -XX:MaxTenuringThreshold=10 -XX:+UseConcMarkSweepGC  -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=70 -XX:+HeapDumpOnOutOfMemoryError -XX:CMSMaxAbortablePrecleanTime=5000 "

worker.gc.childopts: " -XX:SurvivorRatio=4 -XX:MaxTenuringThreshold=10 -XX:+UseConcMarkSweepGC  -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=70 -XX:CMSFullGCsBeforeCompaction=5 -XX:+HeapDumpOnOutOfMemoryError -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:CMSMaxAbortablePrecleanTime=5000 "
分享到:
评论

相关推荐

    jstorm安装部署wzx.docx

    Jstorm 、zookeeper集群部署详细操作步骤 Centos7系统

    jstorm集成kafka代码实例

    1. **JStorm安装与配置**:首先,你需要下载并安装JStorm。确保配置文件(如`conf/storm.yaml`)正确设置,包括Zookeeper和Nimbus服务器地址等。此外,可能还需要根据实际需求调整其他配置参数。 2. **Kafka安装与...

    Jstorm介绍

    jstorm框架介绍,包含架构图、jstorm安装部署以及配置、如何在jstorm框架里写业务代码。

    Jstorm集群安装文档

    ### JStorm集群安装知识点 #### 一、软件需求与集群规划 **软件需求:** - **虚拟化平台:** VMware Workstation 11.0.0 - **远程登录工具:** SecureCRT Portable - **文件传输工具:** FlashFXP - **应用软件:**...

    jstorm storm入门demo

    4. **JStorm的安装与配置**:指导如何安装JStorm,配置环境变量,以及如何配置storm.yaml等关键配置文件。 5. **创建和运行示例**:详细解释压缩包中的代码结构,包括四个类的功能,如何编译源代码,以及如何启动...

    jstorm集成kafka插件demo

    1. **安装与配置**:首先确保已经安装了JStorm和Kafka,并配置好相应的环境变量。对于Kafka,你需要设置Zookeeper地址,对于JStorm,你需要配置nimbus和supervisor节点。 2. **创建Kafka Topic**:在Kafka中,数据...

    jstorm 阿里巴巴官方文档 pdf

    接着,文档会详细阐述JStorm的安装与配置过程,包括下载源码、编译、部署以及设置环境变量。对于初学者,这部分内容至关重要,因为正确配置JStorm环境是后续开发和运行的基础。 在JStorm的使用方法部分,你会了解到...

    jstorm文档

    本文档将详细介绍JStorm的基础知识,包括其核心概念、工作原理、安装配置以及简单的示例,帮助初学者快速入门。 **1. JStorm的核心概念** - **Topology**: 一个Topology是JStorm中的工作单元,它定义了一组相互...

    jstorm example

    1. **环境配置**:首先,需要安装Java环境,并设置好JStorm的相关环境变量。 2. **搭建JStorm集群**:根据官方文档,部署Nimbus、Supervisor和Zookeeper节点。 3. **编写Topology**:使用Java或Python编写Spout和...

    最新jstorm2.4.0

    新版本2.4.0,最新编译的 jstorm2.4.0包,大数据流式计算必备工具。

    jstorm2.2.1执行wordcount

    jstorm2.2.1 执行步骤: 1. 本地正确安装maven 2. 本地正确安装zookeeper,并启动 3. Idea导入项目源码,以maven形式 4. 执行mvn clean compile 4. 可分别运行random或wordcount下topology下的main类

    storm安装所需

    1-jdk安装 2-解压缩zk 3-安装zeromq configure: error: cannot link with -luuid, install uuid-dev rpm -ivh uuid-1.6.1-10.el6.x86_64.rpm rpm -ivh uuid-devel-1.6.1-10.el6.x86_64.rpm error: Failed ...

    jstorm源码解析之bolt异常处理方法

    在本篇文章中,我们将深入探讨JStorm源码中关于Bolt异常处理方法的实现细节。首先,我们了解到如果在Bolt代码中出现未被捕获的异常,所在的工作进程会直接退出。这一点与Storm的设计相似,旨在避免问题被掩盖而无法...

    智能实时选股系统Leek.zip

    Leek — 韭菜的自我救赎  ...相关部署ZooKeeper 高可用集群的安装及配置Kafka 集群的部署与测试JStorm2.1.1集群的安装和使用Flume 集群负载均衡(待完善)架构图:Storm计算节点:Esper计算模型: 标签:Leek

    zk-kafka-redis-storm安装

    在"zk-kafka-redis-storm安装"过程中,首先需要安装Zookeeper,确保集群的协调和数据一致性。接着是Kafka的部署,设置好broker配置、创建主题并配置消费者和生产者。安装Redis时要注意选择合适的版本,配置网络参数...

    Storm流计算项目:1号店电商实时数据分析系统-02.CDH5搭建之CM5安装部署.pptx

    【课程大纲】01.Storm项目实战课程大纲02.CDH5搭建之CM5安装部署03.CDH5搭建和CM界面化集群管理04.Hadoop、HBase、Zookeeper集群管理和角色分配05.Kafka基础知识和集群搭建06.Kafka基本操作和最优设置07.Kafka Java ...

    CDH搭建hadoop环境文档指南

    - **JStorm**:一个流处理框架,类似于Apache Storm。 - **Azkaban**:用于工作流调度。 - **Redis**:一个开源的内存中数据结构存储。 - **Kafka**:分布式流媒体平台。 - **Tomcat**:一个开源的Web服务器和...

    Storm流计算项目:1号店电商实时数据分析系统-41.会员问题收集和解答.pptx

    课程中详细介绍了CDH5的安装部署和集群管理。 4. **HBase**:HBase是一个分布式的、面向列的NoSQL数据库,适合大规模数据存储。项目中通过快速入门和Dao开发,讲解了如何利用HBase存储和访问数据。 5. **...

    大数据工程师进阶学习.docx

    在基础阶段,首先要学习Linux操作系统,包括安装、常用命令、软件安装、网络配置和Shell编程等。接着,深入学习Java高级知识,尤其是并发编程和JVM优化。接下来,逐步进入大数据领域,学习Hadoop、HBase、Hive、...

Global site tag (gtag.js) - Google Analytics