博客首页 → Storm

最新文章列表

storm 性能排查过程

1. bolt spout数量 2. time_out 时间 3. max_pending 4. ack 机制
storm 
商人shang 评论(0) 有1000人浏览 2016-02-24 18:44

storm、hbase、kafka整合过程中遇到的log4j冲突问题

storm、hbase、kafka整合过程中遇到的log4j冲突问题 ---》报错 SLF4J: Detected both log4j-over-slf4j.jar AND slf4j-log4j12.jar on the class path, preempting StackOverflowError. SLF4J: See also http://www.slf4j.org/codes. ...
log4jhbasestormkafka 
ynp 评论(0) 有3874人浏览 2016-02-24 12:22

Storm 问题记录

四、在storm上发布应用 1、主类传递参数形式 c:\project\storm\conf.yaml是传递到主类main方法的参数值 storm jar c:\project\storm\testjstorm-0.1-jar-with-dependencies.jar com.TestParseTopology c:\project\storm\conf.yaml -c nimbus.hos ...
storm 
7wolfs 评论(0) 有916人浏览 2016-02-18 13:31

STORM消息的可靠性

Storm 能够保证每一个由 Spout 发送的消息都能够得到完整地处理。本文详细解释了 Storm 如何实现这种   保障机制，以及作为用户如何使用好 Storm 的可靠性机制。   消息的“完整性处理”是什么意思 一个从 spout 中发送出的 tuple 会产生上千个基于它创建的 tuples。例如，有这样一个 word-count 拓扑： TopologyBuilder ...
Storm 
yangyangmyself 评论(0) 有1136人浏览 2016-01-29 23:12

STORM 拓扑构建

一、Storm大数据位置   解决方案 开发商 类型 描述
stormtoplogyspoutbolt 
yangyangmyself 评论(0) 有3189人浏览 2016-01-28 14:59

storm视频教程下载

Storm流计算从入门到精通之技术篇(高并发策略、批处理事务、Trident精解、运维监控、企业场景) 网盘地址1：https://pan.baidu.com/s/1ghiu4pH 密码: yjfe 备用地址（腾讯微云）：http://url.cn/55y7U37 密码：Ohyyxb Storm流计算之项目篇(Storm+Kafka+HBase+Highcharts+JQuery，含3个完整实际项 ...
storm 
80后的童年2 评论(0) 有151人浏览 2016-01-19 09:45

STORM实时处理框架之安装准备

1.引言 1.1     名词解释 Zookeeper：解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。 ZeroMQ：Storm0.9.0之前的版本中需要安装ZeroMQ，实现Strom Worker之间的通信；Storm0.9.0版本之后采用Netty替代ZeroMQ使Strom部署分布式环境更方便。 Netty
javastorm 
yangyangmyself 评论(0) 有2909人浏览 2016-01-17 00:50

Storm分组机制

Stream Grouping定义了一个流在Bolt任务间该如何被切分。这里有Storm提供的6个Stream Grouping类型： 1. 随机分组（Shuffle grouping）：随机分发tuple到Bolt的任务，保证每个任务获得相等数量的tuple。 2. 字段分组（Fields grouping）：根据指定字段分割数据流，并分组。例如，根据“user-id”字段，相同“user- ...
stormgroup分组机制 
sungyang 评论(0) 有1277人浏览 2016-01-15 15:58

Storm架构

storm是我接触并在项目中用到的第一个实时计算框架，做下总结： 一、首先如果如果让我们自己设 计一个实时计算系统，我们要解决哪些问题？ 1、低延迟。都说了是实时计算系统了，延迟是一定要低的。 2、高性能。性能不高就是浪费机器。 3、分布式。系统都是为应用场景而生的，如果你的应用场景、你的数据和计算单机就能搞定，那么不用考虑这些复杂的问题了。我们所说的是单机搞不定的情况。 4、可扩展。 ...
storm分布式架构 
sungyang 评论(0) 有1701人浏览 2016-01-15 15:54

storm 打印debug日志

storm 打印debug日志 storm采用了slf4j+logback方式，storm根路径下有个logback文件夹，下面有cluster.xml ，对storm日志的配置。 想要输出debug模式的数据，修改Supervisors 下cluster.xml文件即可，   <root level="DEBUG">     <appender-ref re ...
log4j企业应用storm 
ynp 评论(0) 有2343人浏览 2015-12-14 17:44

Storm vs Spark

storm vs sparkUpdate: additional question about Storm The question is to compare Spark to Storm (see comments below). Spark is still based on the idea that, when the existing data volume is huge, it ...
stormspark 
can_do 评论(0) 有578人浏览 2015-09-22 15:45

Storm和Akka的比较

1.【Storm】==>tuple || bolt || spout || topology Storm is a distributed, real-time computation system. On a Storm cluster, you execute topologies, which process streams of tuples (data).   Each t ...
StormAkka 
can_do 评论(0) 有1466人浏览 2015-09-21 21:46

storm通过JMX监控nimbus、supervisor

storm.yaml添加JMX的配置如下： nimbus.childopts: "-Xmx1024m -Djava.rmi.server.hostname=192.168.1.1 -Dcom.sun.management.jmxremote.port=9801 -Dcom.sun.management.jmxremote.authentica ...
stormjmx监控nimbussupervisor 
roadrunners 评论(0) 有4074人浏览 2015-08-24 17:08

storm Async loop died! & reconnect

storm 在有supervisor重启的时候，topology报错，导致所有spout不消费：   2015-07-15T09:48:26.470+0800 b.s.util [ERROR] Async loop died! java.lang.RuntimeException: java.lang.RuntimeException: Client is being closed, an ...
storm报错 
blackproof 评论(0) 有6094人浏览 2015-08-06 13:48

Apache Storm安装简明手册

一、JDK安装：1.    下载JDK（版本7）：http://download.oracle.com/otn-pub/java/jdk/7u71-b14/jdk-7u71-linux-x64.rpm2.    安装    sudo rpm -ivh jdk-7u71-linux-x64.rpm     sudo vi /etc/profile    export JAVA_HOME=/usr/ ...
storm 
hitgnu 评论(0) 有1137人浏览 2015-07-29 11:20

解决storm集群上的nimbus和supervisor结点无缘无故自动停止的方案

storm在生产上跑得很欢快，最近突然遇到一个问题，不知道storm是什么原因，无缘无故的自动停止了。查看日志没有任何的报错信息，包括警告信息都没有，反正就是无缘无故的shut down了。问题分析，初步我们判断应该是系统资源不足导致的，但这只是推测，因为storm集群的这些server都没有做监控，只有后面加上监控才能验证是否是因为资源问题引起的。   好吧！既然遇到问题咱们就解决问题吧！ ...
stormnimbussupervisor自动停止daemontools 
roadrunners 评论(1) 有8550人浏览 2015-07-24 13:29

【转】Storm【配置项】 - 详细解释

摘要 Storm 全部的配置项都被写入在 backtype.strom.Config类中，此配置项为一直从Storm0.6以来不变化的引用。   配置项配置说明 storm.zookeeper.serversZooKeeper服务器列表 storm.zookeeper.portZooKeeper连接端口 storm.local.dirstorm使用的本地文件系统目录(必须存在并 ...
stormconfigstorm配置含义 
商人shang 评论(0) 有2348人浏览 2015-07-21 13:26

storm 自定义 日志文件

Storm中的日志级级别默认为INFO，并且，日志文件是根据worker号来进行区分的，这样，同一个log文件中的信息不一定是一个业务的，这样就会有以下两个 ...
stormlogbackcluster 
商人shang 评论(0) 有17725人浏览 2015-07-06 17:33

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics