博客首页 → Storm

最新文章列表

Storm视频教程|基于Storm流计算天猫双十一作战室项目实战

基于Storm流计算天猫双十一作战室项目实战（Storm Kafka HBase Highchats） 网盘地址：https://pan.baidu.com/s/1nbPvWYnJzSOnmuVLbpuKCQ 提取码: 58t3 备用地址（腾讯微云）：https://share.weiyun.com/5mCTtHX 密码：t5ge9m 备用地址（天翼云）：https://cloud.189.cn/t ...
Storm 
勤奋耕耘 评论(0) 有840人浏览 2018-11-16 16:32

推荐系统架构详解

背景介绍： 对于推荐系统，大家应该不陌生。可以说现在已经随处可以看到它的身影。比如你浏览网页时，如在京东上购物，对应页面会根据你的浏览内容给你推荐诸多类似功能的商品。页面上的看了又看以及猜你喜欢，这2个功能背后都是大数据的推荐系统做支持。以及你看今日头条时，你会发现，系统不断动态展现你喜欢的内容，这也是根据大数据而做的推荐内容。尤其现在倡导千人千面的app应用中，每个人浏览的内容都是根据个人的 ...
推荐系统mapreducespark streamingstorm 
nethub2 评论(0) 有1298人浏览 2018-05-10 14:33

分布式系统小知识：Apche Storm可靠性机制里为什么要采用异或来判断消息得到完整性处理?

想起这个问题,是因为知乎上有人提问 storm采用异或的方式来判断消息被完整处理,网上已经有很多介绍了,但是按照这个提问者的描述,为什么它要用异或而不是计数器呢? 这是分布式系统需要考虑异步网络传输模型的原因.acker接收bolt的顺序是不确定的,用来异或的随机数可以认为是一一对应的,就像一把钥匙开一把锁.如果发送的是+1,-1这样的增量,则很容易出现重复,如果acker接收的顺序不是按物理时间顺 ...
storm 
kabike 评论(0) 有756人浏览 2018-05-01 20:15

Storm的容错性

Storm有几种不同的守护进程。Nimbus调度worker，Supervisor运行和杀死worker，log viewer 提供对于日志的访问方式，UI展示集群的状态。   一、问：如果一个Worker死掉了，那么会发生什么？ 答：如果一个worker死掉了，那么supervisor会重启这个worker。如果这个worker在启动的时候持续失败，那么它将不能与Nimbus正常进行心跳通 ...
storm高可用 
商人shang 评论(0) 有1071人浏览 2017-12-19 21:46

storm本地开发环境搭建

Windows环境下搭建storm本地开发环境   所需软件zookeeper,storm,eclipse   在windows上搭建开发调试环境，因为storm依赖zookeeper，所以在windows上也需要运行zookeeper，单机的就好。   第一步：安装zookeeper 下载压缩包zookeeper-3.5.3-beta.tar.gz 解压到比如D:\Program ...
storm环境搭建windows平台 
让随着风飘 评论(0) 有1494人浏览 2017-10-17 09:12

Storm实时读取Kafka

利用Storm的实时处理功能，从Kafka中读取消息，将消息合并后并打印（依次输入hello world .） Storm版本：1.1.1 Kafka版本：2.12-0.11.0.0 Zookeeper版本：3.4.9 1、Kafka配置 server.properties文件修改 #发布外网ip advertised.listeners=PLAINTEXT://*.*.*.*:9 ...
stormkafka大数据 
theseus 评论(0) 有1805人浏览 2017-09-08 11:09

Storm 重启排查（续）

此文主要接 storm worker异常重启原因排查汇总 这篇文章继续描述。上文中的第三点大概描述了一下造成重启的原因，这次又有一次详细的排查过程和思 ...
storm高CPU 
商人shang 评论(0) 有3056人浏览 2017-08-30 17:55

Storm - Trident

Trident 一、Storm 保证性 1.数据一定会发送 通过 ack / fail 方法确认，若失败，则提供重新发送的机制 2.数据一定只会统计一次 数据发送后有一个唯一性 ...
stormtrident 
mingyun 评论(0) 有558人浏览 2017-08-06 17:36

Storm-安装

Storm安装 一、Storm 安装配置 1.安装 JDK 2.安装 Zookeeper 3.安装 Storm tar -zxvf apache-storm.tar.gz cd apache-storm 进入解压后的目录 mkdir tmp 建立程序运行的数据存储位置 cd conf vim storm.yaml 配置信息 # 配置zk信息 storm.zookeeper.s ...
storm 
mingyun 评论(0) 有420人浏览 2017-08-06 11:39

storm-wordCount

单词统计 一、拓扑结构 1.数据来源 2.单词拆分 3.单词计数 4.统计结果 5.拓扑构建 二、代码实现 1.单词来源 package com.study.storm.test.wordcount; import ...
storm 
mingyun 评论(0) 有406人浏览 2017-08-05 20:14

storm worker异常重启原因排查汇总

此时此刻，正在等到6.18的到来，趁着没事写个博客，，，   storm集群在worker down掉以后会自动启动新的woker，但是有很多情况下是感觉不应该重启的时 ...
stormjavaexecutorsupervisor 
商人shang 评论(0) 有5186人浏览 2017-06-18 01:50

大数据处理之荷兰三剑客

大数据现在是业内炙手可热的话题，随着技术的发展，大数据存储技术已经不再是难点，但是对大数据如何做好存储后的下一步处理将是未来竞争的焦点 ...
hadoopmapreducestormsparkyarn 
sharong 评论(0) 有1393人浏览 2017-04-25 20:16

二、服务部署

系统：Ubuntu 备注： 编辑文件命令 vim 文件名称 i   表示当前状态为插入状态 输入完成后，按ESC 键，退出当前编辑模式 :   进入文件操作命令 wq  保 ...
storm 
mingyun 评论(0) 有573人浏览 2017-03-26 00:03

spark学习使用记录

之前一直也在用storm与spark进行开发，最近从头梳理了一下，整个的学习使用过程，一点一点记录 我是学java的，上手就是java api 先说一下我对spark-yarn管理的理解，程序是driver，提交到resourcemanage中，申请资源（excutor个数，core个数等等），如果有资源，则允许运行，分配到各个worknode中，一个分区对应一个task，分区与并发有很大关系， ...
sparkstorm 
guoke456 评论(0) 有840人浏览 2017-01-20 17:48

使用storm trident消费kafka消息

一、前言    storm通过保证数据至少被处理一次来保证数据的完整性,由于元祖可以重发,对于一些需要数据精确的场景,可以考虑用storm trident实现。    ...
stormtridentkafka 
农村外出务工男JAVA 评论(0) 有6605人浏览 2017-01-05 08:10

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics