博客首页 → Streaming

最新文章列表

大数据学习笔记（六）-spark streaming demo 运行【原创】

1. 打开一个终端， 输入 nc -lk 9999 2. 打开另一个终端，切换到SPARK＿HOME目录，运行 cd /usr/local/spark-2.1.0-bin-hadoop2.7 ./bin/run-example org.apache.spark.examples.streaming.NetworkWordCount localhost 9999 3.在控制台输入一串字符 4 ...
sparkstreamingdemo 
zhenggm 评论(0) 有747人浏览 2017-02-23 08:30

3.spark streaming Job 架构和容错解析

一.Spark streaming Job 架构 SparkStreaming框架会自动启动Job并每隔BatchDuration时间会自动触发Job的调用。 Spark Streaming的Job 分为两大类: 每隔BatchInterval时间片就会产生的一个个Job，这里的Job并不是Spark Core中的Job，它只是基于DStreamGraph而生成的RDD的DAG而已；从 ...
sparkstreamingjob容错架构 
zhou_yuefei 评论(0) 有1447人浏览 2016-05-08 18:41

spark streaming JavaQueueStream实例改造测试数据流

为了搞清楚Spark Streaming处理数据流，改造了以有的例子来进行测试数据在Spark内部的流向。   package org.apache.spark.examples.streaming; import java.util.LinkedList; import java.util.List; import java.util.Queue; import scala ...
sparkstreaming数据流JavaQueueStream 
ganliang13 评论(0) 有3912人浏览 2014-08-29 10:31

Using the Aggregate package in Java is explained

http://hadoop.apache.org/docs/current/api/org/apache/hadoop/mapred/lib/aggregate/package-summary.html
HadoopMap-ReduceStreaming 
wbj0110 评论(0) 有907人浏览 2013-11-11 11:09

基于Netty实现CometStreaming方式的聊天室

       这段时间在研究web服务器消息推送，除了html5的websocket，comet是一项很好的方案。comet不是一项专门的技术，更像是一个解决方案。说来也简单，服务端需要能把connection hold，浏览器也需要特殊的支持保持从服务端获取数据，幸好用xmlhttprequest，ajax的实现也是靠它。comet一般有两种方式long poll和streaming。长轮询是cl ...
nettycometstreaming消息推送 
xiaoZ5919 评论(12) 有11683人浏览 2013-01-06 17:18

对实时分析与离线分析的思考

    数据的价值是有时效性的，越早分析越能得到更快的问题反馈或响应。Hadoop的设计初衷是存储与分析离线大数据，我认为它的缺点就是不能及时地 ...
hadoopstreaming 
langyu 评论(1) 有10940人浏览 2012-02-13 16:06

VLC Streaming

http://www.videolan.org/vlc/streaming.html Redhat EL http://www.videolan.org/vlc/download-redhat.html http://wiki.centos.org/AdditionalResources/Repositories/RPMForge#head-5aabf02717d5b6b12d47edbc5811 ...
VLCh264redhatcentosstreaming 
arcko 评论(0) 有2195人浏览 2012-02-07 22:47

[转载]Hadoop Streaming 实战： aggregate

http://blog.csdn.net/yfkiss/article/details/7019022   2. aggregate class summary DoubleValueSum This class implements a value aggregator that sums up a sequence of double values. LongValueMa ...
HadoopStreaming 
ama2000 评论(0) 有1341人浏览 2012-02-01 20:30

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics