本月博客排行
-
第1名
Xeden -
第2名
fantaxy025025 -
第3名
bosschen - paulwong
- johnsmith9th
年度博客排行
-
第1名
青否云后端云 -
第2名
宏天软件 -
第3名
gashero - gengyun12
- wy_19921005
- vipbooks
- e_e
- benladeng5225
- wallimn
- ranbuijj
- javashop
- jickcai
- fantaxy025025
- zw7534313
- qepwqnp
- robotmen
- 解宜然
- ssydxa219
- sam123456gz
- zysnba
- sichunli_030
- tanling8334
- arpenker
- gaojingsong
- xpenxpen
- kaizi1992
- wiseboyloves
- jh108020
- xyuma
- ganxueyun
- wangchen.ily
- xiangjie88
- Jameslyy
- luxurioust
- mengjichen
- lemonhandsome
- jbosscn
- nychen2000
- zxq_2017
- lzyfn123
- wjianwei666
- forestqqqq
- ajinn
- siemens800
- hanbaohong
- 狂盗一枝梅
- java-007
- zhanjia
- 喧嚣求静
- Xeden
最新文章列表
akka简单入门例子
spark版本里面用到的就是akka通信,2.0版本 已经不再使用akka了。这里写了一个简单的akka程序。
首先定义2个消息类object MyRequest {
var message:String=null
}
object MyResponse {
var message:String=null
}
定义2个通信的actorclass Student(teacherRef: ...
Storm和Akka的比较
1.【Storm】==>tuple || bolt || spout || topology
Storm is a distributed, real-time computation system. On a Storm cluster, you execute topologies, which process streams of tuples (data).
Each t ...
spark overview
1. spark vs hadoop
PS:Databricks团队特别说明,为了和Hadoop对比,这次用于排序的Spark集群没有使用它们的内存缓存机制,他们也是用硬盘存储的中间结果! http://tieba.yunxunmi.com/mtieba-hadoop-kz-58b9e430a78747f7fb1ea9f9e6374597.html 但是我们要明白,spark的目标是与ha ...
试用配置管理库typesafe.config
试用配置管理库typesafe.config
Typesafe的Config库,纯Java写成、零外部依赖、代码精简、功能灵活、API友好。支持Java properties、JSON、JSON超集格式HOCON以及环境变量。它也是Akka的配置管理库.
Overview
纯java实现,无任何依赖
充分的测试
支持: Java properties, JSON, and a hu ...
scala akka 修炼之路5(scala特质应用场景分析)
cala中特质定义:包含一些字段,行为(方法/函数/动作)和一些未实现的功能接口的集合,可以方便的实现扩展或混入到已有类或抽象类中。
scala中特质(trait)是一个很有用的特性,在程序设计中可以 更好的抽象现实,使程序更关注各自功能和更好的将程序拆分成多个特质模块,使程序具有更强的扩展性。熟悉java的同学,可以将特质理解为抽象类,但是scala中可以在一个类中同时混入多个特质 ...
scala akka 修炼之路3(基于java nio的socket编程)
package cn.yangg.scala.base.init
import java.io.Closeable
import java.nio.channels.ServerSocketChannel
import java.net.InetSocketAddress
import java.nio.channels.SocketChannel
import java.nio ...
scala akka 修炼之路2(文件操作)
package cn.yangg.scala.base.init
object Start {
def main(args:Array[String]){
valpath="/Users/yangguo/tool/mvn.ln"
valurl="http://www.baidu.com"
readDataUseJava ...
scala akka 修炼之路1(使用actor实现一个job的并发计算和task失败重启)
package cn.yangg.scala.akka.init
import akka.actor.Actor
import akka.actor.Props
import akka.actor.ActorRef
import akka.actor.Terminated
import akka.event.Logging
import akka.actor.ActorSyst ...
Akka学习笔记:消息传递可靠性
一般规则
关于消息发送,有两条基本规则:
最多一次,即不保证消息传递可靠性
message ordering per sender–receiver pair
消息传递机制
最多一次,意味消息有可能丢失
最少一次,保证消息传递可靠,但可能冗余
保证只成功一次,性能最差,消息成功传递,不冗余
为什么不保证传递
Akka学习笔记:Akka与Java的内存模型
Akka简化了编写并发软件的过程,本文主要讨论Akka如何在并发应用中访问共享内存。
Java内存模型
Java5之前的JMM是相当混乱的。多线程访问共享内存很有可能会得奇怪的结果,如:
可见性问题,无法及时看到其他线程写入的值
指令乱序,观测到其他线程不可能的行为
从Java 5的JSR 133的实现,很多问题就解决了。JMM是基于一组"happens-before&q ...
Akka学习笔记:Actor
上一节讲到actor是actor system最基本的单元。这一节详细的讲讲actor.更详细here。actor是一个拥有state,behavior,mailbox,children,supervisor strategy的容器.Akka保证所有actor都只运行在自己的轻量级线程,并一次处理一个消息,这样程序员就不用处理同步、竞态
Actor Reference
为了防止actor对象 ...
Akka学习笔记:Actor Systems
图中表示的是一个Actor System,它显示了在这个Actor System中最重要实体之间的关系。
什么是actor,是一个封装了状态和行为的对象,每个actor都通过message交流,从自己的mailbox中读取别的actor发送的消息。
Akka笔记之配置及调度
我们先看下 ActorSystem 里的方法的一个子集。
1. 配置管理
还记得前面我们用来配置日志级别的那个application.conf文件吗?它就好比Java程序里的那些.properties文件一样。马上我们会看到如何通过这个配置文件来自定义分发器以及邮箱等。(这么说好像对 typesafe config 而言不太公平。看过
spark内核揭秘-05-SparkContext核心源码解析初体验
SparkContext在获得了一系列的初始化信息后开始创建并启动TaskScheduler实例:
进入createTaskScheduler方法:
我们看一下其Standalone的方式:
在上述代码中首先实例化一个TaskSchedulerImpl:
然后构建出了masterUrls:
接着创建出关键的backend: