frankfan915
- 浏览: 354729 次
- 性别:
- 来自: 杭州
-
最新评论
-
无红墙：
另一种修改，请参考：https://github.com/ta ...
Dubbo不能优雅停机，导致停止服务的时候，业务掉单 -
fish_no7：
if (handler instanceof WrappedC ...
Dubbo不能优雅停机，导致停止服务的时候，业务掉单 -
frankfan915：
lizhou828 写道怎么解决？设置NetTimeoutFo ...
Communications link failure错误分析 -
lizhou828：
怎么解决？
Communications link failure错误分析 -
frankfan915：
ileson 写道 解决办法sh设置NetTimeoutFo ...
Communications link failure错误分析
文章列表
Worker 主要负责管理excutor和driver，并向master报告excutor和driver的状态
Worker的启动
类似于master，创建了worker的actor
private[spark] object Worker {
def main(argStrings: Array[String]) {
val args = new WorkerArguments(argStrings)
val (actorSystem, _) = startSystemAndActor(args.host, args.port, args.webUi ...
本节主要分析Master 的主要功能。
Master主要分为两块. 1. Master leader的选举。2.Master对work,application,deriver的管理
首先看Master是怎么启动的
调用了 actorSystem.actorOf()创建了Master Actor对象
def main(argStrings: Array[String]) {
val conf = new SparkConf
val args = new MasterArguments(argStrings, conf)
val (actorSys ...
Excutor在接收到task后会调用RDD的computor方法来计算最后的结果，下图是每个RDD的computor函数
这一节讲述的是driver，master，excutor 之间交互的流程,从register application到launch task
Driver generate jobs and launch task
1. Driver将按照DStream的compute方法生成RDD的依赖列表
2. 按照RDD的关系生成stage的列表，stage分为两种：finalStage和shuffledStage .
1）每个ShuffledRDD 都会产生一个shuffledStage，shuffledstage用来将shuffledRDD的prev RDD计算的结果按照patition写入到每个bucket中去，这个过程叫做shuff writer。ShuffledRDD 在computer的时候会按照patition ...
Spark官网：http://spark.apache.org/docs/latest/
Apache Spark is a fast and general-purpose cluster computing system. It provides high-level APIs in Scala, Java, and Python that make parallel jobs easy to write, and an optimized engine that supports general computation graphs. It also supports a rich ...
Dubbo源代碼分析-configuration
- 博客分类：
- 源码分析
dubbo的官方網站為：
http://code.alibabatech.com/wiki/display/dubbo/User+Guide#UserGuide-ServiceProvider
这个章节分析Dubbo的configure模块。
Spring启动的时候，会到spring.handlers文件中查找相应的namespacehandler,
并将其存入到mapping中。如Dubbo中的配置为：
http\://code.alibabatech.com/schema/dubbo=com.alibaba.dubbo.config.spring.schem ...
<!--[if !supportLists]-->1.
<!--[endif]-->For the SQL
DEL_ORACLE_DATA. I think we can use truncate to replace delete. Because
truncate is faster than delete.
We can update it to be:
public final static String DEL_ORACLE_DATA =
"begin for cur in (select owner, table ...
1.异常描述
Exception:
com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure
The last packet successfully received from the server was 7 milliseconds ago. The last packet sent successfully to the server was 1,023,250 milliseconds ago.
at sun.reflect.Native ...
1. 错误 Missing message: configure.incompatibleComplianceForTarget in: org.aspectj.ajdt.ajc.messages
原因是：Project Structure-> Modules->language level 小于 Settings->Compiler->Java Compiler->Command line parameters中的target版本
Flash Back Version Query
参考文档：
http://docs.oracle.com/cd/E11882_01/appdev.112/e25518/adfns_flashback.htm
http://www.cnblogs.com/coohoo/archive/2011/01/16/1936888.html
Use Oracle Flashback Version Query to retrieve the different
versions of specific rows that existed during a given time inter ...
AuditTrail研究
- 博客分类：
- 工作总结
为了将Oracle迁移到MySQL，过程中需要做增量数据的记录。因此想了几种方案：
1. 如果表后面有modifydate这个字段的话，就可以按照这个字段来迁移表，将在dump时间之后修改的数据做迁移
2.在需要做增量迁移的表上建trigger，将insert，update,delete的操作记录下来。
3.用oracle自带的audit trail功能来做
接下来详细介绍一下audit trail
参考资料：http://www.oracle-base.com/articles/10g/auditing-10gr2.php
http://hi.b ...
项目需要每天自动编译代码，运行test case，然后发邮件给项目组里的人。这个工作本来可以用hudson来做的，但因为自己要改一些文件，感觉用dos命令比较方便。hudson下次再学吧。
用dos命令做的步骤是：
1.建立windows计划任务，让它定点运行bat文件
2.在P4上建立daily build需要的client
3.bat文件中做的工作包括:
> dos命令将P4上的代码下载到本地
> 将需要更新的文档复制到相应的文件夹
> 调用mvn clean install命令编译文件，运行相应的test case
...
关于final变量可以被修改
- 博客分类：
- 工作总结
一个类的final变量也是可以通过反射，拿到这个变量，然后修改的。除非这个变量是static final的，可以通过代码验证。
1. 请教一个问题:代码如下，当线程2运行的时候发现O.b = 2了，这说明O.a也更新了，但关键的问题是b是volatile的，会立即刷新内存，那么b的值肯定是立刻写回到主内存的 。但是因为a是取到工作内存中的，并在工作内存中更新，最后才会写回到主内存中，会不会有可能当b在主存更新了的时候，a没有被更新呢，线程2看到的值还是1？或者说代码是顺序执行的，只有当a的值写回到主内存中才会去执行更新b的代码？ 答案应该是前面这种情况，只有b才能即时的更新到主内存
public class ObjectA
{
public int a = 1;
public volatile ...