wbj0110
- 浏览: 1602447 次
- 性别:
- 来自: 上海
-
最新评论
-
wahahachuang5：
web实时推送技术使用越来越广泛，但是自己开发又太麻烦了，我觉 ...
使用 HTML5 WebSocket 构建实时 Web 应用 -
秦时明月黑：
Jetty 服务器架构分析 -
chenghaitao111111：
楼主什么时候把gecko源码分析一下呢，期待
MetaQ技术内幕——源码分析(转) -
qqggcc：
为什么还要写代码啊，如果能做到不写代码就把功能实现就好了
快速构建--Spring-Boot (quote) -
yongdi2：
好厉害！求打包代码
Hadoop日志文件分析系统
文章列表
jquery.cookie.js 是一款轻量级的 cookie 插件，可以读取，写入和删除 cookie。本文主要针对 jquery.cookie.js 的用法进行详细的介绍。使用方法：设置 cookie：
$.cookie('the_cookie', 'the_value');
复制代码
一、什么是 cookie？cookie 就是页面用来保存信息，比如自动登录、记住用户名等等。二、cookie 的特点1.同个网站中所有的页面共享一套 cookie2.cookie 有数量、大小限制3.cookie 有过期时间
【编者的话】本文作者通过ZooKeeper与Eureka作为Service发现服务（注：WebServices体系中的UDDI就是个发现服务）的优劣对比，分享了Knewton在云计算平台部署服务的经验。本文虽然略显偏激，但是看得出Knewton在云平台方面是非常有经验的，这篇文章从实践角度出发分别从云平台特点、CAP原理以及运维三个方面对比了ZooKeeper与Eureka两个系统作为发布服务的优劣，并提出了在云平台构建发现服务的方法论。
背景
很多公司选择使用ZooKeeper作为Service发现服务（Service Discovery），但是在构建
Background
在MapReduce框架中，shuffle是连接Map和Reduce之间的桥梁，Map的输出要用到Reduce中必须经过shuffle这个环节，shuffle的性能高低直接影响了整个程序的性能和吞吐量。Spark作为MapReduce框架的一种实现，自然也实现了shuffle的逻辑，本文就深入研究Spark的shuffle是如何实现的，有什么优缺点，与Hadoop MapReduce的shuffle有什么不同。
Shuffle
Shuffle是MapReduce框架中的一个特定的phase，介于Map phase和Reduce phase之间，当Map的输出结果要被 ...
概要
本篇主要阐述在TaskRunner中执行的task其业务逻辑是如何被调用到的，另外试图讲清楚运行着的task其输入的数据从哪获取，处理的结果返回到哪里，如何返回。
准备
spark已经安装完毕
spark运行在local mode或local-cluster mode
l ...
TCP和UDP在网络传输中非常重要，在Android开发中同样重要。
首先我们来看一下什么是TCP和UDP。
什么是TCP？
TCP：Transmission Control Protocol 传输控制协议TCP是一种面向连接（连接导向）的、可靠的、基于字节流的运输层（Transport laye ...
Netty提供异步的、事件驱动的网络应用程序框架和工具，用以快速开发高性能、高可靠性的网络服务器和客户端程序[官方定义]，整体来看其包含了以下内容：1.提供了丰富的协议编解码支持，2.实现自有的buffer系统，减少复制所带来的消耗，3.整套channel的实现，4.基于事件的过程流转以及完整的网络事件响应与扩展，5.丰富的example。本文并不对Netty实际使用中可能出现的问题做分析，只是从代码角度分析它的架构以及实现上的一些关键细节。
首先来看下最如何使用Netty(其自带example很好展示了使用)，Netty普通使用一般是通过BootStrap来启动，BootStrap主要分为 ...
Netty是JBoss出品的高效的Java NIO开发框架，关于其使用，可参考我的另一篇文章 netty使用初步。本文将主要分析Netty实现方面的东西，由于精力有限，本人并没有对其源码做了极细致的研 究。如果下面的内容有错误或不严谨的地 ...
1、简介
Java1.4提供了NIO使开发者可以使用Java编写高性能的服务端程序，但使用原生的NIO API就像Linux C中网络编程一样，还是需要做IO处理、协议处理等低层次工作。所以，就像C服务端程序大量使用libevent作为网络应用框架一样，Java社区也不断涌现出基于NIO的网络应用框架。在这其中，Jboss出品的Netty就是个中翘楚。Netty是个异步的事件驱动网络应用框架，具有高性能、高扩展性等特性。Netty提供了统一的底层协议接口，使得开发者从底层的网络协议（比如TCP/IP、UDP）中解脱出来。就使用来说，开发者只要参考 Netty提供的若干例子和它的指南文档，就可 ...
概要
本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。
实验环境搭建
在进行后续操作前，确保下列条件已满足。
下载spark binary 0.9.1
安装scala
安装sbt
楔子
源码阅读是一件非常容易的事，也是一件非常难的事。容易的是代码就在那里，一打开就可以看到。难的是要通过代码明白作者当初为什么要这样设计，设计之初要解决的主要问题是什么。
在对Spark的源码进行具体的走读之前，如果想要快速对Spark的有一个整体性的认识，阅读Matei Zaharia做的Spark论文是一个非常不错的选择。
在阅读该论文的基础之上，再结合Spark作者在2012 Developer Meetup上做的演讲Introduction to Spark Internals，那么对于Spark的内部实现会有一个比较大概的了解。
该软件采用P2P方式，各个客户端之间直接发消息进行会话聊天，服务器在其中只扮演协调者的角色(混合型P2P)。
1.会话流程设计
当一个新用户通过自己的客户端登陆系统后，从服务器获取当前在线的用户信息列表，列表信息包括了系统中每个用户的地址。用户就可以开始独立工作，自主地向其他用户发送消息，而不经过服务器。每当有新用户加入或在线用户退出时，服务器都会及时发消息通知系统中的所有其他用户，以便它们实时地更新用户信息列表。
按照上述思路，设计系统会话流程如下：
（1）用户通过客户端进入系统，向服务器发出消息，请求登陆。
软件设计原理的理论在大多数学生眼里既枯燥又乏味——那是因为他们从没做过真正的软件项目，以致于这些概念在他们眼里似是而非。
例如，他们了解耦合性、内聚性、MVC和ESB。但是当被问到为什么要掌握这些概念以及何时使用的时候就一问三不知哑口无言了。记住一些UML图是一件很容易的事，但是要想掌握具体使用情况以及如何稍作修改以便于适应具体应用需求就难了。
为了更好地理解软件的设计理念，有些教授想出了一些很有意思的点子——那就是模拟真实场景，这使得这些概念更易于学生的理解和掌握。
举个关于低耦合原则的真实事例：
Mike想要申请一本护照，他到了相关部门之后遇到了Jack
两天后，他将所需要的 ...
2. Higher Order Functions
把其他函数作为参数或者作为返回值，就是 higher order functions，python 里面也可以看到这样使用的情形。在酷壳上的博客有一个例子就是将函数作为返回值。
2.1 匿名函数
在 python 里边叫 lambda 函数，常常与 map(), filter(), reduce() 联合使用，前面也写过一篇这样的博客。
举一个 scala 的 reduce 的例子，f: Int => Int 表示 f 是一个整数映射到整数的函数，计算下面公式：
Scala 本意是可伸展。它的设计哲学是：允许用户通过定义感觉像原生语言支持一样的易用库去在他们需要的方向上改进和发展语言——Scala allows users to grow and adapt the language in the directions they need by defining easy-to-use libraries that feel like native language support.。Scala 运行在 Java 平台上，可以与所有的 Java 库无缝交互。
1. Function evaluations
Scala 是纯粹的面向对象 ...