himo.zhang
- 浏览: 74756 次
- 性别:
- 来自: 北京
-
最新评论
文章列表
分布式设计与开发中有些疑难问题必须借助一些算法才能解决，比如分布式环境一致性问题，感觉以下分布式算法是必须了解的（随着学习深入有待添加）：
Paxos算法
一致性Hash算法
Paxos算法
1）问题描述
分布式中有这么一个疑难问题，客户端向一个分布式集群的服务端发出一系列更新数据的消息，由于分布式集群中的各个服务端节点是互为同步数据的，所以 运行完客户端这系列消息指令后各服务端节点的数据应该是一致的，但由于网络或其他原因，各个服务端节点接收到消息的序列可能不一致，最后导致各节点的数据 不一致。举一个实例来说明这个问题，下面是客户端与服务端的结构图：
当client1 ...
分布式环境中大多数服务是允许部分失败，也允许数据不一致，但有些最基础的服务是需要高可靠性，高一致性的，这些服务是其他分布式服务运转的基础，比如naming service、分布式lock等，这些分布式的基础服务有以下要求：
高可用性
高一致性
高性能
对于这种有些挑战CAP原则 的服务该如何设计，是一个挑战，也是一个不错的研究课题，Apache的ZooKeeper也许给了我们一个不错的答案。ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务， 它暴露了一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。关于ZooKeeper更多信息可以参 ...
分布式设计与开发（四）------数据拆分
- 博客分类：
- 分布式
一个大型系统里各个环节中最容易出性能和可用性问题的往往是数据库，因此分布式设计与开发的一个重要领域就是如何让数据层具有可扩展性，数据库的扩 展分为Scale Up 和Scale Out，而Scale Up说白了是通过升级服务器配置来完 ...
分布式设计与开发（五）------数据库高可用架构
- 博客分类：
- 分布式
数据库高可用架构对于我们这些应用端开发的人来说是一个比较陌生的领域，是在具体的数据库产品之上搭建的环境，需要像DBA这样对数据库产品有足够的了解才能有所涉及，虽然不能深入其中，但可以通过一些经典的高可用 ...
memcached是应用最广的开源cache产品，它本身不提供分布式的解决方案，我猜想一方面它想尽量保持产品简单高效，另一方面cache的 key-value的特性使得让memcached分布式起来比较简单。memcached的分布式主要在于客户端，通过客户端的路由处理来搭建 memcached集群环境，因此在服务端，memcached集群环境实际上就是一个个memcached服务器的堆积品，环境的搭建比较简单。下面从 客户端做路由和服务端集群环境搭建两方面来谈如何让memcached分布式
客户端做路由
客户端做路由的原理非常简单，应用服务器在每次存取某key的value时，通过某 ...
1. 前言
本文的目的是让一个从未接触Hadoop的人，在很短的时间内快速上手，掌握编译、安装和简单的使用。
2. Hadoop家族
截止2009-8-19日，整个Hadoop家族由以下几个子项目组成：
成员名
之前也有一些介绍大型网站架构演变的文章，例如LiveJournal的、ebay的，都是非常值得参考的，不过感觉他们讲的更多的是每次演变的结 果，而没有很详细的讲为什么需要做这样的演变，再加上近来感觉有不少同学都很难明白为什么一个网站需要那么复杂的技术，于是有了写这篇文章的想法，在这篇 文章中将阐述一个普通的网站发展成大型网站过程中的一种较为典型的架构演变历程和所需掌握的知识体系，希望能给想从事互联网行业的同学一点初步的概念，文 中的不对之处也请各位多给点建议，让本文真正起到抛砖引玉的效果。架构演变第一步：物理分离webserver和数据库最 开始，由于某些想法，于是在互联网上搭建了一个网站， ...
AOP是Spring的核心，Spring不但自身对多种框架的集成是基于AOP，并且以非常方便的形式暴露给普通使用者。以前用AOP不多，主要 是因为它以横截面的方式插入到主流程中，担心导致主流程代码不够清晰，定位问题不够方便，而在计费二期的项目里需要一个很适合用AOP来做的功能，就是要 把对外接口和所调用的外部接口的耗时时间给记录下来，这个需求主要来自于计费一期的联调，常常发生系统间交互不够顺畅的情况，这就需要看每个接口调用时间 来判定是谁的问题。
计费中心是整个后台系统的中间环节，与其他系统交互很多，这样的接口也很多，如果在每个接口的调用前后加时间记录比较繁琐，也影响主流程代码的美 观，因 ...
提问嘉宾：
林昊， 网名BlueDavy，China OSGi User Group Director，淘宝网平台架构部架构师，个人的研究方向主要为Java模块化、 动态化系统的构建以及高性能的大型分布式Java系统的构建。曾编写《OSGi实战》和《OSGi进阶》两篇Open ...
仿造Ext Api Doc打造前端组件在线文档
- 博客分类：
- 拾光
项目中的前端组件已达到一定规模，平时常常有开发人员来询问我组件的用法，并且已存在很多由于使用不当造成的问题，因此有必要出一份前端组件的使用文档，方便别人，也方便自己。
使用什么样的格式让我费了不少脑筋，使用word不方便别人索取和自己更新；使用wiki，不方便自己编写；使用普通的html，成本很高。觉得如 果能做一个类似于Ext Api Doc那样的文档就很不错，使用它很方便，不光能建立起类与类的层级关系，还有很强的搜索功能。隐约感觉Ext Api Doc不是专门用Ext开发出来，而是通过源码里的注释自动生成出来，因为Ext源码里的文档和Doc是一一对应的。所以现在需要做的就是，按照一 ...
Java里快如闪电的线程间通讯
- 博客分类：
- JAVA
这个故事源自一个很简单的想法：创建一个对开发人员友好的、简单轻量的线程间通讯框架，完全不用锁、同步器、信号量、等待和通知，在Java里开发一个轻量、无锁的线程内通讯框架；并且也没有队列、消息、事件或任何其他并发专用的术语或工具。
只用普通的老式Java接口实现POJO的通讯。
它可能跟Akka的类型化actor类似，但作为一个必须超级轻量，并且要针对单台多核计算机进行优化的新框架，那个可能有点过了。
当actor跨越不同JVM实例（在同一台机器上，或分布在网络上的不同机器上）的进程边界时，Akka框架很善于处理进程间的通讯。
但对于那种只需要线程间通讯的小型项目而言，用Akka类型化 ...
public class Pedestrian implements Runnable{ static int an,bn; static int count; boolean as=false,bs=false; public static void main(String [] args) { Pedestrian p=new Pedestrian(); } public Pedestrian() { Scanner inputa=new Scanner(System.in); System ...
Brian Goetz对线程安全的定义：当多个线程访问一个对象时，如果不考虑这些线程在运行时环境下的调度和交替执行，也不需要进行额外的同步，或者在调度方进行任何其他的协调操作，调用这个对象的行为都可以获得正确的结果，那这个对象就是线程安全的 并发处理的广泛应用是使得Amdahl定律替代摩尔定律成为计算机性能发展源动力，是人类压榨计算机运算能力最有力的武器 线程安全 限定为多个线程之间存在共享数据访问。因为如果多个线程之间不存在共享数据的话，那么从线程安全的角度看，程序串行和多线程执行时完全没有区别的。 java里面安全程度由强到弱排序(也是由Brian Goetz提出的)：不可变，绝对线程安 ...
这个专题主要讨论并发编程的问题，所有的讨论都是基于JAVA语言的（因其独特的内存模型以及原生对多线程的支持能力），不过本文传达的是一种分析的思路，任何有经验的朋友都能很轻松地将其扩展到任何一门语言。 注： ...
Thread类的run方法和start方法
Java语言写成的程序一定是先从主线程开始操作，所以必须在程序的某个位置启动新的线程，才能算是真正的多线程程序。start()方法是 Thread类的方法，调用start()方法，就会启动新的线程。请注意，被调用来启动线程的是start()方法，而非run()方法。调用 start()方法之后，Java执行处理系统会在背后启动新的线程。再由这个新的线程调用run()方法。调用start()方法，会有两个操作：
启动新的线程
调用run方法
线程的启动
利用Thread类的子类
p ...