分布式热门博客列表 - ITeye博客频道 - 第33页

分布式系统基础知识

1、常见指标 Send 1M bytes over 1Gbps network（基于千兆网传输1M数据）：10ms Round trip within data center（同数据中心请求读取）：0.5ms Disk seek（磁盘寻道时间）� ...

分布式

spxsjd 评论(0) 有1297人浏览 2011-10-13 11:26

一、前提和设计目标1、硬件错误是常态，而非异常情况，HDFS可能是有成百上千的server组成，任何一个组件都有可能一直失效，因此错误检测和快速、自动的恢复是HDFS的核心架构目标。2、跑在HDFS上的应用与一般的应用不同，它们主要是以流式读为主，做批量处理；比之关注数据访问的低延迟问题，更关键的在于数据访问的高吞吐量。3、HDFS以支持大数据集合为目标，一个存储在上面的典型文件大小一般都在千兆至T ...

Hadoop 分布式架构和设计云存储云计算

tianasn 评论(0) 有598人浏览 2011-09-29 13:21

多线程下并发同步机制

1. 前言 JDK提供的并发包，除了上一篇提到的用于集合外，还有线程的调度、协作、调度等等功能。上篇提到过，线程之间除了竞争关系，还有协作关系。在高并发环境下有效利用Java并发包解决线程之间协作的特殊场景。在并行计算，尤其是多线程计算的结果集合并的时候都需要用到这些并发同步器。还有一种使用场景，就是跨越多台机器（实机）的多线程进行并行运算，需要将多台机器进行结果集的汇总，合并。其原理核心也是使 ...

多线程分布式

pluto418 评论(0) 有6735人浏览 2011-09-24 11:46

JDK并发包分析与总结

1. 前言平时咱们使用的HashMap、ArrayList等等容器集合包都存在线程安全的问题，看过JDK源码的各位朋友们知道这些实现类底层，为了性能，都没有对这� ...

JDK 并发分布式线程安全

pluto418 评论(0) 有3103人浏览 2011-09-24 09:02

Cassandra数据存储

版本：0.7.6 客户端：cassandra自带的thrift客户端标准column的查询、删除、新增：写道 TTransport tr = new TFramedTransport(new TSocket("localhost",9160)); TProtocol proto = new TBinaryProtocol(tr); Cassandra.Client c ...

cassandra 分布式

goon 评论(0) 有1721人浏览 2011-09-15 15:59

Java分布式应用学习笔记08JMX规范与常用的监控场景

1. JMX规范 JMX是“Java管理扩展的”的缩写，它和其他JavaEE类似也是曾经的Sun提出的一种规范（规约），从名字上可以看出主要是负责系统管理。是一个为系统加入或者说扩展成有管理功能的规约，只要按照这套规约行事，您的系统，某些某块就具备被其他工具（例如JConsole）管理的能力。换句话说就是可以用JMX来监控咱们的系统运行情况，还有可以在运行时环境像Web Service、RMI一 ...

分布式集群 JMX JConsole 监控

suhuanzheng7784877 评论(26) 有9236人浏览 2011-09-13 09:17

Java分布式应用学习笔记07线程池应用(又名：线程池与大排档)

1. 线程池是啥子一说到池子，大家都会想到数据库连接池那种对象池。本来嘛，现在倡导废物回收利用的节能环保绿色新社会嘛。其实线程池的初衷就是能将已经创建好了的线程对象重复利用。之前咱们说过对于一个分布式系统，离不开高并发、多线程的支持。那么无论是HTTP方式的，还是文件方式的，面对海量的客户端请求，作为服务端如果对于请求使用单线程阻塞方式显然是不可能的。JDK5之后为咱们提供了现成的线程池对象。 ...

Java 分布式集群线程池并发

suhuanzheng7784877 评论(19) 有7261人浏览 2011-09-07 09:00

Hadoop学习笔记－入门伪分布式配置（Mac OS,0.21.0,Eclipse 3.6）

说实话，Hadoop的入门学习配置比我想像中的要简单，当然，Hadoop本身是比较复杂的（那么厚厚的一本书就能说明问题）。开发环境：Mac OS（Unix） Hadoop版本：0.21.0 Eclipse版本: 3.6.0 第一步：下载Hadoop 下载地址：http://hadoop.apache.org/common/releases.html#Download 注意，当前21版本的Had ...

分布式 Hadoop HDFS 配置 Unix

andy_ghg 评论(3) 有24985人浏览 2011-09-04 22:47

分布式计算nuclear bomb hadoop--性能篇

hadoop获得的巨大的成功令人不得不关注和研究它。本文将从它如何提高计算性能，减少计算时间入手分析hadoop。 1.性能可以线性提高 hadoop的计算模型就是map/reduce，每一个计算任务会被分割成很多互不依赖的map/reduce计算单元，将所有的计算单元执行完毕后整个计算任务就完成了。因为计算单元之间互不依赖所以计算单元可以分配到不同的计算机上执行，这样就可以将计算压力平摊到多个 ...

hadoop 分布式性能

loveczp 评论(0) 有1332人浏览 2011-08-19 21:09

Java分布式应用学习笔记06浅谈并发加锁机制分析

1. 前言之前总结的多线程的调度、并发调度、线程加锁安全等等并发包底层大都使用了线程锁机制。咱们通过锁的源码来看看JDK如何将这些资源进行加锁限制的，怎么就能做到线程集中等待后就唤醒主线程的。 2. 一段并发包源码以下是java.util.concurrent.CyclicBarrier的底层代码片段。 private int dowait(boolean timed, lo ...

java 分布式集群线程锁并发

suhuanzheng7784877 评论(20) 有8126人浏览 2011-08-19 16:12

Java分布式应用学习笔记05多线程下的并发同步器----后篇

5. CountDownLatch 很多资料上都说CountDownLatch是倒数计数器，我觉得这种说法太过专业，其实它就是一个数数的人员。利用它，可以在多线程执行任务完毕后完成进行多线程的等待，便于等待所有的线程之后在干别的事情，这个有点类似于FutureTask，使用上不太一样。这个场景就是一个线程必须要等到其他线程执行完毕后才能往下执行，注意，这里这个线程没必要需要其他线程的执行结果，而 ...

分布式集群线程调度多线程同步器

suhuanzheng7784877 评论(12) 有7059人浏览 2011-08-11 09:07

Java分布式应用学习笔记05多线程下的并发同步器----前篇

1. 前言 JDK提供的并发包，除了上一篇提到的用于集合外，还有线程的调度、协作、调度等等功能。上篇提到过，线程之间除了竞争关系，还有协作关系。在高并发环境下有效利用Java并发包解决线程之间协作的特殊场景。在并行计算，尤其是多线程计算的结果集合并的时候都需要用到这些并发同步器。还有一种使用场景，就是跨越多台机器（实机）的多线程进行并行运算，需要将多台机器进行结果集的汇总，合并。其原理核心也是使 ...

分布式集群并发包线程调度器多线程

suhuanzheng7784877 评论(30) 有9415人浏览 2011-08-11 09:02

Java分布式应用学习笔记04JDK的并发包的集合总结---后篇

唉~这一大篇blog又是只能显示部分，部分内容被截断了。。。。 4. Set的并发 CopyOnWriteArraySet和CopyOnWriteArrayList底层实现差不多，就是在添加元素的时候需要对对象进行唯一性判断，如果对象数组已经含有重复的元素，不进行增加处理。在此不再赘述。 5. Queue的并发队列的并发类是java.util.concurrent.ArrayBl ...

分布式集群并发包 Java 集合

suhuanzheng7784877 评论(7) 有4522人浏览 2011-08-02 17:21

Java分布式应用学习笔记04JDK的并发包的集合总结---前篇

1. 前言平时咱们使用的HashMap、ArrayList等等容器集合包都存在线程安全的问题，看过JDK源码的各位朋友们知道这些实现类底层，为了性能，都没有对这些集合的操作方法做加锁或者副本传递机制，只有Vector和Stack是线程安全的，大家可以看它们的源码，底层方法是以在方法上加上synchronized作为代价的，换句话说是用时间换取空间的方式。Sun JDK对多线程并发环境下做了很多 ...

分布式集群并发包集合 Java

suhuanzheng7784877 评论(9) 有5431人浏览 2011-08-02 17:17

Java分布式应用学习笔记02再谈JVM---续

唉~~因为blog总显示不全只能分为2个了，排版也不是很好，凑合着看吧。客户端执行的优化策略有如下3种措施方法内联：一个方法的执行离不开其他方法的支持，若调用的其他方法十分简单。那么调用的时候会将被调用那个方法里面所有的内容粘到主调方法中，这样做的好处是节省参数变量，中间变量的资源和返回值的资源申请位置。 private void

Java JVM 虚拟机分布式集群

suhuanzheng7784877 评论(7) 有3835人浏览 2011-07-25 09:22

Java分布式应用学习笔记02再谈JVM

1. 前言-为何要再谈JVM 很多人认为，分布式Java应用看上去好像和Java虚拟机没什么太多关注的东西，别说分布式系统了，就是一个单机JavaSE系统也不用将JVM学得透透的，有个JVM执行不就行了吗。据笔者的经验回答则是，在大型分布式系统，尤其是云计算服务平台，SAAS也好，PAAS也罢，要求编写的应用必须要高效，你就当你运行的是一个配置很小的机器上，要求资源比较苛刻。所以了解，甚至再学习 ...

Java JVM 虚拟机分布式集群

suhuanzheng7784877 评论(6) 有5892人浏览 2011-07-25 09:10

Java分布式应用学习笔记01分布式Java应用和SOA

1. 前言当我们所做的系统到一定的程度后，随着涉及的领域越来越宽泛，客户群也越来越多，我们的系统不得不需要第三方系统协作，或者将原有大� ...

java 分布式 SOA SCA ESB

suhuanzheng7784877 评论(11) 有4275人浏览 2011-07-22 13:52

centos下分布式任务处理软件gearman的安装

yum install boost-devel yum install libevent-devel yum install e2fsprogs-devel wget http://launchpad.net/gearmand/trunk/0.23/+download/gearmand-0.23.tar.gz tar zxvf gearmand-0.23.tar.gz cd gea ...

centos 分布式 yum gearman

snageyang 评论(0) 有1343人浏览 2011-07-22 13:09

Hadoop初试

blog迁移至 :http://www.micmiu.com Hadoop一个分布式系统基础架构，是Apache基金下的一个子项目。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部 ...

Java Linux Apache Hadoop 分布式

sjsky 评论(3) 有2176人浏览 2011-07-16 12:53

【转载CSDN】J2EE分布式技术认识

越来越多的任务关键型与大规模应用运行在Java EE技术上。有的应用例如银行的或者是记费系统需要越来越高的高可用性(HA)，另外一些应用比如像Google或者是Yahoo则需要越来越好的可扩展性。eBay在99年的22小时宕机，造成230万笔交易的中断，影响其股价下跌9.2%。这个示例充分证明了高可用性和可扩展性在今天变得越来越重要。 Java EE的集群技术是为了提供高可用和有容错能力的可扩展 ...

J2EE 分布式

hover_2010 评论(0) 有1592人浏览 2011-07-06 20:31

博客专栏推荐

本月博客排行

年度博客排行

最新文章列表