分布式的每一个节点可以做成集群,每个集群并不一定是分布式。
一.分布式
不同子系统实现不同的的服务,做为一个整体对外提供服务。(另一种说法:平常讲一个技术支持分布式是指可以布署在不同机器,提供一个服务,应该是相当于集群这个概念)
二.集群
不同计算机实现相同的服务,做为一个整体对外提供服务。(1.它是为解决高访问量问题,对某个客户端请求来讲,事实上只有一台计算机为它提供服务;2.高计算性的集群,跟分布式的定义是一致,也是一个分布式)
1.分类:
a.高可用性集群:利用集群管理软件,当主服务器故障时,备份服务器能够自动接管主服务器的工作,并及时切换过去,以实现对用户的不间断服务。
b.负载均衡集群:即把负载压力根据某种算法合理分配到集群中的每一台计算机上,以减轻主服务器的压力,降低对主服务器的硬件和软件要求。
c.高计算性集群:即充分利用集群中的每一台计算机的资源,实现复杂运算的并行处理,通常用于科学计算领域,比如基因分析,化学分析等。
2.负载均衡集群相关技术
a.硬件设备方案:F5,Netscalar;
b.软件负载方案:LVS。该项目针对高可伸缩、高可用网络服务的需求,给出了基于IP层和基于内容请求分发的负载平衡调度解决方法,它通过前端一个负载调度器(Load Balancer)无缝地将网络请求调度到真实服务器上,从而使得服务器集群的结构对客户是透明的,客户访问集群系统提供的网络服务就像访问一台高性能、高可用的服务器一样。
c.去中心化实现法:cassandra
d.缓存状态的水平伸缩:广播同步(JGroups),分布式内存缓存(memcached,terracotta),基于cookie方式和数据库存储方式
e.文件的水平伸缩:直链式存储(DAS),网络存储(NAS,SAN),分布式文件系统(GFS)
f.应用的水平伸缩
g.数据库的水平伸缩:分库,分表,读写分离,nosql(mongdb,
cassandra
等)。
3.linux虚拟机LVS的学习:
http://yesbi.iteye.com/blog/1247217
例子具体完善中。。。增加高可用(心跳测试),增加分布式缓存,增加文件的分布式。
4.memcached,terracotta学习中。
三.系统间的通信
tcp/ip,http,socket区别:tcp/ip是传输层协议;http是运用层协议,http协议是基于tcp/ip协议;socket本身并不是一个协议,它是对tcp/ip协议的封装,是tcp/ip协议的抽象,通过socket才能使用tcp/ip协议,是tcp/ip协议的编程接口参考http://hi.baidu.com/qiaoyuetian/blog/item/1f32d5df42eeb6056327985c.html
。
系统间通信包括数据的传输(tcp/ip,udp/ip协议)、数据的处理(例如读取和写入数据属于网络IO的操作包括BIO,NIO,AIO等方式)。
网络通信的式有tcp/ip+bio,tcp/ip+nio,udp/ip+bio,udp/ip+nio这四种不同方式,对应于java都有对应的Socket类库来支持这不同方式,如Socket,ServerSocket,SocketChannel,ServerSocketChannel,DatagramSocket等相关来支持。
rmi,webservice,jms最终都是通过网络通信方式来实现的,如rmi是基于tcp/ip+bio,webservice是基于http,jms是基于http,tcp/ip方式
系统间通讯的技术有socket,mina,netty,rmi,jms,webservice等技术。
1.socket 通信
服务器Socket是监听机器的某个端口的服务,只跟这台机器在此端口监听到的信息有关,跟具体的客户端Socket是来自什么机器什么操作系统什么语言编写的无关(客户端Socket也是类似),再由机器根据网络传输的规范完成网络的通信。
2.rmi学习中。。。
- 大小: 42.8 KB
分享到:
相关推荐
分布式开发的时代实际上早已悄悄地成为了时代的主流,吵得很热的云计算实际上只是包装在分布式之外的商业概念,很多开发者(包括我)都想加入研究云计算这个潮流,在google上通过“云计算”这个关键词来查询资料,查...
Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程 按照文档中的操作步骤,一步步操作就可以完全实现hadoop2.2.0版本的完全分布式集群搭建过程
分布式媒体集群处理中心应用设计与研究的知识点: 1. 分布式系统架构设计 本文所探讨的分布式媒体集群处理中心,其设计基于分布式系统架构理念,能够支持大规模的视音频文件处理。通过构建播出节目文件备播系统,...
1. 集群建模与分析:首先要对分布式光伏集群的并网结构进行建模,通过建模可以更好地理解各个光伏电站之间的相互作用以及对电网的影响。 2. 功率预测与分配:利用USTPF技术对各个光伏集群的超短期功率进行预测。...
为了解决这一问题,研究人员提出了基于Hadoop和HBase的分布式索引集群方案。这一方案可以提高信息检索效率,并通过分布式计算框架对索引进行高效维护。 Hadoop是一个由Apache基金会开发的分布式系统基础架构,它由...
本文讨论的是MongoDB在实现高可用性分布式数据库集群中的技术应用,强调了分片技术和复制集的故障自动恢复功能,这两项技术对于构建和维护企业级、高可用性的数据库集群至关重要。 分片技术是MongoDB中用于处理高...
Java分布式与集群是两种在大型系统中常见的架构模式,它们都是为了解决单台服务器无法满足高并发、大数据量或高可用性需求的问题。虽然两者经常被一起提及,但它们有着显著的区别和联系。 首先,分布式是将一个复杂...
activemq分布式集群视频教程,activemq分布式集群视频教程,activemq分布式集群视频教程,activemq分布式集群视频教程,activemq分布式集群视频教程
本人搭建hadoop完全分布式集群时,写的文档,内有详细步骤,
"分布式电源集群能量优化管理系统" 本文主要介绍了基于自动发电响应的分布式电源集群能量优化管理系统。该系统通过将分布式发电资源集成到电力市场中,以提供更加高效和灵活的电力供应,并确保整个电力系统在安全、...
综上所述,分布式电源集群控制与电力信息实时仿真是智能电网领域的关键研究领域,通过多代理一致性控制和实时仿真平台,可以有效地应对高渗透率分布式电源带来的挑战,推动电力系统的智能化发展。
### Spark Standalone 分布式集群搭建详解 #### Spark Standalone 运行模式概述 Spark Standalone 是 Apache Spark 提供的一种自带的集群管理模式,主要用于管理 Spark 应用程序的执行环境。这种模式简单易用,适合...
与传统存储技术相比,分布式内存数据库技术不仅在读写速度上有显著提升,而且在数据的缓存、计算等方面进行了优化,其数据处理速度可高出传统数据库技术十几倍。 分布式并行集群存储技术的软件系统主要分为两大类:...
本文将基于提供的文件内容进行深入解析,探讨构建分布式计算机集群的关键技术与实践策略。 #### 分布式计算机集群概述 分布式计算机集群是由多台计算机通过网络连接而成的系统,旨在实现资源共享、负载均衡等功能...
百度分布式redis集群平台开发与运维百度分布式redis集群平台开发与运维
在阅读了提供的文件内容后,可以提炼出以下Java分布式开发与集群技术相关的知识点: 1. 分布式开发和集群技术的需求:文档提到了Web服务器和移动互联网软件对分布式开发和集群技术的需求,这表明随着互联网服务的...
全分布式爬虫集群的实现,不仅要考虑节点间的通信机制,还需要关注任务的合理划分、节点的异常处理、节点的加入与退出管理以及系统的负载均衡。传统的分布式爬虫可能在面对海量节点时无法有效处理这些复杂情况,因此...
分布式电源集群监控系统的主要目的是利用现代化信息技术,实现对分布式电源的实时监控与管理,确保电网的稳定和可靠性。本文将围绕分布式电源集群监控系统的设计方案、控制策略、系统平台的展示与结果验证等方面进行...