- 浏览: 496131 次
- 性别:
- 来自: 广州
文章分类
- 全部博客 (502)
- Java (70)
- Linux (10)
- 数据库 (38)
- 网络 (10)
- WEB (13)
- JSP (4)
- 互联网 (71)
- JavaScript (30)
- Spring MVC (19)
- HTML (13)
- CSS (3)
- AngularJS (18)
- Redis (5)
- Bootstrap CSS (1)
- ZooKeeper (4)
- kafka (6)
- 服务器缓存 (4)
- Storm (1)
- MongoDB (9)
- Spring boot (16)
- log4j (2)
- maven (3)
- nginx (5)
- Tomcat (2)
- Eclipse (4)
- Swagger (2)
- Netty (5)
- Dubbo (1)
- Docker (7)
- Hadoop (12)
- OAuth (1)
- webSocket (4)
- 服务器性能 (7)
- Session共享 (1)
- tieye修改 (1)
- 工作 (1)
- 有用的语录 (0)
- https (2)
- common (5)
- 产品开发管理 (1)
- CDN 工作原理 (1)
- APNS、GCM (1)
- 架构图 (3)
- 功能实现分析 (1)
- JMX (1)
- 服务器相关操作命令 (1)
- img02 (0)
- 服务器环境搭建 (9)
- goodMenuBook (1)
- CEInstantPot (0)
- 有用数据 (1)
- 百度地图WEB API (2)
- 正则表达式 (1)
- 样式例子 (2)
- staticRecipePressureCooker.zip (1)
- jCanvas (1)
- 网站攻击方法原理 (1)
- 架构设计 (3)
- 物联网相关 (3)
- 研发管理 (7)
- 技术需求点 (1)
- 计划 (1)
- spring cloud (11)
- 服务器开发的一些实用工具和方法 (1)
- 每天学到的技术点 (4)
- Guava (1)
- ERP 技术注意要点 (2)
- 微信小程序 (1)
- FineRepor (1)
- 收藏夹 (1)
- temp (5)
- 服务架构 (4)
- 任职资格方案 (0)
- osno_test (1)
- jquery相关 (3)
- mybatis (4)
- ueditor (1)
- VueJS (7)
- python (10)
- Spring EL (1)
- shiro (1)
- 前端开发原理与使用 (7)
- YARN (1)
- Spark (1)
- Hbase (2)
- Pig (2)
- 机器学习 (30)
- matplotlib (1)
- OpenCV (17)
- Hystrix (1)
- 公司 (1)
- miniui (4)
- 前端功能实现 (3)
- 前端插件 (1)
- 钉钉开发 (2)
- Jenkins (1)
- elasticSearch使用 (2)
- 技术规范 (4)
- 技术实现原理 (0)
最新评论
分布式、集群的一些认识
分布式的作用:
1.提高可用性(不能叫北京的用户访问广州的服务器吧(网络速度慢))。
2.提高系统性能,不同地区的用户访问不同地区的服务器。
3.如果在数据存储方面,可以提高存储容量。
4.降低单个数据库的压力。
集群的作用:
1.可以进行负载均衡,把多用户请求均衡分给集群中的服务器进行处理,(这个请求给这个服务器处理,另一个请求给另一个服务器处理)
2.如果在数据存储方面,可以提高数据的可靠性,一个宕机了还有另一个在.
Web负载均衡
1.HTTP重定向
当用户发来请求的时候,Web服务器通过修改HTTP响应头中的Location标记来返回一个新的url,然后浏览器再继续请求这个新url,实际
上就是页面重定向。通过重定向,来达到“负载均衡”的目标。
这个重定向非常容易实现,并且可以自定义各种策略。但是,它在大规模访问量下,性能不佳。而且,给用户的体验也不好,实际请求
发生重定向,增加了网络延时。
2.反向代理负载均衡
反向代理服务的核心工作主要是转发HTTP请求,扮演了浏览器端和后台Web服务器中转的角色。可以做反向代理的软件很多,比较常见的
一种是Nginx。
反向代理中,常见的一个问题,就是Web服务器存储的session数据,因为一般负载均衡的策略都是随机分配请求的。同一个登录用户的请求,
无法保证一定分配到相同的Web机器上,会导致无法找到session的问题。
解决方案主要有两种:
1. 配置反向代理的转发规则,让同一个用户的请求一定落到同一台机器上(通过分析cookie),复杂的转发规则将会消耗更多的CPU,也增
加了代理服务器的负担。
2. 将session这类的信息,专门用某个独立服务来存储,例如redis/memchache,这个方案是比较推荐的。
3.IP负载均衡
在负载均衡服务器收到客户端的IP包的时候,会修改IP包的目标IP地址或端口,然后原封不动地投递到内部网络中,数据包会流入到实际Web
服务器。实际服务器处理完成后,又会将数据包投递回给负载均衡服务器,它再修改目标IP地址为用户IP地址,最终回到客户端。
4.DNS负载均衡
一个域名是可以配置成对应多个IP的,当DNS时可以在DNS信息中得到那个服务器离自己最近就选择与那个服务器进行请求.
总结:
数据库集群就是提高可靠性(备份),提高吞吐量(每个都可以提供数据(但要求一致性,否则数据可能不是最新的))。
数据库分布式提高数据的容量和分区管理。
但现在大多数大型系统都是分布式与集群一起使用来完成的。
参考原文:http://kb.cnblogs.com/page/509402/
分布式的作用:
1.提高可用性(不能叫北京的用户访问广州的服务器吧(网络速度慢))。
2.提高系统性能,不同地区的用户访问不同地区的服务器。
3.如果在数据存储方面,可以提高存储容量。
4.降低单个数据库的压力。
集群的作用:
1.可以进行负载均衡,把多用户请求均衡分给集群中的服务器进行处理,(这个请求给这个服务器处理,另一个请求给另一个服务器处理)
2.如果在数据存储方面,可以提高数据的可靠性,一个宕机了还有另一个在.
Web负载均衡
1.HTTP重定向
当用户发来请求的时候,Web服务器通过修改HTTP响应头中的Location标记来返回一个新的url,然后浏览器再继续请求这个新url,实际
上就是页面重定向。通过重定向,来达到“负载均衡”的目标。
这个重定向非常容易实现,并且可以自定义各种策略。但是,它在大规模访问量下,性能不佳。而且,给用户的体验也不好,实际请求
发生重定向,增加了网络延时。
2.反向代理负载均衡
反向代理服务的核心工作主要是转发HTTP请求,扮演了浏览器端和后台Web服务器中转的角色。可以做反向代理的软件很多,比较常见的
一种是Nginx。
反向代理中,常见的一个问题,就是Web服务器存储的session数据,因为一般负载均衡的策略都是随机分配请求的。同一个登录用户的请求,
无法保证一定分配到相同的Web机器上,会导致无法找到session的问题。
解决方案主要有两种:
1. 配置反向代理的转发规则,让同一个用户的请求一定落到同一台机器上(通过分析cookie),复杂的转发规则将会消耗更多的CPU,也增
加了代理服务器的负担。
2. 将session这类的信息,专门用某个独立服务来存储,例如redis/memchache,这个方案是比较推荐的。
3.IP负载均衡
在负载均衡服务器收到客户端的IP包的时候,会修改IP包的目标IP地址或端口,然后原封不动地投递到内部网络中,数据包会流入到实际Web
服务器。实际服务器处理完成后,又会将数据包投递回给负载均衡服务器,它再修改目标IP地址为用户IP地址,最终回到客户端。
4.DNS负载均衡
一个域名是可以配置成对应多个IP的,当DNS时可以在DNS信息中得到那个服务器离自己最近就选择与那个服务器进行请求.
总结:
数据库集群就是提高可靠性(备份),提高吞吐量(每个都可以提供数据(但要求一致性,否则数据可能不是最新的))。
数据库分布式提高数据的容量和分区管理。
但现在大多数大型系统都是分布式与集群一起使用来完成的。
参考原文:http://kb.cnblogs.com/page/509402/
发表评论
-
选举算法
2022-06-17 08:48 427选举算法 常用的选举 ... -
elasticSearch使用
2022-04-27 08:42 416ElasticSearch 基于Apache Lucene构建 ... -
IDEA 快捷键
2022-03-02 16:55 245大小写转换快捷键 ctr+shift+u IDEA ... -
zookeeper dubbo 安装
2021-12-04 19:27 315docker-machine ssh default d ... -
将博客搬至CSDN
2021-11-18 19:57 189将博客搬至CSDN -
docker mysql 主从安装
2021-11-10 16:55 235docker run -d -p 13306:3306 --n ... -
rocketmq安装部署.txt
2021-11-07 19:10 218docker search rocketmq docke ... -
百度人脸识别
2021-05-21 16:11 363package com.gaojinsoft.htwy.y20 ... -
springBoot tomcat配置参数说明
2021-05-12 09:13 3018#最大连接数 server.tomcat.max-connec ... -
技术选型
2021-01-29 17:34 2921.移动端组件vux,vant,vant好点,文档好的,基于v ... -
方便开发调试和问题跟踪
2021-01-01 10:17 2481.外网最好可以连接数据库 2.关键信息可以在接口返回信息, ... -
Jenkins脚本
2020-03-12 17:55 444#!/bin/bash -ilx echo "开始 ... -
base64与file 相互转换
2019-10-23 18:19 775base64与file 相互转换 import org. ... -
钉钉开发
2019-09-17 20:16 433钉钉开发 开发者帐号 1357047443 x***310* ... -
安卓模拟器使用
2019-07-03 23:13 4逍遥pc版的安卓模拟器 http://www.xyaz.cn/ ... -
ZLTest
2019-03-19 23:41 264ZLTest -
要同步回来的文件
2019-01-25 11:14 0Spring Boot中整合Sharding-JDBC m ... -
画相关图表的工具
2019-01-25 10:59 580制作流程图的工具 1、Visio很好用,很强大,微软出的,水平 ... -
JVM 监控工具
2019-01-21 18:04 381JVM 监控工具 //========== ... -
Hystrix
2019-01-10 17:02 533Hystrix Hystrix的设计原则包括: 资源隔离 ...
相关推荐
2. Hadoop分布式集群:Hadoop分布式集群是指运行Hadoop平台的多个计算机节点组成的集群,这些节点协同工作,共同处理大量数据。Hadoop的核心组件包括HDFS(用于存储数据)和MapReduce(用于处理数据)。 3. Hadoop...
在分布式应用系统中,mongodb 已经成为 NoSQL 经典数据库。要想很好的使用 mongodb,仅仅知道如何使用它是不够的。只有对其架构原理等有了充分认识,才能在实际运用中使其更好地服务于应用,遇到问题知道怎么处理,...
这些内容将帮助我们构建对分布式云计算的全面认识。 接着,我们会接触到实际操作的部分,这通常涉及到编程和配置。在【SA15225107+沈坚+分布式云计算实验 2】这个文件中,可能包含了一些实验代码、配置文件和指导...
Hadoop是一种开源框架,专为处理和存储大量数据而设计,它支持在分布式集群中进行计算,是大数据处理的基石。分布式搜索引擎在此背景下,通过将索引分片到多台服务器上,可以高效地处理海量数据的查询请求,提供快速...
本文提出了一套针对异构GPU集群的并行分布式编程解决方案,旨在解决这一挑战。 GPU由于其强大的计算能力和高速访存带宽,成为了超级计算机和高性能计算(HPC)集群的首选加速器。GPU集群的异构化表现在两个层面:...
1. 数据分布与复制:SequoiaDB将数据按预设的策略分片,并在集群中的多个节点进行复制,以实现冗余和故障恢复。每个分片都有一个主副本和多个从副本,主副本负责写操作,从副本用于读负载均衡。 2. 并发控制:在...
总之,《分布式数据库课程知识体系扩展探索》强调了教学内容与工业实践的对接,提倡在教学中引入实际案例,尤其是像MongoDB这样的现代分布式数据库系统,以提升学生对分布式数据库系统的全面认识和实际操作能力。...
PostgreSQL分布式数据库架构的...同时,我们也能够对项目的现状、已知的限制和未来的发展方向有一个全面的认识。这些知识对于数据库管理员、系统架构师和任何有兴趣在生产环境中部署分布式数据库系统的人都非常重要。
这将帮助读者拓宽视野,认识到ZooKeeper在分布式系统中的广泛价值。 最后,书中可能会包含一些实战教程,引导读者进行实际的项目开发,以巩固理论知识,并提升实际操作技能。 总的来说,《ZooKeeper分布式过程协同...
Hadoop概述,初步认识,分布式系统概述,离线数据分析流程,伪分布式环境搭建,分布式集群环境搭建,集群使用效果演示
在深入了解SolrCloud的分布式搜索与索引过程之前,我们需要对SolrCloud有一个基本的认识。SolrCloud是Apache Solr的一个扩展模块,它提供了一种简单的方式来构建可扩展、高可用的全文搜索应用。SolrCloud通过引入...
在分布式集群中,通过配置一定数量的主机作为集群节点,搭建实验环境。集群中的主机需要安装必要的软件,如Linux系统、Hadoop分布式文件系统、Java编程软件等。 在遥感图像水体识别的具体技术方面,文中介绍了几种...
分布式创新的理论研究目前尚未形成统一认识,但在实践中已被广泛应用,尤其在跨国公司和大型企业中表现明显。 分布式创新的特点可以从五个方面来分析:动态性、开放性、本地根植性、网络性和知识互补性。动态性指的...
这包括设置Hadoop环境变量、配置Hadoop集群(单机、伪分布式和完全分布式)、启动和停止Hadoop服务等步骤。此外,还会讲解如何使用Hadoop自带的工具进行数据操作,如HDFS的文件上传、下载和管理。 "Hadoop和Hbase...
最佳实践表明,没有两个环境是完全相同的,但遵循一些通用原则有助于实现最优配置。 选择合适的分布式环境管理工具也是关键一步。管理工具能帮助管理员远程管理数据中心资源。控制模式下,管理员使用管理工具观察和...