`

存储架构记载

 
阅读更多

 

1 数据存储NFS系统

2 DRBD实现NFS文件高可用

3 文件读写分离,即系统实时的将文件分发到读服务器上,rsync+inotify 实现触发同步

(  1 小图片可以处理(200-300k),单个图片过大不行,

    2 总容量过大几个T可能不行,

    3 web服务器过多则主服务器带宽不够)

4 NFS双主多从可以解决并发读和单点问题,但是如果并发写大会有很多问题:

  1)每秒300张以上图片,同步会延迟,需要开启多线程同步,优化监控事件,磁盘IO与网络IO 

  2)图片总量达到3T以上,则单台容量不够,可以讲数据放到多个硬盘上,然后做挂载 ,

     比如:原来有5个目录,则把每个目录都拿出来做一个一主多从的文件服务器 

5 NoSql存储方案,cassandra,mongoDB,mysql主从等来做文件存储 

 

 

 

 

其他东西的了解:

Mysql 并发支持小于1000,如redis缓存服务器可以支持10W并发。

mysql 数据大于10,也不行了 

 

http://blog.nosqlfan.com/

内存缓存数据库:  

memcachedb,Tokyo Tyrant,支持分布式和数据持久化,可以支持几万并发。

 

缓存内存设置:用10-20G也就行了,要小于总容量的3/5,太大的话重启预热时间会比较长

 

lvs 负载均衡 ,心跳互为主备

haproxy 代理 

squid 做缓存静态数据

mfmaster  存储  或NFS 用drbd做同步  

静态化数据web集群ngix

 

 

分享到:
评论

相关推荐

    电信设备-一种记载植物信息的标签.zip

    3. 系统架构:展示整体解决方案的架构,包括硬件设备、软件平台、数据处理流程等。 4. 应用案例:可能包含实际种植环境中的应用实例,展示标签如何帮助优化种植管理。 5. 技术优势与挑战:分析该技术的优缺点,以及...

    毕设-java-swing-和Oracle飞机订票系统(ppt+ER图+流程图+需求背景数据库+架构说明有lun文视频源码齐全)2.zip

    该系统是作为一个毕业设计项目来完成的,旨在利用Java语言以及Swing图形用户界面工具包构建一个用户友好的订票平台,并采用Oracle数据库系统来存储和管理数据。 在架构说明文档中,该项目可能详细阐述了整个系统的...

    高效、稳健:Springboot 架构下的失踪人员信息发布与管理旗舰系统

    系统开发中使用了MySQL作为后端的数据库管理系统,MySQL是一个稳定、功能丰富的开源关系数据库管理系统,它能够很好地支持大规模数据的存储和处理,这对于处理失踪人员的海量信息是至关重要的。数据库文档则详细记录...

    Oracle精品课件及语法记载

    "Oracle精品课件及语法记载"提供了一套全面的学习资源,适合初学者和有经验的DBA(数据库管理员)提升技能。这份课件由一位备受赞誉且极具幽默感的教师编制,旨在以轻松的方式传授Oracle的相关知识。 课件可能涵盖...

    QAR数据仓库在Hive中的构建.pdf

    通过对 Hive 特点及 QAR 数据结构分析,设计了基于 Hive 的 QAR 数据仓库的总体架构和存储结构,并实现了对已有数据仓库的兼容。实验结果表明基于 Hive 的 QAR 数据仓库在面对 QAR 数据剧增的情况下,处理所需时间...

    基于java的高校志愿者管理系统设计和实现的详细项目实例(含完整的程序,数据库和GUI设计,代码详解)

    其他说明:考虑到系统运行的安全性和可扩展性,项目特别强调了数据加密存储、访问权限控制的重要性,并对未来可能涉及的功能升级做了前瞻性规划。同时,文档详尽记载了数据库表结构、算法设计思路及相关代码片段,有...

    terraform:有记载的Terraform学习

    Terraform可用于与AWS和Azure等云基础架构提供商一起部署虚拟机,存储,网络,DNS,负载均衡器等。 像AWS和Azure这样的云提供商都可以使用自己的方式使用CloudFormation和Azure资源管理器(ARM)模板将基础架构定义...

    图书馆管理系统

    5. 超期罚款表(Fines):记载超期图书产生的罚款信息。 三、借阅流程 1. 借阅:用户通过系统查询书籍,选择借阅后,系统会检查图书的可用性,并创建一条新的借阅记录,更新图书状态为“已借出”。 2. 归还:用户...

    星环大数据平台手册详细使用过程

    首先,手册的基础架构部分详细描述了星环大数据平台的硬件和软件架构,包括其分布式存储系统和计算引擎,让使用者能够充分了解平台的技术基础和工作原理。通过对硬件设备的配置要求、软件环境的搭建步骤、网络结构的...

    基于python的知识库管理系统设计与实现论文.doc

    本系统的主要功能包括用户注册、添加信息、删除信息、修改信息、自主搜索等,旨在取代重复繁杂的人力记载及查询,提供用户关注度高的信息和用户感兴趣的知识信息。 知识点1:Python语言的应用 通过本文可以了解...

    虚拟智慧VMware_vSphere运维实录

    并且真正将硬件cpu、内存、存储、网络设备等设备抽象化,成为一个可计量单位,从而将这个计量单位转换成服务性质,让it人员更方便地设计自身企业的平台架构,或是作成新的产品服务。  本书是全球第一本将所有...

    计算机组成原理试题及答案4.pdf

    总结来说,这份试题涵盖了计算机组成原理的多个核心概念,如数据表示、存储系统、运算器设计、总线架构、中断机制、微程序控制以及输入输出管理。理解这些知识点对于深入学习计算机科学至关重要。

    vb+access工资管理系统(程序+论文+封面+开题报告).zip

    例如,可能有"员工信息"表用于存储员工的基本信息,"工资条目"表记录各种工资项目,"考勤记录"表记载员工的出勤情况。这些表之间通过主键和外键关联,形成数据的一致性和完整性。 五、程序设计 VB程序设计主要包括...

    oracle_技术资料

    首先,Oracle数据库的连接过程涉及到客户服务器架构。当一个用户试图连接到Oracle Server时,可能会遇到错误如"ORA-01034: ORACLE not available",这通常意味着Oracle服务没有运行或者客户端无法找到服务器。连接...

    信息管理系统

    - **总体设计图01**:此图可能展示了整个系统的架构布局,包括不同功能模块之间的关系及其交互方式。这有助于理解系统的整体框架。 - **总体设计图02**(成绩管理子系统设计图):这张图更专注于成绩管理模块,具体...

    基于Python的多媒体资料管理系统源码(完整前后端+mysql+说明文档+LW+PPT).zip

    为了实现这些功能,系统必须具备一个强大的后端架构,用于处理数据存储、业务逻辑以及用户交互。 Python是一种广泛使用的高级编程语言,它以简洁明了和易于学习而著称。Python在数据处理和网络编程方面表现出色,这...

    演唱会购票系统 SSM毕业设计 源码+数据库+论文(JAVA+SpringBoot+Vue.JS).zip

    毕业设计论文作为项目的文档部分,不仅记载了设计思路、开发过程和实现细节,还往往是考核开发者是否能够将理论知识与实践相结合的重要依据。一个完整的论文通常包括摘要、引言、需求分析、系统设计、系统实现、测试...

    vs2008+oracle 问答系统

    并记载提问人的IP,提问时间等"这部分描述揭示了系统的架构和功能。问答系统通常分为前端用户界面和后端管理系统两部分: 1. **前端用户界面**:用户可以在这里提问、浏览问题、查看答案和进行互动。系统需要设计...

    企业人事管理系统14052307.doc

    流程图则用于描绘各项业务操作的逻辑顺序,帮助设计出符合实际工作流程的系统架构。 数据库设计是系统开发的关键环节。E-R(实体-关系)图用于描绘实体(如员工、部门)及其之间的关系,为表的设计提供基础。具体表...

    IM.rar_im

    标题中的"IM.rar_im"可能指的是一个即时...通过学习和分析这些代码,我们可以深入理解即时通讯系统的架构、通信协议以及客户端与服务器端的交互过程。对于想要学习IM系统开发的程序员来说,这是一个宝贵的实践素材。

Global site tag (gtag.js) - Google Analytics