`

存储架构记载

 
阅读更多

 

1 数据存储NFS系统

2 DRBD实现NFS文件高可用

3 文件读写分离,即系统实时的将文件分发到读服务器上,rsync+inotify 实现触发同步

(  1 小图片可以处理(200-300k),单个图片过大不行,

    2 总容量过大几个T可能不行,

    3 web服务器过多则主服务器带宽不够)

4 NFS双主多从可以解决并发读和单点问题,但是如果并发写大会有很多问题:

  1)每秒300张以上图片,同步会延迟,需要开启多线程同步,优化监控事件,磁盘IO与网络IO 

  2)图片总量达到3T以上,则单台容量不够,可以讲数据放到多个硬盘上,然后做挂载 ,

     比如:原来有5个目录,则把每个目录都拿出来做一个一主多从的文件服务器 

5 NoSql存储方案,cassandra,mongoDB,mysql主从等来做文件存储 

 

 

 

 

其他东西的了解:

Mysql 并发支持小于1000,如redis缓存服务器可以支持10W并发。

mysql 数据大于10,也不行了 

 

http://blog.nosqlfan.com/

内存缓存数据库:  

memcachedb,Tokyo Tyrant,支持分布式和数据持久化,可以支持几万并发。

 

缓存内存设置:用10-20G也就行了,要小于总容量的3/5,太大的话重启预热时间会比较长

 

lvs 负载均衡 ,心跳互为主备

haproxy 代理 

squid 做缓存静态数据

mfmaster  存储  或NFS 用drbd做同步  

静态化数据web集群ngix

 

 

分享到:
评论

相关推荐

    电信设备-一种记载植物信息的标签.zip

    3. 系统架构:展示整体解决方案的架构,包括硬件设备、软件平台、数据处理流程等。 4. 应用案例:可能包含实际种植环境中的应用实例,展示标签如何帮助优化种植管理。 5. 技术优势与挑战:分析该技术的优缺点,以及...

    Oracle精品课件及语法记载

    "Oracle精品课件及语法记载"提供了一套全面的学习资源,适合初学者和有经验的DBA(数据库管理员)提升技能。这份课件由一位备受赞誉且极具幽默感的教师编制,旨在以轻松的方式传授Oracle的相关知识。 课件可能涵盖...

    QAR数据仓库在Hive中的构建.pdf

    通过对 Hive 特点及 QAR 数据结构分析,设计了基于 Hive 的 QAR 数据仓库的总体架构和存储结构,并实现了对已有数据仓库的兼容。实验结果表明基于 Hive 的 QAR 数据仓库在面对 QAR 数据剧增的情况下,处理所需时间...

    terraform:有记载的Terraform学习

    Terraform可用于与AWS和Azure等云基础架构提供商一起部署虚拟机,存储,网络,DNS,负载均衡器等。 像AWS和Azure这样的云提供商都可以使用自己的方式使用CloudFormation和Azure资源管理器(ARM)模板将基础架构定义...

    图书馆管理系统

    5. 超期罚款表(Fines):记载超期图书产生的罚款信息。 三、借阅流程 1. 借阅:用户通过系统查询书籍,选择借阅后,系统会检查图书的可用性,并创建一条新的借阅记录,更新图书状态为“已借出”。 2. 归还:用户...

    基于python的知识库管理系统设计与实现论文.doc

    本系统的主要功能包括用户注册、添加信息、删除信息、修改信息、自主搜索等,旨在取代重复繁杂的人力记载及查询,提供用户关注度高的信息和用户感兴趣的知识信息。 知识点1:Python语言的应用 通过本文可以了解...

    Hadoop海量数据处理 技术详解与项目实战 大数据云计算ip 第2版.pdf

    本书记载了Hadoop的详细知识,包括基本概念、架构原理、组件功能以及实战技巧,旨在帮助读者从理论到实践全面掌握这一技术。 一、Hadoop基础知识 Hadoop是基于Java实现的开源框架,由Apache基金会维护,主要用于...

    虚拟智慧VMware_vSphere运维实录

    并且真正将硬件cpu、内存、存储、网络设备等设备抽象化,成为一个可计量单位,从而将这个计量单位转换成服务性质,让it人员更方便地设计自身企业的平台架构,或是作成新的产品服务。  本书是全球第一本将所有...

    计算机组成原理试题及答案4.pdf

    总结来说,这份试题涵盖了计算机组成原理的多个核心概念,如数据表示、存储系统、运算器设计、总线架构、中断机制、微程序控制以及输入输出管理。理解这些知识点对于深入学习计算机科学至关重要。

    vb+access工资管理系统(程序+论文+封面+开题报告).zip

    例如,可能有"员工信息"表用于存储员工的基本信息,"工资条目"表记录各种工资项目,"考勤记录"表记载员工的出勤情况。这些表之间通过主键和外键关联,形成数据的一致性和完整性。 五、程序设计 VB程序设计主要包括...

    oracle_技术资料

    首先,Oracle数据库的连接过程涉及到客户服务器架构。当一个用户试图连接到Oracle Server时,可能会遇到错误如"ORA-01034: ORACLE not available",这通常意味着Oracle服务没有运行或者客户端无法找到服务器。连接...

    信息管理系统

    - **总体设计图01**:此图可能展示了整个系统的架构布局,包括不同功能模块之间的关系及其交互方式。这有助于理解系统的整体框架。 - **总体设计图02**(成绩管理子系统设计图):这张图更专注于成绩管理模块,具体...

    vs2008+oracle 问答系统

    并记载提问人的IP,提问时间等"这部分描述揭示了系统的架构和功能。问答系统通常分为前端用户界面和后端管理系统两部分: 1. **前端用户界面**:用户可以在这里提问、浏览问题、查看答案和进行互动。系统需要设计...

    企业人事管理系统14052307.doc

    流程图则用于描绘各项业务操作的逻辑顺序,帮助设计出符合实际工作流程的系统架构。 数据库设计是系统开发的关键环节。E-R(实体-关系)图用于描绘实体(如员工、部门)及其之间的关系,为表的设计提供基础。具体表...

    IM.rar_im

    标题中的"IM.rar_im"可能指的是一个即时...通过学习和分析这些代码,我们可以深入理解即时通讯系统的架构、通信协议以及客户端与服务器端的交互过程。对于想要学习IM系统开发的程序员来说,这是一个宝贵的实践素材。

    JAVA图书管理系统说明

    表现层负责用户界面的展示和交互,业务逻辑层处理核心业务规则和操作,而数据访问层则负责与数据库的通信,实现数据的存储和检索。 系统实现过程中,会涉及到JAVA编程技术,包括面向对象的设计原则、类的继承与封装...

    SSM+Vue学生学情预警系统开题报告.doc

    我国的大学成绩管理系统起步较晚,早期技术较为落后,侧重于成绩的记载和统计。随着计算机技术的发展,尤其是B/S架构的普及,成绩管理系统开始转型。国外的管理信息系统最初基于C/S架构,但逐渐转向B/S,技术上更加...

    基于空间数据库驱动的自动化制图设计与实现.pdf

    文章提到的测绘成果档案包括测量数据、成果成图、科技文献、技术文件及详细记载。这些资料通过原始记录与历史资料的积累,不仅能够为国家的经济建设和社会发展提供参考,而且对于国防安全和战略实施具有重要的应用...

    The Oracles of Anyang.pdf

    例如,卜辞中关于“妇好”的记载,展示了商朝时期的女性地位和社会角色,这与Oracle数据库中的数据挖掘技术有异曲同工之妙,都是为了从海量信息中提取有价值的知识。 同时,卜辞的雕刻艺术也反映了当时的技术水平,...

    标准通用的三层框架结构

    “日志记载”是软件开发中的关键实践,用于记录应用程序运行时的信息,包括错误、警告和调试信息。日志可以帮助开发者在问题发生时追踪和诊断错误。常见的.NET日志框架有Log4Net、NLog和Serilog等。 “检查注册码...

Global site tag (gtag.js) - Google Analytics