`

图片服务架构以及fastDFS的部分特性

 
阅读更多
    感谢那些关注我的朋友,谢谢你们的支持。心情一鸡冻,决定再来一发 ,今天分享的内容主要是围绕图片服务架构。如果有哪些地方写的不对,欢迎吐槽!
   
    首先,我们还是确定一下此次的路线
   
    1.现有业务背景
    2.为业务而制定的架构
    3.fastdfs的一些特性
    4.未来可能面临的问题
  

    一、现有业务背景
    目前,据我所知,绝大多数互联网公司都会面临图片存储的问题。现在先描述下新的业务需求:
    1.每天的图片pv量kw左右
    2.从流量水平看,峰值是k req/s
    3.图片大小在30k左右,图片分辨率固定几种,图片格式固定
    4.图片日增量几十w
    5.客户端接口支持
    补充.业务自身的上传限制,查看限制不在此讨论范围内
    二、为业务而制定的架构
   
     备注:
     F5会根据请求路径的不同(主要是group分组)将请求分发到不同的存储节点
     nginx+fastdfs-nginx-module 模块:首先在本地文件存储中寻找文件发现文件存在即立即返回;如文件不存在则链接Thacker服务器请求文件地址
     TrafficServer 只是用做单机缓存
     FastDFS (4.0.6) 分布式文件系统,存储图片
     之前的存储采用的是emc,由于业务增长,需要分布式的且扩展方便的文件系统,最后采用了fastDFS。(分布式文件问题详见分布式文件系统的原理
     三、fastdfs的一些特性
     主要是轻量级、不分块、扩展方便等特点,在此还是引用下鱼大的那篇文章
     分布式文件系统 FastDFS
     四、未来可能面临的问题
     扩容方案,当增加一个分组的时候,热点数据基本分布在这个分组上,一次上两台机器能不能扛住,需要观察
     安全问题,客户端做限制,存储的文件只保存原图,所有的访问请求都必须加水印,同时不能访问原图;服务端做防盗链限制,nginx实现
     降级策略,缓存默认处理结果
     监控,包括容量,负载,错误日志 等

     【结束语】
      感谢你们的鼓励,我们是攻城狮,我们敬畏这个行业!
 
    
  • 大小: 84.8 KB
分享到:
评论

相关推荐

    分布式文件系统FastDFS架构剖析

    FastDFS是一个轻量级的开源分布式文件系统,由国人开发,特别适合以中小文件(如图片、文档等)为主的存储场景。FastDFS的主要设计目标是简单易用、高性能、高可用和高扩展性。 **FastDFS的核心特性** 1. **负载...

    fastdfs-master.zip

    FastDFS的架构组成主要包括跟踪服务器(Tracker Server)和存储服务器(Storage Server)两部分: 1. **跟踪服务器(Tracker Server)**:负责任务调度和负载均衡,客户端首先连接跟踪服务器,获取处理文件操作的...

    fastDFS源码

    在本文中,我们将深入探讨FastDFS的核心概念、架构以及搭建过程,帮助你全面理解并掌握这一重要的分布式存储技术。 一、FastDFS简介 FastDFS是一个基于文件ID(File ID,简称FID)的分布式文件存储系统,其设计...

    FastDFS 上传

    这不仅提高了开发效率,还利用了FastDFS的高性能和分布式特性,为大型互联网应用提供了稳定可靠的文件服务。在实际项目中,还可以根据需求扩展FastDFS的功能,例如实现文件的下载、权限控制、文件版本管理等。

    fastdfs-5.10.tar.gz

    FastDFS的设计目标是解决海量小文件的存储问题,它将文件存储和文件服务分离,提供了文件上传、下载等基本功能,以及文件ID生成、负载均衡等高级特性。FastDFS分为两部分:跟踪服务器(Tracker Server)和存储服务器...

    FastDFSjar包

    FastDFS是一款开源的高性能、轻量级的分布式文件系统,主要解决大容量存储和负载均衡的问题,特别适合以文件为载体的在线服务,如图片、视频分享网站等。FastDFS设计的目标是提供简单易用、高性能、高可用的分布式...

    fastDFS工具----

    FastDFS的架构主要包括Tracker Server和Storage Server两部分。Tracker Server负责调度和管理,它处理客户端的上传和下载请求,根据当前Storage Server的状态信息,将请求转发到合适的节点。Storage Server则负责...

    FastDFS系列.zip

    本篇文章将深入探讨FastDFS的架构、组件、安装配置以及与Nginx模块的集成,帮助读者全面理解并掌握这一优秀的文件存储解决方案。 一、FastDFS简介 FastDFS设计目标是简化文件服务器的复杂性,提供高可用性和高扩展...

    fastdfs_v5.08以及依赖包.rar

    在本文中,我们将深入探讨FastDFS的架构、工作原理、安装配置以及实际应用场景。 1. **FastDFS架构概述** FastDFS由两个主要组件构成:Tracker Server(跟踪服务器)和Storage Server(存储服务器)。Tracker ...

    FastDFS_4.06.tar.gz

    FastDFS特别适合以文件为载体的在线服务,如图片分享网站、视频分享网站等。 【FastDFS核心特性】 1. **分布式存储**:FastDFS将文件数据分散存储在多台服务器上,避免单点故障,提高了系统的可用性和可靠性。 2. ...

    FastDFS源码

    一、FastDFS的基本架构 FastDFS系统主要由两部分组成:跟踪服务器(Tracker Server)和存储服务器(Storage Server)。跟踪服务器负责调度和协调任务,而存储服务器则实际存储数据。这种分层设计使得系统具有良好的...

    FastDFS教程(完整版)

    FastDFS 的架构主要包括三大部分:**跟踪服务器(Tracker Server)**、**存储服务器(Storage Server)** 和 **客户端(Client)**。 1. **跟踪服务器(Tracker Server)**: - **作用**:负责调度和负载均衡。...

    fastdfs最稳定版源码

    FastDFS的特性包括高可用性、高并发性、低延迟以及易于扩展。本文将深入探讨FastDFS的最稳定版源码,帮助开发者理解其内部机制和优化点。 一、FastDFS架构设计 FastDFS分为两个主要部分:Tracker Server和Storage ...

    FastDFS教程

    综上所述,FastDFS教程详细介绍了分布式文件系统FastDFS的基本概念、架构组成、特性应用、优缺点比较以及在实际部署和使用中可能遇到的一些问题和解决方案。这对于想要深入了解和应用FastDFS的技术人员来说是一份...

    FastDFS_v5.05.tar.gz

    它提供了文件存储、文件同步、文件访问(文件上传、文件下载)等功能,解决了大容量存储和负载均衡的问题,特别适合以文件为载体的在线服务,如图片分享、视频分享等网站。FastDFS v5.05是该系统的最新稳定版本,...

    thinkPHP 连接 fastdfs

    FastDFS是一个开源的、高性能的、轻量级的分布式文件系统,尤其适合大型网站处理海量图片、文档等二进制大对象的存储。而ThinkPHP是一款国内广泛应用的PHP框架,它提供了强大的MVC模式和灵活的扩展性,使得开发者能...

    fastDFS5.11

    本文将围绕FastDFS 5.11这个最新版本,深入探讨其核心特性、安装与配置、以及实际应用场景。 FastDFS 5.11作为最新版本,主要关注稳定性和性能提升。在这一版本中,开发团队对代码进行了优化,解决了之前版本的一些...

    fastdfs整合nginx相关包

    将FastDFS与Nginx整合,可以实现高效、稳定的文件上传、下载服务,同时利用Nginx的高性能特性,优化文件访问速度。 首先,我们需要理解FastDFS的基本架构。FastDFS由两部分组成:跟踪服务器(Tracker Server)和...

Global site tag (gtag.js) - Google Analytics