`
wxw850227
  • 浏览: 71500 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类
最新评论

Yupoo! 的网站技术架构

阅读更多

又有机会爆料国内 Web 2.0 网站的架构了。这次是 Yupoo! 。非正式的采访了一下 Yupoo!(又拍网) 的创建人之一的 阿华(沈志华)同学,了解了一些小道消息。

作为国内最大的图片服务提供商之一,Yupoo! 的 Alexa 排名大约在 5300 左右。同时收集到的一些数据如下:

带宽:4000M/S (参考)
服务器数量:60 台左右
Web服务器:Lighttpd, Apache, nginx
应用服务器:Tomcat
其他:Python, Java, MogileFS 、ImageMagick 等

首先看一下网站的架构图:

 

该架构图给出了很好的概览(点击可以查看在 Yupoo! 上的大图和原图,请注意该图版权信息)。

关于 Squid 与 Tomcat

Squid 与 Tomcat 似乎在 Web 2.0 站点的架构中较少看到。我首先是对 Squid 有点疑问,对此阿华的解释是"目前暂时还没找到效率比 Squid 高的缓存系统,原来命中率的确很差,后来在 Squid 前又装了层 Lighttpd, 基于 url 做 hash, 同一个图片始终会到同一台 squid 去,所以命中率彻底提高了"

对于应用服务器层的 Tomcat,现在 Yupoo! 技术人员也在逐渐用其他轻量级的东西替代,而 YPWS/YPFS 现在已经用 Python 进行开发了。

名次解释:

  • YPWS--Yupoo Web Server YPWS 是用 Python开发的一个小型 Web 服务器,提供基本的 Web 服务外,可以增加针对用户、图片、外链网站显示的逻辑判断,可以安装于任何有空闲资源的服务器中,遇到性能瓶颈时方便横向扩展。
  • YPFS--Yupoo File System 与 YPWS 类似,YPFS 也是基于这个 Web 服务器上开发的图片上传服务器。


【Updated: 有网友留言质疑 Python 的效率,Yupoo 老大刘平阳在 del.icio.us 上写到 "YPWS用Python自己写的,每台机器每秒可以处理294个请求, 现在压力几乎都在10%以下"】

 

图片处理层

接下来的 Image Process Server 负责处理用户上传的图片。使用的软件包也是 ImageMagick,在上次存储升级的同时,对于锐化的比率也调整过了(我个人感觉,效果的确好了很多)。”Magickd“ 是图像处理的一个远程接口服务,可以安装在任何有空闲 CPU资源的机器上,类似 Memcached的服务方式。

我们知道 Flickr 的缩略图功能原来是用 ImageMagick 软件包的,后来被雅虎收购后出于版权原因而不用了(?);EXIF 与 IPTC Flicke 是用 Perl 抽取的,我是非常建议 Yupoo! 针对 EXIF 做些文章,这也是潜在产生受益的一个重点。

图片存储层

原来 Yupoo! 的存储采用了磁盘阵列柜,基于 NFS 方式的,随着数据量的增大,“Yupoo! 开发部从07年6月份就开始着手研究一套大容量的、能满足 Yupoo! 今后发展需要的、安全可靠的存储系统”,看来 Yupoo! 系统比较有信心,也是满怀期待的,毕竟这要支撑以 TB 计算的海量图片的存储和管理。我们知道,一张图片除了原图外,还有不同尺寸的,这些图片统一存储在 MogileFS 中。

对于其他部分,常见的 Web 2.0 网站必须软件都能看到,如 MySQL、Memcached 、Lighttpd 等。Yupoo! 一方面采用不少相对比较成熟的开源软件,一方面也在自行开发定制适合自己的架构组件。这也是一个 Web 2.0 公司所必需要走的一个途径。

非常感谢一下 Yupoo! 阿华对于技术信息的分享,技术是共通的。下一个能爆料是哪家?

  • 大小: 46 KB
分享到:
评论

相关推荐

    Yupoo构架说明文档

    Yupoo构架是一种用于构建大型图片服务网站的技术架构,它由一系列精心设计的组件组成,以高效地处理大量的图片上传、存储、处理和分发任务。Yupoo! 是中国境内知名的图片服务提供商,其Alexa排名显示出较高的流量。...

    Yupoo! (花瓣网_又拍云) 架构中的消息与任务系统

    ### Yupoo! (花瓣网_又拍云) 架构中的消息与任务系统 #### 又拍网背景 - **创建时间**:2005年 - **主要功能**:提供照片分享社区服务 - **用户规模**:拥有超过500万用户 - **数据规模**:超过3亿张照片 #### 又...

    Nginx+培训

    、水木社区、落伍者站长论坛、新浪、YUPOO、网易、酷6、豆瓣、新华网、迅雷、腾讯3G下载、多玩、中关村、太平洋等众多知名网站都在使用Nginx。 Nginx相较于其他同类软件的优势在于它轻量高效,适合高并发和重负载的...

    texmacs-fedora-fonts-2.1-1.el8.x64-86.rpm.tar.gz

    1、文件说明: Centos8操作系统texmacs-fedora-fonts-2.1-1.el8.rpm以及相关依赖,全打包为一个tar.gz压缩包 2、安装指令: #Step1、解压 tar -zxvf texmacs-fedora-fonts-2.1-1.el8.tar.gz #Step2、进入解压后的目录,执行安装 sudo rpm -ivh *.rpm

    基于Matlab/Simulink的直流电动机双闭环调速系统建模与仿真

    内容概要:本文详细介绍了如何使用Matlab/Simulink对直流电动机双闭环调速系统进行建模与仿真。文中首先解释了双闭环调速系统的原理,即通过转速外环和电流内环的协同工作,使电机快速达到并维持稳定的运行状态。接着,逐步指导读者在Simulink中搭建模型,包括设置信号源、配置PI控制器参数、选择电机模块以及连接各个组件。此外,还提供了具体的参数设置示例和优化技巧,如调整PI控制器的比例系数和积分系数,确保系统的快速响应和平稳过渡。最后,通过对仿真结果的分析,展示了双闭环调速系统的优势及其在实际应用中的价值。 适合人群:从事电力电子实验的研究人员和技术爱好者,尤其是那些希望深入了解直流电动机控制系统原理的人。 使用场景及目标:适用于需要精确控制直流电动机转速的应用场合,如工业自动化设备、机器人等领域。通过学习本文,读者可以掌握使用Matlab/Simulink进行系统建模和仿真的方法,提高对复杂控制系统的理解和应用能力。 其他说明:文中提到的一些参数设置和优化技巧来源于实践经验,对于初学者来说可能需要多次尝试才能找到最适合自己的解决方案。同时,在撰写相关实验报告时,可以根据提供的建议整理和展示仿真数据,以便更好地表达研究成果。

    电气设备状态监测:温度监测与分析.zip

    电子仿真教程,从基础到精通,每个压缩包15篇教程,每篇教程5000字以上。

    电路仿真:电路基础理论.zip

    电子仿真教程,从基础到精通,每个压缩包15篇教程,每篇教程5000字以上。

    【Linux网络与Proxmox虚拟化】核心网络组件及虚拟化模型习题解析:掌握桥接、VLAN、Bonding与SDN配置技巧Linux网络基础

    内容概要:本文档详细介绍了Proxmox网络组件(vmbr、SDN)、Linux网络基础(桥接、VLAN、Bonding)以及虚拟化网络模型的核心概念,并通过一系列课后习题及其答案帮助读者巩固所学知识。第一部分讲解了Linux网桥与物理交换机的异同、桥接设备的配置方法、VLAN的相关概念及配置步骤;第二部分探讨了Proxmox中vmbr0的作用和创建新桥接接口的方法,以及SDN的核心组件和多租户场景下的优势;第三部分对比了桥接模型与NAT模型的适用场景及局限性,并提供了虚拟机无法访问互联网的排查步骤;第四部分通过故障案例分析和设计题,进一步加深对网络隔离和SDN网络设计的理解。 适合人群:具有Linux和网络基础知识的IT技术人员,特别是从事虚拟化、网络管理和云计算领域的工程师。 使用场景及目标:① 掌握Linux网络基础,包括桥接、VLAN、Bonding的配置与原理;② 理解Proxmox网络组件的功能及配置方法;③ 学习虚拟化网络模型的不同应用场景及优缺点;④ 提升网络故障排查能力和复杂网络的设计能力。 阅读建议:此文档不仅提供了理论知识,还结合了大量实际操作题目,建议读者在学习过程中动手实践,通过配置真实环境来加深理解。同时,对于关键知识点,可以查阅相关资料进行补充学习。

    立式插秧机sw16可编辑_三维3D设计图纸_包括零件图_机械3D图可修改打包下载_三维3D设计图纸_包括零件图_机械3D图可修改打包下载.zip

    立式插秧机sw16可编辑_三维3D设计图纸_包括零件图_机械3D图可修改打包下载_三维3D设计图纸_包括零件图_机械3D图可修改打包下载.zip

    机器人路径规划中A*与JPS+结合DWA算法的改进及多机器人场景应用

    内容概要:本文深入探讨了A*算法和跳点搜索算法(JPS+)在机器人路径规划领域的应用及其与动态窗口算法(DWA)相结合的改进。首先介绍了A*算法的基本原理和实现方式,然后详细解释了JPS+算法如何通过跳点搜索提高效率。接着讨论了这两种算法与DWA结合的具体方法,特别是在多机器人场景下的路径冲突避免和动态避障策略。文中还展示了多种改进措施的效果,如通过八叉树预处理地图、引入朝向变化惩罚以及采用异步优先级协商机制等。最后比较了单机器人和多机器人场景下的性能差异,强调了算法选择的重要性。 适合人群:从事机器人技术研发的专业人士,尤其是关注路径规划算法的研究人员和技术开发者。 使用场景及目标:适用于希望深入了解并优化机器人路径规划系统的团队和个人。目标是在单机器人和多机器人场景中提升路径规划的效率和灵活性,确保机器人能够在复杂的环境中稳定运行。 其他说明:文章不仅提供了理论分析,还包括了大量的代码片段和实际案例,有助于读者更好地理解和应用这些先进的路径规划技术。

    异步电机转差频率控制矢量仿真实验模型解析及应用

    内容概要:本文深入探讨了转差频率控制的异步电机矢量控制系统仿真模型。首先介绍了转差频率控制的基本原理,即通过控制转差频率间接调控电机转矩。接着阐述了矢量控制的思想,即将定子电流分解为励磁和转矩两个独立控制的分量。随后展示了仿真模型的具体实现,包括电机参数设定、状态空间模型构建、PI控制器参数配置以及关键模块如转差频率计算、坐标变换、磁链观测等的代码示例。最后强调了配套的50页说明文档对于理解和调试模型的重要价值。 适用人群:适用于电气工程专业学生、电机控制领域的研究人员和技术人员。 使用场景及目标:帮助读者掌握异步电机矢量控制的技术细节,提高对复杂控制系统的设计能力,同时提供实践指导,便于进行相关实验和项目开发。 其他说明:文中提供了大量MATLAB/Simulink代码片段作为实例,有助于加深理解并应用于实际工作中。此外,还分享了一些调试技巧和注意事项,如坐标变换系数选择、积分抗饱和处理等。

    Simulink黑鹰直升机非线性动力学模型解析及其MATLAB源码实现

    内容概要:本文详细介绍了基于Simulink平台构建的黑鹰单旋翼直升机非线性动力学模型。该模型涵盖了主旋翼挥舞角动力学、尾桨控制、机身气动力等多个关键模块,并提供了完整的MATLAB源码。文章深入剖析了各个模块的工作原理,如挥舞角计算、气动耦合补偿、侧向力计算等,并分享了多个实用的仿真技巧和常见问题解决方案。此外,文中还提到了一些优化建议,如调整时间常数、改进积分方法以及处理代数环错误等。 适合人群:从事直升机仿真研究的技术人员、航空航天领域的研究人员、高校相关专业的师生。 使用场景及目标:帮助读者理解和掌握直升机非线性动力学建模的方法和技术,提高仿真的精度和效率。适用于教学、科研项目以及工业应用中的直升机性能评估和控制系统设计。 其他说明:附带的文献资料进一步补充了模型背后的理论依据,特别是关于旋翼失速特性和地面效应的研究成果。对于希望深入了解直升机空气动力学特性的读者来说,这些资料非常有价值。

    python 基础:个人自用输入输出

    python 基础:个人自用输入输出

    电路仿真:瞬态分析.zip

    电子仿真教程,从基础到精通,每个压缩包15篇教程,每篇教程5000字以上。

    textern-0.8-1.el8.x64-86.rpm.tar.gz

    1、文件说明: Centos8操作系统textern-0.8-1.el8.rpm以及相关依赖,全打包为一个tar.gz压缩包 2、安装指令: #Step1、解压 tar -zxvf textern-0.8-1.el8.tar.gz #Step2、进入解压后的目录,执行安装 sudo rpm -ivh *.rpm

    互联网大厂200道高频Node.js面试题

    内容概要:本文档《互联网大厂200道高频Node.js面试题.pdf》涵盖了Node.js技术栈的核心知识点及实际应用技巧。文档详细列举了200个常见面试问题及其解答,内容涵盖Node.js的基础概念、事件循环机制、错误处理、模块系统、Buffer和Stream的使用、进程与线程的区别及应用、异步操作的多种实现方式、集群模式下的性能优化、WebSocket的实现、大文件处理、全局对象的使用、Promise和async/await的优势、RESTful API的设计、环境变量管理、跨域请求处理、调试工具、内存管理和优化、Worker Threads的应用、负载均衡策略、测试框架的选择、静态文件服务、日志管理、HTTP/2的支持、数据库连接方式、微服务架构的设计、JWT认证、性能监控、文件上传与下载、Reactor模式的理解、定时任务的设置、多语言支持、文件预览、安全实践、Server-Sent Events(SSE)的使用、微前端集成、长轮询、GraphQL服务的构建、命令行工具的开发、单元测试编写、process对象的功能、优雅退出的方法、os模块的作用、CPU密集型任务的处理、加密解密、文件锁定、TCP服务创建、DNS解析、事件循环优化、数据压缩、内存缓存、自定义协议、分布式锁、工具函数、文件分片处理、HTTPS实现、请求超时控制、日志切割、URL参数解析、请求重试机制、V8模块的作用、文件内容搜索、断言模块的使用、动态路由、国际化域名处理、性能测量、文件同步、REPL交互环境、请求限

    Matlab中3次B样条优化算法及其实现:提高曲线平滑度与计算效率的技术解析

    内容概要:本文详细介绍了3次B样条优化算法及其在Matlab中的具体实现。3次B样条作为一种广泛应用于计算机图形学和数据处理领域的曲线表示方法,因其良好的局部控制特性和光滑性而备受青睐。文中不仅阐述了3次B样条的基本理论,如基函数的递归计算公式,还给出了完整的Matlab代码实现,包括节点向量的生成、基函数的计算以及最终的曲线优化过程。此外,作者还分享了一些实用技巧,如避免常见的错误、提高计算效率的方法等。 适合人群:具有一定Matlab编程基础,对数值计算、数据拟合、计算机图形学等领域感兴趣的科研人员和技术开发者。 使用场景及目标:①需要对离散数据进行平滑处理的应用场合;②涉及轨迹规划、路径优化等问题的研究项目;③希望通过引入先进的数学工具改进现有算法性能的研发团队。 其他说明:文章提供的代码可以直接集成到现有的Matlab项目中,帮助用户快速实现3次B样条优化。同时,文中提到的一些优化建议和注意事项也有助于读者更好地理解和应用这一技术。

    COMSOL中层合材料超声波仿真的详细指南及实用技巧

    内容概要:本文详细介绍了如何使用COMSOL进行层合材料的超声波仿真,涵盖了从材料参数设置、几何建模、网格划分、物理场设置到求解器配置以及后处理的全过程。文中提供了大量MATLAB和Java代码片段,帮助用户快速构建并优化仿真模型。同时,作者分享了许多实践经验,如正确设置材料参数、采用合适的网格划分策略、调整求解器参数等,确保仿真结果更加贴近实际情况。 适合人群:从事复合材料研究的技术人员、超声波检测工程师、仿真软件使用者,尤其是有一定COMSOL使用基础的研究人员。 使用场景及目标:①掌握层合材料超声波仿真的完整流程;②提高仿真精度,解决常见的仿真误差问题;③通过实例学习如何优化模型设置,提升仿真效率。 其他说明:文章强调了材料参数设置、网格划分、求解器配置等方面的关键技术和注意事项,并提供了一些实用的代码示例和技巧,有助于读者更好地理解和应用这些知识点。

    Eclipse Memory Analyzer Tool (MAT) 的 macOS 安装包

    功能定位:这是一款专业的 Java 堆内存分析工具,主要用于: 诊断内存泄漏:通过分析堆转储文件(Heap Dump),定位未释放的无用对象。 优化内存使用:统计对象实例数量、内存占用及引用关系,提升应用性能。 支持场景:适用于开发调试、性能优化、故障排查(如 OOM 异常)等场景。

    电力系统调频技术:基于风储联合的四机两区系统频域建模与仿真

    内容概要:本文详细介绍了四机两区系统中风储联合调频仿真的构建与优化。首先,通过频域建模将风电渗透率提高到25%,并通过虚拟惯性控制和储能下垂控制来增强系统的频率稳定性。文中展示了关键的MATLAB代码片段,解释了虚拟惯性控制和储能SOC管理的具体实现方式。此外,还讨论了频域建模的优势及其在仿真速度上的显著提升。最后,提供了仿真结果的数据分析,验证了所提方法的有效性。 适合人群:从事电力系统调频研究的技术人员、研究生以及相关领域的研究人员。 使用场景及目标:适用于希望深入了解风储联合调频机制的研究人员和技术开发者,旨在提供一种高效的仿真方法,以应对高风电渗透率带来的频率波动挑战。 其他说明:文中提及了一些实用的经验技巧,如解决Simulink频域模块的代数环错误的方法,以及参考文献的选择,有助于读者更好地理解和应用相关内容。

Global site tag (gtag.js) - Google Analytics