最近对大规模系统的架构比较感兴趣，有很多东西想看，这次正好看到在HighScalability
上读到《MocoSpace Architecture - 3 Billion Mobile Page Views a Month
》，觉得讲的挺实在的，摘录一些内容放在这里。
先介绍下MocoSpace
，这是一个针对移动设备的SNS，拥有1千2百万用户，10万并发用户量，一个月30亿PV，6百万独立访问者，上传1千2百万照片。
一、系统平台
整个站点运行于CentOS及RedHat之上，应用服务器是Resin，数据库为PostgreSQL；缓存方面使用了Memcached
作为分布式缓存，Squid进行静态内容缓存；前台主要使用JQuery；大量使用消息队列进行异步处理，此处采用运行于RedHat集群中的ActiveMQ；监控方面使用了Nagios和Zabbix。
硬件方面，Web层主要是5x Dell 1950（2x dual core, 16G RAM），5x Dell 6950/R905（4x dual core, 32G RAM）；数据库层2x Sun Fire X4600 M2 Server（8x quad core, 256G RAM），2x Dell 6950（4x dual core, 64G RAM）。负载均衡器采用F5 BigIP硬件实现，EMC SAN充当数据库的存储介质。
除此之外，MocoSpace还使用了Amazon的S3和EC2，前者存储用户的照片及视频，后者用于照片处理（使用云存储和云计算平台还是有不少好处
的，可惜国内要大规模使用还真需要考虑考虑，也许哪天Amazon就访问不了了。。。）；Akamai
CDN每天有2TB的量，2亿5千万个请求。
二、系统架构
数据库根据用户的Key进行Shard，对大表进行拆分（eBay：Partition Everything）；离线环境下以批次为单位进行一致性校验，实现最终一致性。（eBay：Embrace Inconsistency。从现在的趋势来看，设计系统时光知道ACID是远远不够滴，还要了解BASE和CAP，学校里可不会教这些。
）
在缓存的应用方面，使用多层缓存（应用服务器本地缓存、Memcached分布式缓存），更新数据时同时更新Memcached和数据库，在更新Memcached的同时通过消息队列发送invaild本地缓存的指令到各台应用服务器上。
采用专门的服务器在内存里构建及遍历social graph；在部署新版本时通过负载均衡器保持全站可用性；服务器的配置和部署尽量自动化（eBay：Automate Everything，别在靠系统管理员人肉部署了）。
以2周作为一个发布周期，发布周期越长，系统的复杂性就越高。
三、经验总结
1、
充分利用服务器资源。（不要担心服务器的Load过高，只要保持在可接受的范围即可。文章中说他们在一台应用服务器上跑了5个实例。）
2、找到每层的瓶颈所在。
3、严谨地剖析数据库。（找到系统中的Top Query，并对它进行跟踪处理。）
4、设计可降级的系统。（这个也是在很多地方都提到的一点）
5、只在必要时才使用同步通信。（鼓励使用异步通信，eBay：Asynchrony Everywhere）
6、在设计时就要考虑到监控的需求，而不是事后再补监控。（还要尽可能图形化，Twitter的Dashboard做的就很强大）
7、首选无状态，其次是粘性会话，尽量不要使用分布式Session。
8、注意Java的GC。（Full GC会Stop the whole world，一定要对GC进行优化，前几天BlueDavy写了个PPT专门讲了GC的问题
。）
9、当站点发展到一定规模时，要考虑垃圾信息和黑客攻击。
10、删除数据时采用软删除而非立即删除。（更新比删除效率更高，而且也许有误操作，可以恢复）
11、任何东西都要有冗余。（eBay：Remember Everything Fails）
P.S.
虽然是讲MocoSpace，但很多设计原则都是通用的，我在很多地方都标注了eBay架构原则里的一些东西，有兴趣的TX可以去搜一下eBay的一些演讲PPT，会很有收获的。
分享到：
相关推荐
在智慧园区建设的浪潮中，一个集高效、安全、便捷于一体的综合解决方案正逐步成为现代园区管理的标配。这一方案旨在解决传统园区面临的智能化水平低、信息孤岛、管理手段落后等痛点，通过信息化平台与智能硬件的深度融合，为园区带来前所未有的变革。 首先，智慧园区综合解决方案以提升园区整体智能化水平为核心，打破了信息孤岛现象。通过构建统一的智能运营中心（IOC），采用1+N模式，即一个智能运营中心集成多个应用系统，实现了园区内各系统的互联互通与数据共享。IOC运营中心如同园区的“智慧大脑”，利用大数据可视化技术，将园区安防、机电设备运行、车辆通行、人员流动、能源能耗等关键信息实时呈现在拼接巨屏上，管理者可直观掌握园区运行状态，实现科学决策。这种“万物互联”的能力不仅消除了系统间的壁垒，还大幅提升了管理效率，让园区管理更加精细化、智能化。 更令人兴奋的是，该方案融入了诸多前沿科技，让智慧园区充满了未来感。例如，利用AI视频分析技术，智慧园区实现了对人脸、车辆、行为的智能识别与追踪，不仅极大提升了安防水平，还能为园区提供精准的人流分析、车辆管理等增值服务。同时，无人机巡查、巡逻机器人等智能设备的加入，让园区安全无死角，管理更轻松。特别是巡逻机器人，不仅能进行360度地面全天候巡检，还能自主绕障、充电，甚至具备火灾预警、空气质量检测等环境感知能力，成为了园区管理的得力助手。此外，通过构建高精度数字孪生系统，将园区现实场景与数字世界完美融合，管理者可借助VR/AR技术进行远程巡检、设备维护等操作，仿佛置身于一个虚拟与现实交织的智慧世界。 最值得关注的是，智慧园区综合解决方案还带来了显著的经济与社会效益。通过优化园区管理流程，实现降本增效。例如，智能库存管理、及时响应采购需求等举措，大幅减少了库存积压与浪费；而设备自动化与远程监控则降低了维修与人力成本。同时，借助大数据分析技术，园区可精准把握产业趋势，优化招商策略，提高入驻企业满意度与营收水平。此外，智慧园区的低碳节能设计，通过能源分析与精细化管理，实现了能耗的显著降低，为园区可持续发展奠定了坚实基础。总之，这一综合解决方案不仅让园区管理变得更加智慧、高效，更为入驻企业与员工带来了更加舒适、便捷的工作与生活环境，是未来园区建设的必然趋势。
labelme标注的json转mask掩码图，用于分割数据集 批量转化，生成cityscapes格式的数据集
（参考GUI）MATLAB GUI漂浮物垃圾分类检测.zip
人脸识别项目源码实战
人脸识别项目实战
本仿真模型基于MATLAB/Simulink（版本MATLAB 2016Rb）软件。建议采用matlab2016 Rb及以上版本打开。（若需要其他版本可联系代为转换） CSDN详情地址：https://blog.csdn.net/qq_50594161/article/details/146242453sharetype=blogdetail&sharerId=146242453&sharerefer=PC&sharesource=qq_50594161&spm=1011.2480.3001.8118
实战练习分词、创建词表、文本处理
在智慧园区建设的浪潮中，一个集高效、安全、便捷于一体的综合解决方案正逐步成为现代园区管理的标配。这一方案旨在解决传统园区面临的智能化水平低、信息孤岛、管理手段落后等痛点，通过信息化平台与智能硬件的深度融合，为园区带来前所未有的变革。 首先，智慧园区综合解决方案以提升园区整体智能化水平为核心，打破了信息孤岛现象。通过构建统一的智能运营中心（IOC），采用1+N模式，即一个智能运营中心集成多个应用系统，实现了园区内各系统的互联互通与数据共享。IOC运营中心如同园区的“智慧大脑”，利用大数据可视化技术，将园区安防、机电设备运行、车辆通行、人员流动、能源能耗等关键信息实时呈现在拼接巨屏上，管理者可直观掌握园区运行状态，实现科学决策。这种“万物互联”的能力不仅消除了系统间的壁垒，还大幅提升了管理效率，让园区管理更加精细化、智能化。 更令人兴奋的是，该方案融入了诸多前沿科技，让智慧园区充满了未来感。例如，利用AI视频分析技术，智慧园区实现了对人脸、车辆、行为的智能识别与追踪，不仅极大提升了安防水平，还能为园区提供精准的人流分析、车辆管理等增值服务。同时，无人机巡查、巡逻机器人等智能设备的加入，让园区安全无死角，管理更轻松。特别是巡逻机器人，不仅能进行360度地面全天候巡检，还能自主绕障、充电，甚至具备火灾预警、空气质量检测等环境感知能力，成为了园区管理的得力助手。此外，通过构建高精度数字孪生系统，将园区现实场景与数字世界完美融合，管理者可借助VR/AR技术进行远程巡检、设备维护等操作，仿佛置身于一个虚拟与现实交织的智慧世界。 最值得关注的是，智慧园区综合解决方案还带来了显著的经济与社会效益。通过优化园区管理流程，实现降本增效。例如，智能库存管理、及时响应采购需求等举措，大幅减少了库存积压与浪费；而设备自动化与远程监控则降低了维修与人力成本。同时，借助大数据分析技术，园区可精准把握产业趋势，优化招商策略，提高入驻企业满意度与营收水平。此外，智慧园区的低碳节能设计，通过能源分析与精细化管理，实现了能耗的显著降低，为园区可持续发展奠定了坚实基础。总之，这一综合解决方案不仅让园区管理变得更加智慧、高效，更为入驻企业与员工带来了更加舒适、便捷的工作与生活环境，是未来园区建设的必然趋势。
人脸识别项目源码实战
学生信息管理系统是一个基于Java Web技术的综合性管理平台。通过此系统，可以实现对学生、教师、选课信息等的动态管理， 提升学校管理效率。系统采用分层架构设计，前端使用HTML、CSS，JavaScript和jQuery，后端基于Servlet，JSP和Spring框架，数据库采用MySQL。主要有四个大功能，学生管理（ 增加学生信息、删除学生信息、修改学生信息、查询学生信息）、教师管理（增加教师信息、删除教师信息、修改教师信息、查询教师信息）、选课信息管理（添加选课、查询选课情况、删除选课记录）、系统管理（ 登录与注册功能、 用户角色管理（老师，学生，管理员）、系统日志查看）。 技术架构 1.前端技术 HTML,CSS：静态页面布局与样式 JavaScript，jQuery：动态交互、DOM操作和AJAX请求 2.后端技术 Servlet：控制层，处理用户请求 JSP：页面动态生成 Spring：依赖注入，业务逻辑分离 3.数据库 MySQL：存储学生、教师，课程等数据 JDBC：数据库连接与操作
本课程是 PHP 进阶系列之 Swoole 入门精讲，系统讲解 Swoole 在 PHP 高性能开发中的应用，涵盖 协程、异步编程、WebSocket、TCP/UDP 通信、任务投递、定时器等核心功能。通过理论解析和实战案例相结合，帮助开发者掌握 Swoole 的基本使用方法及其在高并发场景下的应用。 适用人群： 适合 有一定 PHP 基础的开发者、希望提升后端性能优化能力的工程师，以及 对高并发、异步编程感兴趣的学习者。 能学到什么： 掌握 Swoole 基础——理解 Swoole 的核心概念，如协程、异步编程、事件驱动等。 高并发处理——学习如何使用 Swoole 构建高并发的 Web 服务器、TCP/UDP 服务器。 实战项目经验——通过案例实践，掌握 Swoole 在 WebSocket、消息队列、微服务等场景的应用。 阅读建议： 建议先掌握 PHP 基础，了解 HTTP 服务器和并发处理相关概念。学习过程中，结合 官方文档和实际项目 进行实践，加深理解，逐步提升 Swoole 开发能力。
人脸识别项目实战
人脸识别项目实战
功能简介：本工具可实现批量对照片文件的人脸识别，并按指定分辨率进行转换保存。 可为人脸识别采集系统提供很好的辅助工具。 软件基本于OPENVC开发，识别精确，转换高效。 人脸识别工具 +人脸采集处理
内容概要：本文探讨了利用肌长变化反馈控制（FCM-ML）和演员-评论家强化学习（ACRL-NGN）来有效实现人体上肢和下肢无意识姿态稳定的算法方法。通过构建一个包含949条肌肉和22个关节的全身计算模型，在不同初始姿势的情况下进行模拟试验，验证了这些方法的有效性和鲁棒性，结果显示FCM-ML方法比其他传统方法更适用于此类任务。研究指出人类及其他脊椎动物在无意识状态下，通过抗拮抗性的肌肉长度变化反馈机制来维持舒适状态下的自然身体姿势（NBP）。此外，研究还表明这种控制策略有助于机器人设计、运动员训练以及康复患者的治疗。 适用人群：生物力学、机器人学以及神经科学领域的研究人员、工程师，以及关注人体姿态控制及其应用的学者和技术人员。 使用场景及目标：①解释人和非人的脊椎动物如何在无意识情况下维持最佳姿势，特别是处于重力环境中的自然身体姿势（NBP）。②为机器人肌肉控制提供理论支持和发展方向，特别是在模拟多肌肉协调控制方面。③指导运动训练及病患恢复计划的设计与优化。 其他说明：研究发现ACRL-NGN结合FCM-ML不仅能够迅速有效地实现期望的姿态稳定性，而且不需要对肌肉分类，这使其在复
反编译apk重要的工具之一
人脸识别项目实战
FDTD复现圆偏振超透镜 ,FDTD; 复现; 圆偏振; 超透镜;,FDTD技术在超透镜复现圆偏振的实践
手势识别项目实战