从2005年-2013年，Ashwanth Fernando曾供职于Best Buy、Pearson VUE、Walgreens、Walmart eCommerce等多家知名公司，现在Apple从事高级工程师、平台工程师一职，拥有丰富的高流量Web应用程序打造及架构经验，近日Ashwanth撰文分享了他的高流量Web软件打造经验。
下为译文
受Joshua Bloch写的《Effective Java》启发，我想分享自己关于建立高流量Web软件的整体建议。这些术语中的一些可能不仅仅关于软件设计也关于工程组织、文化等相关领域。
免责声明
- 只代表个人观点
- 如发现与现实情况相违背的原则，请谨慎对待，或使用一般认识
1. 考虑使用不止一个数据中心
在商务领域，一直存在许多恐怖的道听途说，而这些恐慌都因为他们只使用了单一的数据中心。如果你想在自然灾害或者电力供应故障中幸免，那么请使用多 于1个的数据中心，使用active-active模式来配置你所有的数据中心。虽然在开销上可能会有所增加，但是比只使用单active的配置要值得多 ——因为在passive和active副本上，总会发现有些数据片不一致。
2. 考虑使用稀疏数据中心部署
不管是通过PaaS，还是运营团队进行，当软件集群被部署到同一个数据中心的机架上时，确保这些机架使用不同的电力供应。你不可能保证机架供电的万无一失，一旦失败将会导致整个机架上服务器的丢失，这个时候你绝对不会希望整个数据中心都只连在一个电路上。
3. 考虑使用私有云来组织资源
IaaS开源解决方案Openstack等其他的软件至今尚未成熟，需要庞大的团队来运营，在运行期间会产生各种各样的问题，除非你有足够的预算， 否则别考虑建立一个私有的云服务。然而，私有云可以提供众多优势。首先在部署方面就可以进行众多的定制化，这远比AWS或者是Rackspace货架上的 选择要多。其次它允许你做许多的硬件定制化，就好比在硬件层次的Oracle就比准虚拟化环境快得多。
4. 考虑使用PaaS做解决方案
为软件释放投入巨量人力进行部署的日子已接近尽头，各个机构在敏捷及快速市场投放上绞尽脑汁，而PaaS无疑会加速这个部署过程。它允许特性尽可能 快的发布，同时也能让开发者得到极大的满足。这是个非常好的开始，给予开发者部署集维护自己软件的工具，这将给工作积极性带来很大的提高。同时，越来越多 的开发者甚至不愿意加入没有自动化软件部署系统的公司。更少的领导，更简化的环节，将给你带来无与伦比的效率。
5. 如果使用Oracle或者MySQL，只做基于主键的查询
只有在RAC中存在很少的Artifacts时，Oracle才能在流量高峰时获得最佳性能。尽可能避免使用Referential Integrity、Triggers、Materialized Views、Views、Stored Procedures和其他的Oracle Artifacts。Triggers可以在从数据访问层实现。Stored Procedures可以完全转移到应用层。数据库只用来存储数据，基于字段进行存储而不是主键，使用类似Lucene的索引器做表的索引，使用一个允许在结果集上做基于其他字段的查询，这将会返回这个记录的主键，而这个主关键字可以进一步被用来拿取记录。
6. 考虑使用Oracle或者MySQL分片
当schema达到临界点，Oracle的可伸缩性将被限制，这里建议你对schema做基于功能（比如订单，产品目录，促销活动，客户等）上的分片，同时也为高密度表做key shards。为key shards使用一致性哈希，这样当一个新的RAC被添加RAC集时，你不再需要遍历所有RAC中的键，以获悉哪些键需要被移动到键的分片中。
7. 如果你使用Oracle做RDBMS，考虑使用Data Guard及Golden Gate
使用这两种技术将大大简化甲骨文的运营周期，Data Guard允许一个近实时passive读副本（没有客户端会与之连接），而Golden Gate则允许一个近实时的active读写副本。
推荐的部署拓扑之一就是为同个数据中心的每个分片配置1个Data Guard；使用Golden Gate来备份其他数据中心的每一个分片。
注意：Golden Gate只是近实时
8. 为Oracle或者MySQL添加数据访问层
假设你有一个可以接受500个连接的Oracle RAC，而你有25个jBoss实例和这个甲骨文RAC对话，每个Jboss实例配置范围10到50的数据库连接池。
当jBoss集群开启时，连接到Oracle的数目为250（25乘10），一切运行良好。随着流量快到jBoss集群的峰值，想象一下将会发生什么。在某个点后，Oracle将开始拒绝连接。
因此建议通过一个Multiplexer层建立一个Multiplexe应用程序服务器连接。可以是一个简单的 netty应用，这个应用运行在一个每个netty节点仅能够与Oracle建立25个连接的集群上，但是对入站连接来者不拒。它会将所有的连接循环传递给Oracle，但是绝对不会超过25个，同时还使用Oracle JDBC驱动与Oracle通信。
9. 避免跨数据中心事务
当下，这已经是非常简单的事情，但是在任何地方都非常适用，包括Oracle。在两个数据不同数据中心，不要适用1个XA适配器去做跨数据中心事 务，这将导致相当长时间的应用线程阻塞，直到两个阶段的提交完成，因此将带来你的应用程序服务、服务和所有同步上传流崩溃，最终会因为线程数量增加而导致 整个应用程序崩溃，比如在类似Black Friday流量情况下。
10. 考虑分布式缓存框架
Memcached、Counbase是最常用的选择。但实际上，卸载非易失性数据到一个中心缓存集群上，确实没必要在每个JVM上做相同的拷贝。但是确实需要设置小数量的JVM堆作为分布式缓存的一个MRU缓存，这样的话，缓存集群本身将会受到非常少的网络调用。
- 在JVM上大多数分布式缓存支持本地缓存的概念，它将储存最常用的对象。
- JVM上，GC的pause time同样被最小化了，因为对象图中需要遍历的对象比以前更少了。
- Warmup过程是必不可少的，这可以帮助将数据导入分布式缓存，这个过程应该在晚上或者是用户访问量低的时候。
-
11. 考虑把web应用程序分解为服务
上帝保佑，如果你负责的web应用程序超过50万行代码，而且仍然只作单一的项目部署，那么是时候根据服务功能把它分解成专业的服务了，并分配到不同的子组织或团队去操作。将Web应用程序分解为服务有以下诸多优势：
- Debug将变得简单
- 扩展及让子系统运行的更好将变得简单
- 很容易了解运行环境里发生了什么
- 更快的添加新功能
12. 不要使用session stickiness
这绝是与魔鬼共舞，session stickiness会让极值负荷下无法扩展。你的客户端应该能够调用ANY应用程序服务器，并得到其查询值。其中一个方法是让服务无状态，也称为 RestFUL服务。每个请求，客户端会收发标识状态的id，代表客户session的数据存储在数据库或跨多个请求的分布式缓存。
如果因为某个原因，取代RestFUL服务，你网站大部分是建立在HttpServlets和HttpSession属性上，使用以下方法可以实现独立session stickiness的网站：
一个servlet过滤器面对每项服务，取走每个请求的id，然后调用分布式缓存来填充会话属性，这将有助于处理请求。因此数据中心任何服务器都可以响应来自客户端的请求，因为session状态被保持在memcached。
不使用session stickiness还允许使用“rolling restart”方式重启你的应用程序服务器集群，从而实现100%的正常运行时间。
13. 终止反向代理商的SSL
在SSL信号交换及潜在TCP通信有效保持上，反向代理非常擅长。在反向代理有上设定一个显式的TCP维持计时器，nGinx及许多其他http服务器都允许这么做，这允许TCP连接多次重复使用。与TCP信号交换的成本是3个network call，这样许多请求就可以避免这个开销。
因此从反向代理到应用程序服务器，通常是RAW http；因此，同样也要维持TCP的上行连接。
14. 为GSLB类型的负载平衡器使用粘性负载平衡
跨数据中心的负载平衡，建议使用session stickiness。这是因为在跨数据中心复制上，数据库Oracle或Cassandra只能依赖最终一致性技术。因此，非粘性跨数据中心负载均衡器 将使你的客户端再也无法访问网站。因此经常使用GSLB，多数情况下，你的CDN将获得基于位置的GSLB数据中心解决方案。
15. 减少主页上的CNAME查找
尽量减少主页上的CNAME查找。单单主页的CNAME查找，一些网站就有10个或更多。即使客户端DNS查找的答案可能来自他们的ISP递归缓存，我们仍然可以做的更好。www.amazon.com CNAME查找为零。
dig www.amazon.com
;; QUESTION SECTION:
;www.amazon.com. IN A
;; ANSWER SECTION:
www.amazon.com.28 IN A 205.251.242.54
16. 拥抱一切“reactor”
在高流量软件系统中，reactor模式一次又一次的得以证明。一系列框架被创建用以实现reactor模式，reactor大致使用场景如下：
- 作为一个反向代理:nGinx
- 应用程序服务器: node.js
- 并行处理的: Scala的actor model
除非你的业务逻辑是高度CPU绑定，否则就得考虑使用reactor模式或基于事件循环的软件。如果无法实现，可以考虑像RxJava框架那样的响应式编程模型。
17. 实现调用取消
从Siddharth Anand的一个会议上得到灵感，服务调用时的调用图。首先，通过数字的递减实现超时。接下来，服务调用图的每次调用，都会创建一个UUID，并在分布式缓存中为UUID设置一个标志：
UUID：true
- 如果服务调用图中的任何服务超时，UUID的标志设置为false。
- 现在为所有服务实现一个servlet过滤器，一直检查这个标志，只在这个标志是真时才继续处理。
- 如果标志是是假，程序返回一个空的response。
- 这在大业务量时，可以禁止不必要的调用。
18. 执行GC搜索协议
再次，灵感来自于同一个人——通过Netty让所有的服务也显示一个TCP端口。在调用一个服务之前，调用TCP端口然后暂停2 - 5 ms等待访问。如果调用超时，这意味着这个Java进程正字做一个“stop the world”的垃圾收集。客户立即切换到另一个服务实例，然后尝试同样的步骤。如果调用成功，然后调用实例上的实际服务。
注意：实现GC搜索协议需要的客户端ip地址配置（即客户端负载均衡）。
19. 尽可能让业务逻辑和I / O存取异步进行
在流量爆炸时，异步业务逻辑能让您的应用程序避免建立过多的线程。将事件队列推送给负载均衡集群，让它去做进程订阅的业务逻辑，而不是在http request/response周期线程做这些事。
20. 偏爱最终一致性数据库
尤其是当你在运行跨数据中心的应用程序。除非你的用例是事务处理的（比如订单）等等，否则偏爱使用最终一致性数据库比如Cassandra，并尽可能少的使用ACID类型数据库。
21. 使用CDN服务静态内容
使用CDN服务静态内容——javascript、图像、css 等。CDN能有效地将静态内容复制到近客户地方，因此许多针对这些静态内容的http请求最终穿越不会超过几百英里。
22. 打包压缩javascript到一个文件中
减少javascript内联。
注意：不要在pre-prod环境中这么做，这里需要使用调试程序做javascript的debug。
原文链接： 22 Recommendations For Building Effective High Traffic Web Software（编译/陈翔宇、魏伟 审校/仲浩）
相关推荐
矢量边界，行政区域边界，精确到乡镇街道，可直接导入arcgis使用
毕业设计
毕业设计
经验贝叶斯EB的简单例子
智慧园区，作为现代城市发展的新形态，旨在通过高度集成的信息化系统，实现园区的智能化管理与服务。该方案提出，利用智能手环、定制APP、园区管理系统及物联网技术，将园区的各类设施与设备紧密相连，形成一个高效、便捷、安全的智能网络。从智慧社区到智慧酒店，从智慧景区到智慧康养，再到智慧生态，五大应用板块覆盖了园区的每一个角落，为居民、游客及工作人员提供了全方位、个性化的服务体验。例如，智能手环不仅能实现定位、支付、求助等功能，还能监测用户健康状况，让科技真正服务于生活。而智慧景区的建设，更是通过大数据分析、智能票务、电子围栏等先进技术，提升了游客的游玩体验，确保了景区的安全有序。 尤为值得一提的是，方案中的智慧康养服务，展现了科技对人文关怀的深刻体现。通过智慧手环与传感器，自动感知老人身体状态，及时通知家属或医疗机构，有效解决了“空巢老人”的照护难题。同时，智慧生态管理系统的应用，实现了对大气、水、植被等环境要素的实时监测与智能调控，为园区的绿色发展提供了有力保障。此外，方案还提出了建立全域旅游营销平台，整合区域旅游资源，推动旅游业与其他产业的深度融合，为区域经济的转型升级注入了新的活力。 总而言之，这份智慧园区建设方案以其前瞻性的理念、创新性的技术和人性化的服务设计，为我们展示了一个充满智慧与活力的未来园区图景。它不仅提升了园区的运营效率和服务质量，更让科技真正融入了人们的生活，带来了前所未有的便捷与舒适。对于正在规划或实施智慧园区建设的决策者而言，这份方案无疑提供了一份宝贵的参考与启示，激发了他们对于未来智慧生活的无限遐想与憧憬。
数学建模相关主题资源2
内容概要：本文围绕SQL在求职和实际工作中的应用展开，详细解析了SQL的重要性及其在不同行业中不可替代的地位。文章首先强调了SQL作为“一切数据工作的起点”，是数据分析、数据挖掘等领域必不可少的技能，并介绍了SQL与其他编程语言在就业市场的对比情况。随后重点探讨了SQL在面试过程中可能出现的挑战与应对策略，具体涉及到询问澄清问题、正确选择JOIN语句类型、恰当使用GROUP BY及相关过滤条件的区别、理解和运用窗口函数等方面，并给出了详细的实例和技巧提示。另外提醒面试者要注意重复值和空值等问题，倡导与面试官及时沟通。文中引用IEEE Spectrum编程语言排行榜证明了SQL不仅广泛应用于各行各业，在就业市场上也最受欢迎。 适用人群：从事或打算转入数据科学领域（包括但不限于数据分析师、数据科学家、数据工程师等职业方向），并对掌握和深入理解SQL有一定需求的专业人士，尤其是正准备涉及SQL相关技术面试的求职者。 使用场景及目标：帮助用户明确在面对复杂的SQL查询题目时能够更加灵活应对，提高解题效率的同时确保准确性；同时让用户意识到SQL不仅仅是简单的数据库查询工具，而是贯穿整个数据处理流程的基础能力之一，进而激发他们进一步探索的热情。 其他说明：SQL在性能方面优于Excel尤其适用于大规模数据操作；各知名企业仍将其视为标准数据操作手段。此外还提供了对初学者友好的建议，针对留学生普遍面临的难题如零散的学习资料、昂贵且效果不佳的付费教程以及难以跟上的纯英教学视频给出了改进的方向。
COMSOL仿真揭示石墨烯临界耦合光吸收特性：费米能级调控下的光学性能探究,COMSOL仿真揭示石墨烯临界耦合光吸收特性：费米能级调控下的光学性能探究,COMSOL 准 BIC控制石墨烯临界耦合光吸收。 COMSOL 光学仿真，石墨烯，光吸收，费米能级可调下图是仿真文件截图，所见即所得。 ,COMSOL; 准BIC; 石墨烯; 临界耦合光吸收; 光学仿真; 费米能级可调。,COMSOL仿真：石墨烯光吸收的BIC控制与费米能级调节
Labview与Proteus串口仿真下的温度采集与报警系统：Keil单片机程序及全套视频源码解析,Labview与Proteus串口仿真温度采集及上位机报警系统实战教程：设定阈值的Keil程序源码分享,labview 和proteus 联合串口仿真 温度采集 上位机报警 设定阈值单片机keil程序 整套视频仿真源码 ,关键词：LabVIEW；Proteus；串口仿真；温度采集；上位机报警；阈值设定；Keil程序；视频仿真源码。,LabVIEW与Proteus联合串口仿真：温度采集与报警系统，Keil程序与阈值设定全套视频源码
整车性能目标书：涵盖燃油车、混动车及纯电动车型的十六个性能模块目标定义模板与集成开发指南,整车性能目标书：涵盖燃油车、混动车及纯电动车型的十六个性能模块目标定义模板与集成开发指南,整车性能目标书，汽车性能目标书，十六个性能模块目标定义模板，包含燃油车、混动车型及纯电动车型。 对于整车性能的集成开发具有较高的参考价值 ,整车性能目标书;汽车性能目标书;性能模块目标定义模板;燃油车;混动车型;纯电动车型;集成开发;参考价值,《汽车性能模块化目标书：燃油车、混动车及纯电动车的集成开发参考》
熵值法stata代码（含stata代码+样本数据） 面板熵值法是一种在多指标综合评价中常用的数学方法，主要用于对不同的评价对象进行量化分析，以确定各个指标在综合评价中的权重。该方法结合了熵值理论和面板数据分析，能够有效地处理包含多个指标的复杂数据。
“电子电路”仿真资源（Multisim、Proteus、PCB等）
在 GEE（Google Earth Engine）中，XEE 包是一个用于处理和分析地理空间数据的工具。以下是对 GEE 中 XEE 包的具体介绍： 主要特性 地理数据处理：提供强大的函数和工具，用于处理遥感影像和其他地理空间数据。 高效计算：利用云计算能力，支持大规模数据集的快速处理。 可视化：内置可视化工具，方便用户查看和分析数据。 集成性：可以与其他 GEE API 和工具无缝集成，支持多种数据源。 适用场景 环境监测：用于监测森林砍伐、城市扩展、水体变化等环境问题。 农业分析：分析作物生长、土地利用变化等农业相关数据。 气候研究：研究气候变化对生态系统和人类活动的影响。
内容概要：本文介绍了C++编程中常见指针错误及其解决方案，并涵盖了模板元编程的基础知识和发展趋势，强调了高效流操作的最新进展——std::spanstream。文章通过一系列典型错误解释了指针的安全使用原则，强调指针初始化、内存管理和引用安全的重要性。随后介绍了模板元编程的核心特性，展示了编译期计算、类型萃取等高级编程技巧的应用场景。最后，阐述了C++23中引入的新特性std::spanstream的优势，对比传统流处理方法展现了更高的效率和灵活性。此外，还给出了针对求职者的C++技术栈学习建议，涵盖了语言基础、数据结构与算法及计算机科学基础领域内的多项学习资源与实战练习。 适合人群：正在学习C++编程的学生、从事C++开发的技术人员以及其他想要深入了解C++语言高级特性的开发者。 使用场景及目标：帮助读者掌握C++中的指针规则，预防潜在陷阱；介绍模板元编程的相关技术和优化方法；使读者理解新引入的标准库组件，提高程序性能；引导C++学习者按照有效的路径规划自己的技术栈发展路线。 阅读建议：对于指针部分的内容，应当结合实际代码样例反复实践，以便加深理解和记忆；在研究模板元编程时，要从简单的例子出发逐步建立复杂模型的理解能力，培养解决抽象问题的能力；而对于C++23带来的变化，则可以通过阅读官方文档并尝试最新标准特性来加深印象；针对求职准备，应结合个人兴趣和技术发展方向制定合理的学习计划，并注重积累高质量的实际项目经验。
JNA、JNI， Java两种不同调用DLL、SO动态库方式读写FM1208 CPU卡示例源码，包括初始化CPU卡、创建文件、修改文件密钥、读写文件数据等操作。支持Windows系统、支持龙芯Mips、LoongArch、海思麒麟鲲鹏飞腾Arm、海光兆芯x86_Amd64等架构平台的国产统信、麒麟等Linux系统编译运行，内有jna-4.5.0.jar包，vx13822155058 qq954486673
内容概要：本文全面介绍了Linux系统的各个方面，涵盖入门知识、基础操作、进阶技巧以及高级管理技术。首先概述了Linux的特点及其广泛的应用领域，并讲解了Linux环境的搭建方法（如使用虚拟机安装CentOS），随后深入剖析了一系列常用命令和快捷键，涉及文件系统管理、用户和权限设置、进程和磁盘管理等内容。此外，还讨论了服务管理的相关指令（如nohup、systemctl）以及日志记录和轮替的最佳实践。这不仅为初学者提供了一个完整的知识框架，也为中级和高级用户提供深入理解和优化系统的方法。 适合人群：适用于有意深入了解Linux系统的学生和专业技术人员，特别是需要掌握服务器运维技能的人群。 使用场景及目标：本文适合初次接触Linux的操作员了解基本概念；也适合作为培训教材，指导学生逐步掌握各项技能。对于有一定经验的技术人员而言，则可以帮助他们巩固基础知识，并探索更多的系统维护和优化可能性。 阅读建议：建议按照文章结构循序渐进地学习相关内容，尤其是结合实际练习操作来加深记忆和理解。遇到复杂的问题时可以通过查阅官方文档或在线资源获得更多帮助。
内容概要：本文档详细介绍了企业在规范运维部门绩效管理过程中所建立的一套绩效考核制度。首先阐述了绩效考核制度设立的目的为确保绩效目标得以衡量与追踪，并确保员工与公司共同成长与发展。其次规定范围覆盖公司所有在职员工，并详细列明了从总经理到一线员工在内的不同角色的职责范围。再则描述了完整的绩效工作流程，即从年初开始制定绩效管理活动计划，经过与每个员工制定具体的绩效目标，在绩效考核周期之内对员工的工作进展和问题解决状况进行持续的监督跟进，并且在每周期结束前完成员工绩效的评估和反馈工作，同时利用绩效评估结果对员工作出保留或异动的相关决定，最后进行绩效管理活动总结以为来年提供参考。此外还强调了整个过程中必要的相关文档保存，如员工绩效评估表。 适合人群：企业管理层，HR专业人士及对现代企业内部运营管理感兴趣的读者。 使用场景及目标：①管理层需要理解如何规范和有效实施企业内部绩效管理，以提高公司运营效率和员工满意度；②HR人士可以通过参考此文档来优化自己公司的绩效管理体系；③对企业和组织管理有兴趣的研究员亦可借鉴。 阅读建议：读者应重点关注各个层级管理者和员工在整个流程中的角色和责任，以期更好地理解
基于MATLAB Simulink的LCL三相并网逆变器仿真模型：采用交流电流内环PR控制与SVPWM-PWM波控制研究,基于MATLAB Simulink的LCL三相并网逆变器仿真模型研究：采用比例谐振控制与交流SVPWM控制策略及参考文献解析,LCL_Three_Phase_inverter：基于MATLAB Simulink的LCL三相并网逆变器仿真模型，交流电流内环才用PR（比例谐振）控制，PWM波采用SVPWM控制，附带对应的参考文献。 仿真条件：MATLAB Simulink R2015b，前如需转成低版本格式请提前告知，谢谢。 ,LCL三相并网逆变器; LCL_Three_Phase_inverter; MATLAB Simulink; PR控制; SVPWM控制; 仿真模型; 参考文献; 仿真条件; R2015b版本,基于PR控制与SVPWM的LCL三相并网逆变器Simulink仿真模型研究
内点法求解标准节点系统最优潮流计算的稳定程序，注释清晰，通用性强,内点法用于标准节点系统的最优潮流计算：稳定、通用且注释清晰的matlab程序,内点法最优潮流程序matlab 采用内点法对14标准节点系统进行最优潮流计算，程序运行稳定，注释清楚，通用性强 ,内点法; 最优潮流程序; MATLAB; 14标准节点系统; 稳定运行; 清晰注释; 通用性强。,Matlab内点法最优潮流程序：稳定高效，通用性强，适用于14节点系统
17suiea3.apk?v=1741006890849