摘要： Tengine在软件层面已经有了深度的调试和优化经验，但是在硬件层面，通用处理器（CPU）已经进入了摩尔定律，有了瓶颈。而在业务量突飞猛进的当下，如何利用硬件来提升性能，承载双11等大型活动的洪峰流量，保障活动平稳度过呢？本文作者：王发康，花名毅松，负责集团主站统一接入层Tengine的开发与维护。
Tengine在软件层面已经有了深度的调试和优化经验，但是在硬件层面，通用处理器（CPU）已经进入了摩尔定律，有了瓶颈。而在业务量突飞猛进的当下，如何利用硬件来提升性能，承载双11等大型活动的洪峰流量，保障活动平稳度过呢？
本文作者：王发康，花名毅松，负责集团主站统一接入层Tengine的开发与维护。今天分享的主题是《阿里七层流量入口Tengine硬件加速探索之路》。
接入层系统介绍
接入层是2015年阿里巴巴全站HTTPS诞生的一个产品。作为一个电商网站，为了保护用户信息安全、账户、交易的安全，全站HTTPS是势在必行，如果淘宝、天猫、聚划算等各业务方在后端各自做接入层，机器成本高，而且证书管理复杂。为了解决问题，我们做了统一接入层，来做HTTPS卸载和流量分发等通用功能。
所有的阿里集团流量通过四层LVS，到达统一接入层，统一接入层根据不同的维度域名转发到对应的后端APP，并且提供智能的流量分发策略。因为抽象出一层，通用的安全防攻击、链路追踪等高级功能，都可以在这一层统一实现。
接入层是集团所有流量的入口，它的稳定性是非常重要的。同时，接入层提供了这么多高级功能，所以对其性能的挑战也非常大。业务驱动了技术创新，2017年接入层在硬件加速领域迈出了第一步。
性能瓶颈分析及解决
我们要对自己的系统做性能优化，首先我们要找到系统的瓶颈点，并且进行分析与调研。
主站接入层承载集团90%以上的入口流量，同时支持着很多高级功能，比如HTTPS卸载及加速、单元化、智能流量转发策略、灰度分流、限流、安全防攻击、流量镜像、链路追踪、页面打点等等，这一系列功能的背后是Tengine众多模块的支持。由于功能点比较多，所以这就导致Tengine的CPU消耗比较分散，消耗CPU比较大的来自两个处HTTPS和Gzip，这就是性能瓶颈之所在。
一、HTTPS卸载篇
虽然全站HTTPS已经是一个老生常谈的话题，但是国内为何能做到的网站却还是屈指可数？原因简单总结来说有两点，首先使用HTTPS后使得网站访问速度变“慢”，其次导致服务器CPU消耗变高、从而机器成本变“贵”。
软件优化方案：如Session复用、OCSP Stapling、False Start、dynamic record size、TLS1.3、HSTS等。 但软件层面如何优化也无法满足流量日益增长的速度，加上CPU摩尔定律已入暮年，使得专用硬件卸载CPU密集型运算成为业界一个通用解决方案。
Tengine基于Intel QAT的异步加速方案总体架构
由三部分组成Tengine的ssl_async指令、OpenSSL + QAT Engine及QAT Driver。其中Tengine通过适配OpenSSL-1.1.0的异步接口，将私钥操作卸载至Intel提供的引擎(QAT engine)中，引擎通过 QAT驱动调用硬件完成非对称算法取回结果。
该方案在Tengine2.2.2中已经开源。
Tengine启用ssl_async QAT加速后的效果如何？
RSA套件提升3.8倍(8核时)
ECDHE-RSA提升2.65倍(8核时)
ECDHE-ECDSA(P-384) 提升2倍(16核时)
ECDHE-ECDSA(P-256) 8核达到QAT硬件处理峰值16k左右， 只有23%的性能提升。
HTTPS卸载方案可以减少物理机数量，节省CPU资源，为公司带来价值。
二、Gzip卸载篇
当前接入层Gzip模块的CPU占比达到15-20%，如果我们能卸载掉Gzip的CPU消耗，让出来的CPU就可以用于处理更多请求和提升性能。
然而目前业内各大公司接入层针对于Gzip采用硬件加速还是一片空白，阿里在接入层结合硬件加速技术卸载Gzip调研了几套方案：
方案一是和Intel合作的QAT卡的加速方案，直接把相关软件算法固化到硬件中去，链路会更精简。
方案二智能网卡方案，需要把Tengine一部分业务逻辑抽取到网卡中做，其成本及风险高，而且只是对zlib进行软件卸载，相对于QAT并不具有加速作用。
方案三是FPGA卡方案，相对来说开发成本较高，且相关资源匮乏。
综上评估，选择方案一对Gzip进行卸载及加速。
Tengine Gzip 硬件加速方案实践
左边的图是软件方案，请求进来后，在软件层面做一些压缩，全部是用CPU在做。右边是通过QAT卡来加速，把红色那部分全部卸载到QAT卡里，通过改造Tengine中的Gzip这个模块，让它去调用QAT的驱动，通过硬件做压缩，最终送回Tengine传输给用户。
在这个过程中，我们也遇到了非常多的坑。
使用的第一版驱动Intel-Qat 2.6.0-60，当QPS为1k左右时，从上图可以看出，横坐标是时间，纵坐标是CPU消耗百分比，跑到第五秒左右，CPU很快打满，这相当于根本跑不起来。
针对这个问题，我们使用strace进行相关系统热点函数统计发现，其CPU主要消耗在ioctl系统函数上，如下所示：
ioctl主要是做上层应用程序和底层通讯的，并且CPU消耗中90%以上都是消耗在内核态。因为最初的每个压缩请求都要送到硬件中去，buffer需要开辟连续的物理内存，系统跑久了，一旦遇到连续内存分配不成功的情况，就会需要ioctl去分配内存，出现频繁调用 compact_zone进行内碎片整理，其调用热的高达88.096%，如果分配失败了，就会触发内存去做碎片整理，所以就会出现sys态CPU持续上升的情况。
这个问题解决后，也并没有那么顺利，我们遇到了下面的问题。
在日常压测时，我们发现CPU用了Gzip卸载方案后，节省效果上并没有明显的提升。user态CPU降低了10%左右，但是sys态CPU相对于软件版的CPU提升了10%。所以，节省效果不明显。
经分析，我们发现使用QAT后，部分系统函数CPU占比变高，如下图所示(注:左边的是使用QAT后各系统热点函数，右边是软件版原生tengine的各系统热点函数)open、ioctl、futex执行 时间占比高达8.95(注:3.91 + 2.68 + 2.36)，而未使用版本对应占比时间才0.44(注:0.24 + 0.14 + 0.06)。
open和ioctl是由于Zlib Shim适配层处理逻辑有一些问题，通过优化改造后open、ioctl调用频率明显减少。但是其futex系统调用频度却没有减少，还是导致内核态的CPU占比较高，通过strace跟踪发现一个http压缩请求后会多次调用futex，Zlib Shim采用多线程方式，其futex操作来自zlib shim等待QAT压缩或解压缩数据返回的逻辑，由于Tengine是多进程单线程、采用epoll异步IO事件模式，联调Intel的研发同学对Zlib Shim进行改造（去线程），最终futex系统调用也明显减少。
一路走来，通过无数次的性能优化、功能测试，我们与Intel研发同学一起探讨之后，才使得QAT在功能、性能、架构方面等众多问题得以快速解决。
运维与监控
问题解决后，接下来我们进行上线前的准备。
一、压测和演练，这里主要关注高流量、压缩与解压缩流量混跑等情况下的性能提升情况，同时关注数据完整性校验。
二、容灾保护，在运行过程中，当硬件资源缺乏导致Gzip执行失败，会自动切换软件版本，硬件资源恢复后自动切回。
三、监控，对硬件加速相关的资源指标进行实时监控和报警，防患于未然。
四、部署与发布，因为存在硬件和软件两个版本，所以采用单rpm软件包、双二进制模式，从而降低软件版与硬件加速版之间的耦合度，自动识别部署机器是否开启QAT，并选择正确的二进制执行。
硬件加速效果
上线后我们获得了一些加速效果的数据。当QPS为10k左右时，Tengine Gzip使用QAT加速后，CPU节省在15%左右，且Gzip基本上完全卸载，随着其占比变高，优化效果将越来越好。在2017年双11零点流量峰值附近，Tengine加速机器相比普通机器性能提升 21%。
展望及总结
Tengine首次采用硬件加速技术卸载Gzip，不仅带来性能上的提升，而且使得接入层在硬件加速领域再次打下了坚实的基础，对业界在此领域的发展也有重大影响意义。在未来，Tengine会在软件和硬件层面继续探索，为集团和用户提供更加高可用、高性能、低成本、安全、运维自动化的系统。
相关推荐
《阿里七层流量入口Tengine硬件加速探索之路》 在当今互联网时代，高并发、大流量的场景已经成为常态。为了应对这些挑战，阿里集团在Nginx基础上开发了一款定制化的Web服务器——Tengine，它在性能优化、稳定性增强...
【阿里七层流量入口Tengine硬件加速探索之路】 在阿里巴巴的IT基础设施中，Tengine扮演着至关重要的角色，作为七层流量入口的核心系统，它确保了包括双11在内的大型促销活动的稳定运行。Tengine提供了多种高级特性...
本文将从《阿里七层流量入口Tengine硬件加速探索之路》一文出发，详细介绍Tengine硬件加速方案的设计、实施、效果以及未来展望。 Tengine在处理高并发场景时，核心挑战之一在于如何在保证安全的前提下提高HTTPS处理...
七层负载均衡推荐Tengine，它具有与Nginx的兼容性、会话保持和多维度CC攻击防御。LVS的局限性在于其对服务器池的动态管理不灵活，负载权值静态且配置复杂。 开发约定规定了服务器操作系统为Linux，支持的语言为Java...
拟阵约束下最大化子模函数的模型及其算法的一种熵聚类方法.pdf
内容概要：本文探讨了在两级电力市场环境中，针对省间交易商的最优购电模型的研究。文中提出了一个双层非线性优化模型，用于处理省内电力市场和省间电力交易的出清问题。该模型采用CVaR（条件风险价值）方法来评估和管理由新能源和负荷不确定性带来的风险。通过KKT条件和对偶理论，将复杂的双层非线性问题转化为更易求解的线性单层问题。此外，还通过实际案例验证了模型的有效性，展示了不同风险偏好设置对购电策略的影响。 适合人群：从事电力系统规划、运营以及风险管理的专业人士，尤其是对电力市场机制感兴趣的学者和技术专家。 使用场景及目标：适用于希望深入了解电力市场运作机制及其风险控制手段的研究人员和技术开发者。主要目标是为省间交易商提供一种科学有效的购电策略，以降低风险并提高经济效益。 其他说明：文章不仅介绍了理论模型的构建过程，还包括具体的数学公式推导和Python代码示例，便于读者理解和实践。同时强调了模型在实际应用中存在的挑战，如数据精度等问题，并指出了未来改进的方向。
内容概要：本文探讨了在MATLAB/Simulink平台上针对四机两区系统的风储联合调频技术。首先介绍了四机两区系统作为经典的电力系统模型，在风电渗透率增加的情况下，传统一次调频方式面临挑战。接着阐述了风储联合调频技术的应用，通过引入虚拟惯性控制和下垂控制策略，提高了系统的频率稳定性。文章展示了具体的MATLAB/Simulink仿真模型，包括系统参数设置、控制算法实现以及仿真加速方法。最终结果显示，在风电渗透率为25%的情况下，通过风储联合调频，系统频率特性得到显著提升，仿真时间缩短至5秒以内。 适合人群：从事电力系统研究、仿真建模的技术人员，特别是关注风电接入电网稳定性的研究人员。 使用场景及目标：适用于希望深入了解风储联合调频机制及其仿真实现的研究人员和技术开发者。目标是掌握如何利用MATLAB/Simulink进行高效的电力系统仿真，尤其是针对含有高比例风电接入的复杂场景。 其他说明：文中提供的具体参数配置和控制算法有助于读者快速搭建类似的仿真环境，并进行相关研究。同时强调了参考文献对于理论基础建立的重要性。
内容概要：本文介绍了永磁同步电机（PMSM）无感控制技术，特别是高频方波注入与滑膜观测器相结合的方法。首先解释了高频方波注入法的工作原理，即通过向电机注入高频方波电压信号，利用电机的凸极效应获取转子位置信息。接着讨论了滑膜观测器的作用，它能够根据电机的电压和电流估计转速和位置，具有较强的鲁棒性。两者结合可以提高无传感器控制系统的稳定性和精度。文中还提供了具体的Python、C语言和Matlab代码示例，展示了如何实现这两种技术。此外，简要提及了正弦波注入的相关论文资料，强调了其在不同工况下的优势。 适合人群：从事电机控制系统设计的研发工程师和技术爱好者，尤其是对永磁同步电机无感控制感兴趣的读者。 使用场景及目标：适用于需要减少传感器依赖、降低成本并提高系统可靠性的情况，如工业自动化设备、电动汽车等领域的电机控制。目标是掌握高频方波注入与滑膜观测器结合的具体实现方法，应用于实际工程项目中。 其他说明：文中提到的高频方波注入和滑膜观测器的结合方式，不仅提高了系统的性能，还在某些特殊情况下表现出更好的适应性。同时，附带提供的代码片段有助于读者更好地理解和实践这一技术。
内容概要：本文深入探讨了MATLAB中扩展卡尔曼滤波（EKF）和双扩展卡尔曼滤波（DEKF）在电池参数辨识中的应用。首先介绍了EKF的基本原理和代码实现，包括状态预测和更新步骤。接着讨论了DEKF的工作机制，即同时估计系统状态和参数，解决了参数和状态耦合估计的问题。文章还详细描述了电池参数辨识的具体应用场景，特别是针对电池管理系统中的荷电状态（SOC）估计。此外，提到了一些实用技巧，如雅可比矩阵的计算、参数初始值的选择、数据预处理方法等，并引用了几篇重要文献作为参考。 适合人群：从事电池管理系统开发的研究人员和技术人员，尤其是对状态估计和参数辨识感兴趣的读者。 使用场景及目标：适用于需要精确估计电池参数的实际项目，如电动汽车、储能系统等领域。目标是提高电池管理系统的性能，确保电池的安全性和可靠性。 其他说明：文章强调了实际应用中的注意事项，如数据处理、参数选择和模型优化等方面的经验分享。同时提醒读者关注最新的研究成果和技术进展，以便更好地应用于实际工作中。
内容概要：本文详细介绍了在无电子凸轮功能情况下，利用三菱FX3U系列PLC和威纶通触摸屏实现分切机上下收放卷张力控制的方法。主要内容涵盖硬件连接、程序框架设计、张力检测与读取、PID控制逻辑以及触摸屏交互界面的设计。文中通过具体代码示例展示了如何初始化寄存器、读取张力传感器数据、计算张力偏差并实施PID控制，最终实现稳定的张力控制。此外，还讨论了卷径计算、速度同步控制等关键技术点，并提供了现场调试经验和优化建议。 适合人群：从事自动化生产设备维护和技术支持的专业人士，尤其是熟悉PLC编程和触摸屏应用的技术人员。 使用场景及目标：适用于需要对分切机进行升级改造的企业，旨在提高分切机的张力控制精度，确保材料切割质量，降低生产成本。通过本方案可以实现±3%的张力控制精度，满足基本生产需求。 其他说明：本文不仅提供详细的程序代码和硬件配置指南，还分享了许多实用的调试技巧和经验，帮助技术人员更好地理解和应用相关技术。
内容概要：本文详细介绍了一种基于西门子S7-200和S7-300 PLC以及组态王软件的三泵变频恒压供水系统。主要内容涵盖IO分配、接线图原理图、梯形图程序编写和组态画面设计四个方面。通过合理的硬件配置和精确的编程逻辑，确保系统能够在不同负载情况下保持稳定的供水压力，同时实现节能和延长设备使用寿命的目标。 适合人群：从事工业自动化领域的工程师和技术人员，尤其是熟悉PLC编程和组态软件使用的专业人士。 使用场景及目标：适用于需要稳定供水的各种场合，如住宅小区、工厂等。目标是通过优化控制系统，提升供水效率，减少能源消耗，并确保系统的可靠性和安全性。 其他说明：文中提供了详细的实例代码和调试技巧，帮助读者更好地理解和实施该项目。此外，还分享了一些实用的经验教训，有助于避免常见的错误和陷阱。
内容概要：本文详细介绍了三相三线制静止无功发生器（SVG/STATCOM）在Simulink中的仿真模型设计与实现。主要内容涵盖ip-iq检测法用于无功功率检测、dq坐标系下的电流解耦控制、电压电流双闭环控制系统的设计、SVPWM调制技术的应用以及具体的仿真参数设置。文中不仅提供了理论背景，还展示了具体的Matlab代码片段，帮助读者理解各个控制环节的工作原理和技术细节。此外，文章还讨论了实际调试中遇到的问题及解决方案，强调了参数调整的重要性。 适合人群：从事电力系统自动化、电力电子技术研究的专业人士，特别是对SVG/STATCOM仿真感兴趣的工程师和研究人员。 使用场景及目标：适用于希望深入了解SVG/STATCOM工作原理并掌握其仿真方法的研究人员和工程师。目标是在实践中能够正确搭建和优化SVG/STATCOM的仿真模型，提高无功补偿的效果。 其他说明：文章提供了丰富的实例代码和调试技巧，有助于读者更好地理解和应用所学知识。同时，文中提及的一些经验和注意事项来源于实际项目，具有较高的参考价值。
基于SIMULINK的风力机发电效率建模探究.pdf
内容概要：本文介绍了如何将CarSim的动力学模型与Simulink的智能算法相结合，利用模型预测控制(MPC)实现车辆的智能超车换道。主要内容包括MPC控制器的设计、路径规划算法、联合仿真的配置要点以及实际应用效果。文中提供了详细的代码片段和技术细节，如权重矩阵设置、路径跟踪目标函数、安全超车条件判断等。此外，还强调了仿真过程中需要注意的关键参数配置，如仿真步长、插值设置等，以确保系统的稳定性和准确性。 适合人群：从事自动驾驶研究的技术人员、汽车工程领域的研究人员、对联合仿真感兴趣的开发者。 使用场景及目标：适用于需要进行自动驾驶车辆行为模拟的研究机构和企业，旨在提高超车换道的安全性和效率，为自动驾驶技术研发提供理论支持和技术验证。 其他说明：随包提供的案例文件已调好所有参数，可以直接导入并运行，帮助用户快速上手。文中提到的具体参数和配置方法对于初学者非常友好，能够显著降低入门门槛。
内容概要：本文详细介绍了利用MATLAB进行信号与系统实验的具体步骤和技术要点。首先讲解了常见信号（如方波、sinc函数、正弦波等）的生成方法及其注意事项，强调了时间轴设置和参数调整的重要性。接着探讨了卷积积分的两种实现方式——符号运算和数值积分，指出了各自的特点和应用场景，并特别提醒了数值卷积时的时间轴重构和步长修正问题。随后深入浅出地解释了频域分析的方法，包括傅里叶变换的符号计算和快速傅里叶变换（FFT），并给出了具体的代码实例和常见错误提示。最后阐述了离散时间信号与系统的Z变换分析，展示了如何通过Z变换将差分方程转化为传递函数以及如何绘制零极点图来评估系统的稳定性。 适合人群：正在学习信号与系统课程的学生，尤其是需要完成相关实验任务的人群；对MATLAB有一定基础，希望通过实践加深对该领域理解的学习者。 使用场景及目标：帮助学生掌握MATLAB环境下信号生成、卷积积分、频域分析和Z变换的基本技能；提高学生解决实际问题的能力，避免常见的编程陷阱；培养学生的动手能力和科学思维习惯。 其他说明：文中不仅提供了详细的代码示例，还分享了许多实用的小技巧，如如何正确保存实验结果图、如何撰写高质量的实验报告等。同时，作者以幽默风趣的语言风格贯穿全文，使得原本枯燥的技术内容变得生动有趣。
KUKA机器人相关文档
内容概要：本文详细介绍了无传感器永磁同步电机（PMSM）控制技术，特别是针对低速和中高速的不同控制策略。低速阶段采用I/F控制，通过固定电流幅值和斜坡加速的方式启动电机，确保平稳启动。中高速阶段则引入滑模观测器进行反电动势估算，从而精确控制电机转速。文中还讨论了两者之间的平滑切换逻辑，强调了参数选择和调试技巧的重要性。此外，提供了具体的伪代码示例，帮助读者更好地理解和实现这一控制方案。 适合人群：从事电机控制系统设计的研发工程师和技术爱好者。 使用场景及目标：适用于需要降低成本并提高可靠性的应用场景，如家用电器、工业自动化设备等。主要目标是掌握无传感器PMSM控制的基本原理及其优化方法。 其他说明：文中提到的实际案例和测试数据有助于加深理解，同时提醒开发者注意硬件参数准确性以及调试过程中可能出现的问题。
智能家居与物联网培训材料.ppt
内容概要：本文详细介绍了使用Matlab解决车辆路径规划问题的四种经典算法：TSP（旅行商问题）、CVRP（带容量约束的车辆路径问题）、CDVRP（带容量和距离双重约束的车辆路径问题）和VRPTW（带时间窗约束的车辆路径问题）。针对每个问题，文中提供了具体的算法实现思路和关键代码片段，如遗传算法用于TSP的基础求解，贪心算法和遗传算法结合用于CVRP的路径分割，以及带有惩罚函数的时间窗约束处理方法。此外，还讨论了性能优化技巧，如矩阵运算替代循环、锦标赛选择、2-opt局部优化等。 适合人群：具有一定编程基础，尤其是对物流调度、路径规划感兴趣的开发者和技术爱好者。 使用场景及目标：适用于物流配送系统的路径优化，旨在提高配送效率，降低成本。具体应用场景包括但不限于外卖配送、快递运输等。目标是帮助读者掌握如何利用Matlab实现高效的路径规划算法，解决实际业务中的复杂约束条件。 其他说明：文中不仅提供了详细的代码实现，还分享了许多实践经验，如参数设置、数据预处理、异常检测等。建议读者在实践中不断尝试不同的算法组合和优化策略，以应对更加复杂的实际问题。
软考网络工程师2010-2014真题及答案完整版 全国计算机软考 适合软考中级人群