转自:http://coolshell.cn/articles/2967.html
本文译自Dr. Dobb’s Blogger的Walter Bright写的《Overlooked Essentials For Optimizing Code
》
我编写程序至今有35年了,我做了很多关于程序执行速度方面优化的工(一个示例),我也看过其它人做的优化。我发现有两个最基本的优化技术总是被人所忽略。 注意,这两个技术并不是避免时机不成熟的优化。并不是把冒泡排序变成快速排序(算法优化)。也不是语言或是编译器的优化。也不是把 i*4写成i<<2 的优化。 这两个技术是:
- 使用 一个profiler。
- 查看程序执行时的汇编码。
使用这两个技术的人将会成功地写出运行快的代码,不会使用这两个技术的人则不行。下面让我为你细细道来。
使用一个 Profiler
我们知道,程序运行时的90%的时间是用在了10%的代码上。我发现这并不准确。一次又一次地,我发现,几乎所有的程序会在1%的代码上花了99%的运行时间。但是,是哪个1%?一个好的Profiler可以告诉你这个答案。就算我们需要使用100个小时在这1%的代码上进行优化,也比使用100个小时在其它99%的代码上优化产生的效益要高得多得多。 问题是什么?人们不用profiler?不是。我工作过的一个地方使用了一个华丽而奢侈的Profiler,但是自从购买这个Profiler后,它的包装3年来还是那么的暂新。为什么人们不用?我真的不知道。有一次,我和我的同事去了一个负载过大的交易所,我同事坚持说他知道哪里是瓶颈,毕竟,他是一个很有经验的专家。最终,我把我的Profiler在他的项目上运行了一下,我们发现那个瓶颈完全在一个意想不到的地方。 就像是赛车一样。团队是赢在传感器和日志上,这些东西提供了所有的一切。你可以调整一下赛车手的裤子以让其在比赛过程中更舒服,但是这不会让你赢得比赛,也不会让你更有竞争力。如果你不知道你的速度上不去是因为引擎、排气装置、空体动力学、轮胎气压,或是赛车手,那么你将无法获胜。编程为什么会不同呢?只要没有测量,你就永远无法进步。 这个世界上有太多可以使用的Profiler了。随便找一个你就可以看到你的函数的调用层次,调用的次数,以前每条代码的时间分解表(甚至可以到汇编级)。我看过太多的程序员回避使用Profiler,而是把时间花在那些无用的,错误的方向上的“优化”,而被其竞争对手所羞辱。(译者陈皓注:使用Profiler时,重点需要关注:1)花时间多的函数以优化其算法,2)调用次数巨多的函数——如果一个函数每秒被调用300K次,你只需要优化出0.001毫秒,那也是相当大的优化。这就是作者所谓的1%的代码占用了99%的CPU时间)
查看汇编代码
几年前,我有一个同事,Mary Bailey,她在华盛顿大学教矫正代数(remedial algebra),有一次,她在黑板上写下: x + 3 = 5
然后问他的学生“求解x”,然后学生们不知道答案。于是她写下: __ + 3 = 5
然后,再问学生“填空”,所有的学生都可以回答了。未知数x就像是一个有魔法的字母让大家都在想“x意味着代数,而我没有学过代数,所以我就不知道这个怎么做”。 汇编程序就是编程世界的代数。如果某人问我“inline函数是否被编译器展开了?”或是问我“如果我写下i*4,编译器会把其优化为左移位操作吗?”。这个时候,我都会建议他们看看编译器的汇编码。这样的回答是不是很粗暴和无用?通常,在我这样回答了提问者后,提问都通常都会说,对不起,我不知道什么是汇编!甚至C++的专家都会这么回答。 汇编语言是最简单的编程语言了(就算是和C++相比也是这样的),如:
ADD ESI,x
就是(C风格的代码)
ESI += x;
而:
CALL foo
则是:
foo();
细节因为CPU的种类而不同,但这就是其如何工作的。有时候,我们甚至都不需要细节,只需要看看汇编码的长啥样,然后和源代码比一比,你就可以知道汇编代码很多很多了。 那么,这又如何帮助代码优化?举个例子,我几年前认识一个程序员认为他应该去发现一个新的更快的算法。他有一个benchmark来证明这个算法,并且其写了一篇非常漂亮的文章关于他的这个算法。但是,有人看了一下其原来算法以及新算法的汇编,发现了他的改进版本的算法允许其编译器把两个除法操作变成了一个。这和算法真的没有什么关系。我们知道除法操作是一个很昂贵的操作,并且在其算法中,这俩个除法操作还在一个内嵌循环中,所以,他的改进版的算法当然要快一些。但,只需要在原来的算法上做一点点小的改动——使用一个除法操作,那么其原来的算法将会和新的一样快。而他的新发现什么也不是。 下一个例子,一个D用户张贴了一个 benchmark 来显示 dmd (Digital Mars D 编译器)在整型算法上的很糟糕,而ldc (LLVM D 编译器) 就好很多了。对于这样的结果,其相当的有意见。我迅速地看了一下汇编,发现两个编译器编译出来相当的一致,并没有什么明显的东西要对2:1这么大的不同而负责。但是我们看到有一个对long型整数的除法,这个除法调用了运行库。而这个库成为消耗时间的杀手,其它所有的加减法都没有速度上的影响。出乎意料地,benchmark 和算法代码生成一点关系也没有,完全就是long型整数的除法的问题。这暴露了在dmd的运行库中的long型除法的实现很差。修正后就可以提高速度。所以,这和编译器没有什么关系,但是如果不看汇编,你将无法发现这一切。 查看汇编代码经常会给你一些意想不到的东西让你知道为什么程序的性能是那样。一些意想不到的函数调用,预料不到的自傲,以及不应该存在的东西,等等其实所有的一切。但也不需要成为一个汇编代码的黑客才能干的事。
结论
如果你觉得需要程序有更好的执行速度,那么,最基本的方法就是使用一个profiler和愿意去查看一下其汇编代码以找到程序的瓶颈。只有找到了程序的瓶颈,此时才是真正在思考如何去改进的时候,比如思考一个更好的算法,使用更快的语言优化,等等。 常规的做法是制胜法宝是挑选一个最佳的算法而不是进行微优化。虽然这种做法是无可异议的,但是有两件事情是学校没有教给你而需要你重点注意的。第一个也是最重要的,如果你优化的算法没没有参与到你程序性能中的算法,那么你优化他只是在浪费时间和精力,并且还转移了你的注意力让你错过了应该要去优化的部分。第二点,算法的性能总和处理的数据密切相关的,就算是冒泡排序有那么多的笑柄,但是如果其处理的数据基本是排好序的,只有其中几个数据是未排序的,那么冒泡排序也是所有排序算法里性能最好的。所以,担心没有使用好的算法而不去测量,只会浪费时间,无论是你的还是计算机的。 就好像赛车零件的订购速底是不会让你更靠进冠军(就算是你正确安装零件也不会),没有Profiler,你不会知道问题在哪里,不去看汇编,你可能知道问题所在,但你往往不知道为什么。 (全文完)
相关推荐
内容概要:本文详细介绍了编译器设计中代码优化的基础概念和技术,重点讨论了Strength Reduction(强度降低)算法,这是一种用于将高成本运算(如乘法和除法)转换为低成本运算(如加法和位移)的优化技术。...
在Java编程领域,代码概要自动生成技术是一项重要的辅助开发工具。它可以帮助程序员快速理解大量代码的功能、...通过不断优化和改进,代码概要自动生成技术有望成为Java开发的标准工具,助力软件开发的效率和质量提升。
八位微控制器代码优化技巧主要围绕在减少代码大小,提高程序效率,以及更好地利用有限的存储资源。以下将详细介绍这些技巧: 首先,了解8位微控制器的存储架构至关重要。不同于32位处理器,8位微控制器更适合使用单...
内容概要:本文详细介绍了编译器设计中的代码优化算法,重点讨论了常数传播、常数折叠和强度降低技术。文中解释了这些优化技术的基本概念、实现机制及其应用场景。通过具体的示例,展示了这些优化方法如何在编译过程...
例如,`-O3` 表示最高级别的优化,通常用于生成运行最快的代码,但可能会增加编译时间和代码大小。`-march` 和 `-mcpu` 选项用来指定目标处理器架构,从而优化代码以适应特定硬件。`-ffast-math` 允许编译器进行更...
内容概要:本文详细介绍了编译器设计中的一种代码优化技术——强度降低(Strength Reduction)。通过减少高成本的算术操作(如乘法和除法),并将它们替换成低成本操作(如加法和移位),来提高代码的执行效率。文章...
8. **错误处理**:接口需要定义清晰的错误代码和返回信息,方便调用方识别和处理异常情况。 9. **性能优化**:接口设计时需考虑性能问题,如减少请求响应时间、批量处理、缓存策略等。 10. **测试与文档**:接口...
内容概要:通过带着读者手写离散优化算法,了解 MATLAB 中离散优化的核心原理。在手写离散优化算法的过程中,将摘取整体框架中的核心逻辑,简化代码实现过程,保留核心功能,例如:线性规划、整数规划、多目标规划等...
概要设计应确保各部分功能的独立性和可扩展性,同时考虑系统的性能优化,如数据库索引设计、缓存策略等。 进入**详细设计**环节,我们将对每一个模块进行具体的功能设计和界面设计。这涉及到每个功能的实现细节,如...
通过使用贝叶斯优化算法,本代码可以高效地调整LightGBM模型的超参数,以达到优化模型性能的目的。同时,代码中还集成了k折交叉验证机制,以更准确地评估模型性能,并减少过拟合的风险。 适用人群 机器学习爱好者...
7. **数据结构和算法优化**:根据性能需求,对概要设计阶段选择的算法和数据结构进行优化。 8. **资源分配**:考虑内存、CPU、磁盘等资源的使用,确保系统资源的有效利用。 9. **文档编写**:编写详细设计说明书,...
8. **性能与安全性考虑**:预估系统的性能指标,如响应时间、并发处理能力等,并设计相应的优化策略。同时,考虑到安全因素,如访问控制、数据加密等。 9. **界面设计**:虽然详细设计阶段会更深入地处理界面,但在...
模块之间的关系要尽可能清晰,避免高度耦合,提高代码的可读性和可维护性。同时,需要定义模块间的接口,规定它们如何交互。 3. **数据结构设计**:概要设计中要确定主要的数据结构,包括数据库表的设计、内存中的...
概要设计说明书涵盖了系统的主要功能模块、数据结构、接口设计以及主要算法的概述,但不涉及具体的实现细节,如代码编写或特定编程语言的选择。 1.3 定义 此部分列出在设计中使用的专业术语和缩写,确保读者能够...
系统设计应具备良好的可扩展性,允许添加新功能或升级现有功能,同时考虑代码和架构的可维护性,便于未来的问题定位和修复。 2.2.3 系统安全性 为了保障数据安全,系统设计需遵循安全标准,如数据加密、权限控制、...
- **性能**:设计应优化查询速度、页面加载时间等,以提供流畅的用户体验。 - **可用性**:界面设计应直观易用,遵循用户习惯,提供友好的导航和错误提示。 - **维护性**:代码结构清晰,模块化程度高,便于后期的...
4. **性能优化**:在设计阶段就考虑到性能问题,通过合理设计提升系统性能。 5. **模块划分**:将复杂系统分解为多个独立的模块,便于管理和开发。 #### 三、概要设计的任务 - **制定规范**:包括代码体系、接口...