算法学习笔记二---如何进行算法分析&渐近符号介绍

 

一、如何进行算法分析

算法分析指对一个算法需要的资源进行预测，其分析包括对一个算法的空间复杂度分析和时间复杂度分析。而随着硬件技术的飞速发展和成本的降低，我们更加关注算法在时间上的表现。

比较直观的做法是通过算法执行的时间来度量一个算法的时间上的效率。但这与执行算法的硬件和运行时的情境关系很大，不同机器、不同状态下的同一算法的运行时间都可能不同，所以这种算法是不科学的。

一个算法所需的时间应当是随着其输入规模增长的，而输入规模与特定具体问题有关。对大多数问题来说其最自然的度量就是输入中的元素个数。

算法的运行时间是指在特定输入时所执行的基本操作数。我们可以得到关于一个关于输入规模n的所需时间的函数。

然而可以进一步简化算法的时间分析，我们进行进一步抽象，首先，忽略每条语句的真实代价，通过运行时间的增长率来度量一个算法在时间方面的表现。我们只考虑公式的最高次项，并忽略它的常数系数。

通常，有三种情况的分析：

(1)最坏情况分析：这个是最常用的。通常我们想知道一个算法最糟能糟到什么情况，以此来分辨一个算法的好坏。对于升序排序算法，最糟糕的输入便是降序排列的数列。

(2)平均情况分析：这个也常用到。输入规模n下的期望时间。

(3)最好情况分析：比较少遇到。对于一个排序算法最好的情况无非输入已是排好序的。

二、要用到的渐近记号

所有记号都表示一切满足条件的函数的集合。

1、Θ记号  Θ(g(n)) = { f(n) : 若存在正常数c1,c2和n0,使对所有n>=n0时有0<=c1*g(n)<=f(n)<=c2*g(n)}

其效果相当于删除f(n)中的低阶项，并忽略最高阶项的系数。

2、Ο记号 Ο(g(n)) = { f(n) : 存在正常数c和n0,使对所有n>=n0,有0<=f(n)<=c*g(n) }

Ο记号在一个常数因子内给出某函数的一个上界。f(n) = Ο(g(n))表示f(n)是集合O(g(n))的一个元素。f(n) = Θ(g(n))隐含着f(n) = Ο(g(n)),因为Θ记号强于Ο记号。对f(n) = Ο(g(n))只能说明g(n)的某个常数倍是f(n)的渐近上界，而不反映该上界如何接近。Ο记号在用作对算法最坏情况运行时间的上界时就有对任意输入的运行时间的上界。

3、Ω记号 Ω(g(n)) = { f(n) : 存在正常数c和n0,使所有n>=n0有0<=c*g(n)<=f(n) }

Ω记号给出一个函数的渐近下界。

对于上面三种，有下面的定理：

对任意两个函数f(n)和g(n),f(n) = Θ(g(n))当且仅当f(n) = Ο(g(n))和f(n) = Ω(g(n)).

4、其它符号

ο记号：Ο记号提供的渐近上界可能是也可能不是渐近紧确的。2n^2 = Ο(n^2)是渐近紧确的，而2n = O(n^2)不是。而o记号用来表示非渐近紧确的。 o(g(n)) = { f(n) : 对任意正常数c，存在正常数n0,使对所有n>=n0,有0<=f(n)<=c*g(n) }

ω记号：ω记号与Ω记号的关系和o记号与Ο记号的关系一样，不在多说。

总之，可以这样理解，Θ记号相当于"=",Ο相当于“<=",Ω相当于”>=",o相当于“<",ω相当于">".这样理解只用于区别不同渐近记号间的关系，其实每个渐近记号为一个函数集合，而非两个数关系那样的。