SEM 自动化管理工具大起底(这其实是改写三个SEM优化问题的一部分）

我们常说的 SEM 包含了 SEO 和狭义 SEM （付费搜索）两个部分。尽管这两者的广告展示形式非常类似，都是通过广告投放和排名来实现的，操作上却存在巨大差异。对于 SEOer 来说，一两个牛人打天下是很常见的，SEO 服务商更是多如牛毛。相对来说，狭义 SEM 在技术上是一个远为复杂的系统，不是一两个聪明脑袋所能搞定的。在这个领域中吞噬了大部分广告消费的是一批批不断进化的自动优化工具及其背后的庞大团队。

自动优化这个概念在国内还相对陌生，但在北美市场，自动优化已经成为大中型客户进行  SEM  管理的主要手段。另一方面，尽管在过去四五年中，自动优化已经经历了几次进化，但还远未臻完善，关于自动优化的基础理论也还存在一些争论。实际上，从品牌词一文的讨论中，我们可以看到 SEM 优化有着很宽广的范畴。由于变量太多，优化过程常常引入相当程度的模糊判断。总的来说，我不认为会有任何一种自动优化工具可以充分取代人工的作用。尤其现阶段的中国搜索营销市场还很不成熟，从平台、代理商、广告商的角度来说都是如此，自动优化对相当多的广告客户来说还是一种奢侈。但是，工欲善其事，必先利其器。了解一下北美市场上的先进工具对中国的搜索营销管理员应该有相当的借鉴意义。

首先需要厘清自动优化的概念。市场上的自动优化产品主要来自两个方向：一是传统的监测数据服务商或者网页分析服务商（点击后管理）开始进入搜索营销管理（点击前管理）市场；另一方向是独立的搜索引擎竞价服务商，也就是 CPC 竞价管理的服务商。该领域中这两者的主打产品都是自动竞价管理工具。

SEM 广告投放包括了四个部分：1，网站；2，关键词；3，广告；4，出价。为什么自动竞价产品成为目前市场的主流呢？让我们从 AD RANK 角度来考虑这个问题。AD RANK=QS*MAX CPC。QS 即质量得分，是一个黑盒子，这部分优化因素很多，没有简单的规则可以遵循。实际上，对于一个准备严谨的广告系列来说，一旦广告投放下去，QS 建立起来，再要进行改进是有一定难度的。大部分广告客户的 QS 改进周期长，幅度小。而出价的调整就成为 SEM 日常管理的主要手段。

现在北美市场的技术服务商往往强调自己自动优化是一个系统的解决方案，但到目前为止，来自前述两个方向的产品各具优劣，还没有出现一个真正成熟的系统自动优化产品。当然，在搜索营销这个现金充足的市场中，技术和商业策略的进步非常惊人。近一年间，所谓端到端的自动优化产品已经成为市场上的强劲潮流，这类跨平台的系统优化的产品仍然不是真正意义上的全自动，却已经足以形成巨大挑战。系统自动优化是大势所趋。这个高度竞争的市场中没有霸主，即使是目前最领先的服务商，一旦没有跟住形式，也可能在一两年之间跌落尘埃。

CPC 竞价自动优化仅仅是优化环节中的一个组成部分，但之前讨论过，这是对账户表现影响最直接的一个部分。不夸张地说，CPC 竞价管理可以决定一个搜索营销计划的盈亏。同时，CPC 管理常常占据手工优化的主要时间精力，尤其是对于大中客户而言，几千个关键词的价格管理可能就足以让搜索营销管理员无暇他顾了。以 CPC 竞价管理作为自动优化的切入点是合理的。

市场上现有的 CPC 竞价自动优化产品一般都使用 API 从广告发布商处抓取点击数据，结合监测提供的转化数据，来进行 CPC 优化调整。调整主要分两种方式：

A.规则优化
如果以“追涨杀跌”为原则来执行关键词的竞价调整，只需要把原始数据和调整规则（Rule）输入模型，电脑就可以立刻给出调整值，这就是所谓的基于规则的优化（Rule Based Approach）。自动优化的最初阶段以这种优化为主体，目前也还是很活跃很主流的一种自动优化手段。北美市场上大部分自动优化产品都是基于规则的。尤其是那些数据监测服务商提供的自动竞价产品多属此类。比较有名的有 ATLAS Search、 Omniture SearchCenter、Web Trends、Dart Search等等，独立服务商比如 Did-It、 Acquisio、 Clickable 也是基于规则优化的。对中国用户来说最知名的一个可能是  Google Adwords Conversion Optimizer ，因为这是市面上唯一一个真正免费的自动优化工具（效果不甚理想）。

基于规则的自动优化技术门槛相对较低，因为其中的判断（即规则制定）是人工选择的，各产品的优劣也主要体现在规则的制定原则和实际应用上。本质上，这更像一个大型的决策树系统。规则优化的竞价产品成本可以做到相对低廉，在 SEM 市场上上下通吃。即便是比较简单的此类产品可以将搜索营销管理员的时间精力从繁重的简单劳动中解放出来，投入到更需要模糊判断的方向上去，比如新广告内容开发，新关键词发掘等等。但另一方面，这种优化仍然非常依赖搜索营销管理员的人工判断。

B.组合优化
由于大中客户的关键词数量往往比较多，不同关键词的表现差别也很大。有的关键词收入高，但是高度竞争，成本也很高；有的关键词可能不太有人搜索，收入很低，但是几乎没有竞争，一旦转化回报率很高。这种情况有点像金融市场中的产品表现，于是有人把原本用于华尔街的投资组合模型引入了搜索营销管理，透过一系列产品组合来降低风险，提高回报。这种方式被称作基于组合的优化（Portfolio Based Approach）。

来看这样一个例子：我们在某账户中同时拥有两个关键词。关键词 1 在排名第一位可以获得 15 个注册，单位注册成本为 2 元，如果排名在第二位，则可以获得 10 个注册，单位注册成本为 1 元。关键词 2 在排名第一位可以获得 20 个注册，单位注册成本为 2.5 元；如果排名在第二位，可以获得 10 个注册，单位注册成本为 2 元。假设每个注册价值 2 元，我们应该怎么做呢？

如果使用基于规则的优化。很简单，关键词 1 推到第一位，获得 15 个注册。关键词 2 就只能保持在第二位，获得 10 个注册。这时候的平均单位注册成本是 2 元，符合要求，总注册为 25 个。

如果使用基于组合的优化。关键词 1 放在第二位，关键词 2 放在第一位，这时候关键词 1 的注册成本为 1 元，关键词 2 的注册成本为 2.5 元，一共获得 30 个注册。平均单位注册则为（2.5*20+1*10）/30=2元，还是符合要求的。

基于组合的优化，我们在同样的单位注册成本下，获得了额外的5个注册，这就是组合优化的优势。如何打一个不精确的比方，这是“田忌赛马”。

组合优化的概念在这个例子中很直观，但在现实操作中就要复杂得多。如果客户拥有几千、几万甚至几十万关键词，如何在关键词组合中挑选最佳的 CPC 搭配以获得当前市场环境中最佳的总体表现，这就不是简单的四则运算可以解决的了，而是一个自我进化的预测决策系统。

组合优化的来源，投资组合模型，是典型的运筹学应用（对，就是二战中产生的运筹学）。同样组合优化本身也是一个典型的运筹学应用，它的范畴包括概率统计（Statistics and Probability）、数学建模（Mathmatical Modelling）、仿真（Simulation）、优化（Optimization）、规则算法（Algorithums）、数据挖掘和数据仓库（Data Mining and Data Warehousing）。简单地说，组合优化是通过对现有账户表现的数据收集，建立数学模型，对全部关键词在各个层级上的表现在模型中进行仿真，并且通过制定的规则算法，从海量的可能性中过滤出可能产生最佳效果的组合，并付诸实施，并通过对实施效果的数据采集进入下一步的仿真优化，从而实现一个螺旋形上升的不断优化。

由于组合优化的复杂性，使用这种模型的自动优化产品要少些。最有名的当然是 Efficient Frontier，这是此类产品的开山鼻祖，世界上最大的独立 SEM 代理服务商，也是唯一一家已经进入中国市场的自动优化产品服务商。追随 EF 脚步而来的是 SearchIgnite/360i， 在国内也有一定的知名度。从竞争力上来说，近两年异军突起的则是 Marin Software 和 Kenshoo。这两家提供是包含自动竞价产品的完整自动优化方案，并且都是自助型产品，收费因此明显低于 EF 或者 360i。我个人的看法，搜索营销市场的大头是中小型客户，所以 Marin 或者 Kenshoo 的思路会逐渐成为主流。EF 曾经服务过的客户有 eBay，有Amazon，这些巨无霸都已经离去了，Expedia 和微软也迟早会离去。当 SEM 规模足够大的时候，实在没有理由把这个业务外包，利益太大了。所以 EF 和 360i 也必须开发自助型的产品来适应中小客户。而所有自动优化工具真正的对手，是Google……

经常碰到有人问我在工作中使用什么自动化工具，或者认为什么工具更好。只看两个概念的名词解释上，显然组合优化听起来要先进些。在 SEM 领域真正使用算法这个词的，除了搜索引擎就是组合优化了。实际上，如果从市场占有率来看，规则优化仍然是市场的主流。很简单，并不是所有的广告客户都需要最复杂的算法。组合优化通过大量数据积累来实现自我进化，对于中小型客户来说可能反而是短处。如果客户规模不大，关键词相对单纯，那么组合方式未必比规则优化效率更高。所以，对于这类问题我的回答通常是：只要是在市面上卖了超过两年的产品都是好的，不好的产品不可能在这样激烈的竞争中生存下来。SEM 营销效果好不好，最终不是自动化产品到底够不够好，而是该产品是否符合广告客户需求以及搜索营销管理员是否能用好。

自动优化在北美逐渐成为搜索营销管理中 CPC 管理的重要手段，和北美搜索营销市场的成熟程度有着密切的关系。搜索营销投入在整个营销中占据相当高的比例，高度竞争的市场，相对成熟的用户搜索行为，更先进的搜索营销平台和技术手段。这一切使得搜索营销的日常管理更加复杂，工作量更大，难度更高，自动优化的普及也就成为了必然趋势。自动优化是否适合现在的中国市场？我认为，经过过去两年的高速成长，起码某些行业大型客户对于自动优化的需求是现实的，有意义的。一方面，国内搜索营销的竞争激烈程度有时甚至超越北美；另一方面，客户对于搜索营销的认识也越来越具体越来越深入。实践已经证明合适的自动优化产品可以在国内市场发挥巨大作用。不管是简单的自动报表系统，初级的规则优化系统，还是最复杂的组合优化系统，都有充分的应用空间。

不管北美还是国内，衡量自动优化产品的基本原则是一致的：

产品是否供应商自己开发的？只有掌握产品的人才真正了解产品的全部潜力和价值；
产品的背后是否有精密的数学头脑支持？运筹学的应用固然需要经过专业训练的数学家，目前领先的优化产品背后基本都站着一批最优秀的数学家。规则优化的规则组织是至关重要的，不同数据如何权重，不同决策如何选优，同样需要数学支持。Google 首席经济学家 Hal Varian 说，营销是下一个金融，说的就是营销的计量化趋势。
这个产品是否具有充分细致的预测能力。考虑到自动优化是对仿真结果的拣选，关键词/广告级别的仿真预测是基本要素。这是区分规则优化和组合优化的一个手段，因为基于规则的自动优化通常不需要进行大量仿真。
是否具备学习能力。大闭环的学习途径是保证产品能够针对环境不断适应不断优化的基础。
模型的前视后视能力，是否能够根据需要调整历史参考区间，从而从容应对激烈的市场变化。
这些是一个好的自动优化产品应该具备的。而针对中国市场，显然还需要这个产品具备对国内搜索平台的支持能力，以及产品供应商对国内客户以及市场环境的理解。中国的搜索市场本身还在进化，表现之一是严重的头重脚轻。有效的组合优化不仅需要精密的数学模型，还需要大量的资金投入，从真实的广告投放中去验证效果并不断修正。因为整个市场对模型的大闭环修正都会有巨大的影响。

这些评价都是基于自动优化产品本身的。实际上，是否需要自动优化产品的前提条件是客户对于营销管理的认识和需求。需要摒弃的是这样一种观念，即：自动优化可以代替我们进行搜索营销管理。即使是具有自我学习能力的自动优化工具也必须在合适的环境下才能发挥作用。国内搜索营销市场的相对落后首先表现在广告商这一方。如果客户不知道该问搜索营销要什么，那手工优化或者自动优化的区别就毫无意义。

以组合优化中举的例子来说，我们只要稍微调整一下方向，结果就完全不同。比如我们不再追求最大注册数，而改成追求最大利润。这样一来，完全不需要采用组合优化方式，直接跟着每个关键词的利润率走即可。挣一分钱也是挣，赔一分钱也是赔，利润最高点就在边际利润与边际成本打平时达到。实践中，相当一部分客户追求的应该是最大利润，但最终拿出来的却往往是一个 ROI 指标。为什么会如此呢？如果客户不能有效回答这个问题，说明他们起码在现阶段还不需要自动优化。

退一步说，再优秀的自动优化产品也只是机器上的输入输出。机器有机器做得好的事情：海量数据计算， 算法规则的实施，这些都是人力所不能及（或者成本高到无法接受的）。但机器是死的，人是活的。搜索营销管理员的人工干预是任何自动优化产品都不可能取代的：设定有效的目标，开发规则策略，应对特殊变化。不同行业不同级别的客户，账户表现可能不同，每个客户的环境和目标都不尽相同，因此也就不存在一个“最佳”的自动优化产品。最佳的表现永远只能在头脑清晰的搜索营销管理员的高效运营下达到，不管是通过自动优化还是手动优化。