大数据分析兴起 传统直觉如何立足

    数据正变得空前多元，转移空前快速。现在，有效的数据分析需要非常先进的软件和机器。随着大数据分析兴起，传统的直觉判断有何用场呢？要是数据告诉业务经理“往东走”而她的直觉则说“往西走”，怎么办呢？

    这番话出自我口中可能感觉有些让人意外——毕竟我本身是一位数据和科学研究者，不过我坚信，要实现真正的价值，必须要让基于数据和商业知识的直觉引导数据分析工作。

　　有人会说，你只需要将足够多的数学分析和机器性能应用到数据库，就能得到最好的模型。但是，以为光凭数据挖掘就能够产生取得业务进展所需的答案是愚蠢的。在数据科学中，直觉和数据分析相辅相成，相互启发。

　　首先，直觉引导分析。洞见鲜少能够凭空出现。它们是应用数值方法测试源自直觉和观察的假设和想法的结果。直觉还能够引导研究人员用于测试这些假想的方法。哪些数据相关呢？哪些变量和转变是合理的呢？原因与结果很可能是什么关系呢？哪些模型合适呢？

　　另外，分析启发直觉。非监督式的建模技术能够识别数据中的关系和模式，而这些关系和模式通过表面的观察或者小数据样本是看不出来的。简单来说，分析能够带来表面观察无法得出的探索途径启示，甚至可能是反直觉的。

　　如果没有同时让数据团队和业务团队的聪明领导者引导数据分析过程，根据工作经验和专业知识对直觉进行平衡，就会出现问题。

　　下面就来举几个例子。

　　有一消费金融团队曾想让我们做一个客户流失模型，帮助银行预测哪些客户最有可能注销账户。从那些数据看不出什么东西来。在存款、贷款和信用卡数据中，我们并没有发现明显的触发客户销户的因素。在创建新账户后，消费者的支出和付费习惯基本上没什么差别。

　　然而，在银行家对那些数据进行更加仔细的研究，审阅团队制作的客户细分资料后，有一位分析师借助她的直觉突然注意到了一个有价值的新洞见。她认识到，特定的客户群显现出不寻常的高价值贷款、长期客户价值和数个其它的不寻常因素，他们很可能属于小企业老板。查证那些个人账户后，该团队发现她的猜测的确没错。

　　她猜那些开普通账户的企业老板并不知道可能还有比信用卡或者普通贷款账户更好的融资方式。于是，该银行团队的项目目标改为鉴定这些高价值客户，向他们提供更加合适的产品。该团队后来更进一步，要求获取数据来根据历史用户行为向其它的客户群推荐合适的产品。那些数据促使他们开始向客户提供量身定做的产品，从而提高客户的终身价值。

　　单靠数据就得到那种重要的洞见是没什么可能的。这种结合数据分析的商业洞见可以说是无价的。

　　直觉在数据分析中非常重要，但很奇怪，业务团队往往会被排除在数据分析过程之外。相反，数据研究人员应当一开始就邀请商业分析员参与该过程，相互协作。我已经改变了运作流程，让整个团队参与初期的模型评估，甚至让他们参与更早的原始数据审查流程。

　　在另外一个案例中，我们的一位大啤酒公司客户想要预测其在日本市场的未来销量。我们建立了一个模型来研究未来一年销量面对不同的市场和定价压力会出现怎样的反响。该客户告诉我们，他们认为其啤酒销量受经济直接影响。他们觉得，如果日本经济缓慢复苏，人们的软饮料消费就会增加。

　　他们让我们在我们的模型中以日经指数作为一种趋势变量。该指数一开始提高了模型的准确性——或者说表面上是这样。但在接下来的一年里，该模型开始作出一些离谱的预测。日本经济开始反弹，但现在日经指数已经不在训练数据范围内，原来的那个模型可能“过度合适了”。

　　经验更加丰富的建模师多半不会引入那种变量。有时候直觉更为靠谱，但在该案例中，数据科学专家建议要谨慎，并认识到建模过程的限制和陷阱。我们对模型实施了改变来抑制股市指数的影响，之后我们的模型在指引制定新宣传计划和预测营销效果上都表现得很好。

　　数据科学家和业务人员之间往往会出现矛盾——特别是数据似乎与直觉背道而驰，新发展计划的效果似乎微不足道的时候。营销人员会质问“那个数据从何而来？”，数据科学家则做好随时反击的准备，这种情况很常见。

　　但我认为这种智斗是好事。数学与科学应该能够经受住质问。有的时候，数据能够证明直觉是错误的。也有的时候，那些基于丰富经验的第六感能够找到数据分析过程的缺陷。理想情况下，大家都能从中受益。

 

 

转载于:https://my.oschina.net/u/1160813/blog/314113