大数据算法应用的测试发展之路

转自：https://mp.weixin.qq.com/s/Nmz5LiHFFZTW0GyuSuKHoA?spm=ata.13261165.0.0.360a6093wXKkhs

阿里妹导读：随着最近几年数据计算力与机器智能算法的兴起，基于大数据 AI 算法的应用愈来愈热，大数据应用在各个行业也不断涌现。测试技术作为工程技术的一部分，也随着时代的不断变化在同步演进，在当下 DT 时代，如何测试和保障一个基于大数据的应用的软件质量，成为测试界的一个难题。

本文通过系统性地介绍阿里巴巴 AI 中台的技术质量体系——搜索推荐广告应用的质量是如何测试的，来尝试回答一下这个问题，希望能给大家带来一些借鉴，欢迎斧正，以便改进。


一  前言



最近十年来，随着移动互联网和智能设备的兴起，越来越多的数据被沉淀到各大公司的应用平台之上，这些包含大量用户特征和行为日志的数据被海量地存储起来，先经过统计分析与特征样本提取，然后再经过训练就会产出相应的业务算法模型，这些模型就像智能的机器人，它可以精准地识别和预测用户的行为和意图。



如果把数据作为一种资源的话，互联网公司与传统公司有着本质的不同，它不是资源的消耗者，而是资源的生产者，在平台运营的过程中不停地在创造新的数据资源，并且随着平台的使用时长和频率的增加，这些资源也在指数级地增长。平台通过使用这些数据和模型，又反过来带来更好的用户体验和商业价值。2016 年，AlphaGo，一个基于深度神经网络的围棋人工智能程序，第一次战胜围棋世界冠军李世石。这个由谷歌（Google）旗下 DeepMind 公司开发的算法模型，背后使用的数据正是人类棋手所有的历史棋谱数据。



阿里的搜索、推荐和广告也是非常典型的大数据应用的场景（高维稀疏业务场景），在谈如何测试之前我们需要先了解一下平台处理数据的工程技术背景。搜索、推荐、广告系统在工程架构和数据处理流程上比较相近，一般分为离线系统和在线系统两部分，见下图 1（在线广告系统一般性架构，刘鹏《计算广告》）。离线系统负责数据处理与算法模型的建模与训练，而在线系统主要用以处理用户的实时请求。在线系统会使用离线系统训练产出的模型，用以实时的在线预测，例如预估点击率。