背景
我们在对推荐场景的不同算法之间进行ABtest的时候,以成交为导向;但是同时,评估测试桶和基准桶的指标有客单价、点击率、转化率几种。在这个过程中发现,客单价、点击率、转化率这几个指标的变化很多时候和成交的变化有出入。比如客单价不变、转化率下降、点击率微张,但是最终的成交却增长明显;但是在另外的测试中发现,同样的指标变化,成交反而下降了。
因此对于评估指标和最终指标的关系,引起了多方面的思考。下面尝试进行推导。
公式
其中:
成交总金额/成交uv 是平均每人所花费的费用,即客单价;
点击uv是点击的用户数;
成交uv/点击uv 是点击了推荐结果的用户的购买情况,即是转化率(cvr);
uv是看到我们的推荐结果的用户数量;
点击uv/uv 是用户的点击率(uctr);
所以成交金额的引导可以写成公式③的形式。
另外,pv是推荐结果的展示次数;
点击pv是用户的点击次数,相对于点击uv,没有进行用户的去重;
点击pv/pv 是推荐结果的点击率,也是我们平常看的结果;
点击pv/点击uv 是看到我们的推荐结果的用户,他的平均点击次数,当然这个点击不一定带来成交。
所以,成交金额也可以写成公式⑥的形式。
公式含义解析
公式3的解析
成交总金额=uv*uctr*cvr*客单价
对于一个特定的推荐场景来说(很多时候,是指嵌在页面中的豆腐块),它是依赖于所存在的页面的,页面的流量限制了推荐场景的pv和uv;同时对于一个特定场景来说,它的客单价也是相对稳定的。具体来说,客单价是和买家本人的消费需求、消费能力相关的。买家的消费需求,在各个页面(着重指在购买路径中的不同阶段)的表现都是不相同的,所以推荐场景在不同的页面,它的表现也是不一样的;另外,买家的消费能力更是我们所干扰不到的。因此在这里我们将uv和客单价看作是不可变的;这样,影响成交的因素就集中在了用户点击率(uctr)和转化率(cvr)上面。如果需要提高推荐场景的效率,主要是要提高用户点击率和场景的转化率。
直观的来讲,uv、点击uv和成交uv的关系如下图。
在一次ABTest中,假设流量的分配方式是均匀的,如果这时拿不到准确的用户点击率的数据,我们可以采用归一化的点击uv数据进行评估。简单的来说,如果测试桶A流量为30%,测试桶B的流量为30%,基准桶的流量为40%。那么:
测试桶A的归一化点击uv为:α_A=A桶点击uv/30
测试桶B的归一化点击uv为:α_B=B桶点击uv/30
基准桶的归一化点击uv为:α_base=基准桶点击uv/40
因为测试桶和基准桶的流量分配方式是均匀的,所以可以认为每个单位流量中,uv也是相同的。这时,可以通过比较α_A、α_B、α_base来代替它们之间的用户点击率(uctr)的比较。
公式6的解析
同样的,我们把pv和客单价看作不变的量,那么这个公式告诉我们的是,在提高转化率(cvr)和点击率(ctr)的同时要降低用户的点击次数。
点击率越高,说明用户对于推荐结果的感兴趣程度也越高,但是感兴趣对于成交是没有帮助的;降低用户的平均点击次数,说明需要提高推荐的准确性,让用户尽快的找到想要购买的商品,才能更好的促进成交。
但是另一方面,ctr和用户的平均点击次数是相互影响的,所以这个公式还是有待商榷之处。如果需要仅从提高成交来看,公式3目前可以满足我们的要求。
深入讨论
根据上面的分析,我们只要关注用户点击率(uctr)和转化率(cvr)即可,似乎没有必要再把精力投入到点击率(ctr)上面了?!
也不必如此绝对。首先,uv的数据获取其实是有一定的难度的。主要是从技术上来看,推荐场景的uv并不等于场景所在页面的uv,因为很多场景目前采用了延迟加载的技术,另外如果是不通过http的方式进行请求,也是拿不到准确的uv的。相对而言,pv数据更容易获得,一次请求,记录一次日志即可。其次,仅仅通过成交来衡量一个产品,也是过于片面的,即一个场景不能仅看成交,这其实归结于产品自身的价值。
推荐产品的价值如何评估?这里有三方面的看法,分别通过公司层面、用户层面和开发者层面进行说明。
公司层面
首先,通过推荐产品可以挖掘潜在的用户,提升整体的成交;
其次,为小卖家服务,提高小卖家店铺内商品的曝光。相当于减轻马太效应,毕竟一个平台的发展,一个生态系统的发展,不能只依靠大卖家;提升小卖家的生存能力,也是非常重要的。万紫千红才是春嘛。
用户层面
这里主要是指买家。笼统而言,推荐的产品就是要提升用户的购买体验,让用户更快的找到便宜、优质的商品。
如何提升用户的购买体验?这里有三点需要考虑:1. 不要引起用户的反感。比如,在推荐结果中暴露用户的隐私,如果让不恰当的人看到,就会引起尴尬或者风险;向用户推荐的商品和用户的购买力不匹配;推荐的商品质量太差(特别是在某些看重质量的买家看来,这是不能容忍的);折扣信息出错等等。2. 推荐的结果符合用户的习惯。比如,样式不能和其他的页面出入太多,点击商品的超链接,,一般都是指向商品详情页面的,最好不要链接到一些不知所谓的地方;销量展示统一,整个站内的导航展示的销量都是30天内的销量(即月销量),那么你就不能在没有明确说明的情况下,展示成总销量;文案处理正常等等。总之,要保证用户通过推荐场景,他的购物流程是顺畅的。3. 轻松、愉快的购物体验。这个比较难定义,而且没有统一的答案。一般而言,需要做到舒适的商品信息展示,帮助用户更快的找到宝贝,缩短用户的购物路径,给用户带来更好的商品(折扣低、质量高,等等)。
如何量化用户的购买体验?ctr不一定是个好的选择,相比而言,如果放几张诱惑性的图片,也会带来较高的点击率,但是这对成交一点帮助都没有。下面是几种选择:1. 用户对于推荐结果的分享(不局限于微博);2. 用户直接反馈(不能直接使用,也不好采集);3. 用户的收藏率,或者加入购物车的比例。
开发者层面
这里的开发者包括开发、产品、算法数据、测试等等。一个产品至少能都让大家有饭吃,有活干。但是如果不能在产品的发展中提升自己,那也就是相当于找了个活在干。所以在产品的发展中,让参与者获得成长,也是产品重要的价值之一。
至少可以通过直接提升技术水平和跨角色锻炼两种方式来提升自己。同时,在不损害推荐质量的前提下,可以尽量采用一些新的技术和新的解决方案。
PS. 最后吐槽下,iteye的编辑器太难用了,效率太低~~
相关推荐
### EAS模板引入引出知识点详解 #### 一、EAS系统简介 EAS(Enterprise Application Suite)系统是一种广泛应用于企业内部管理的信息技术平台。它能够集成企业的各种业务流程,如财务管理、人力资源管理、供应链...
《世界地图引出的发现》思考题一.ppt 提到的核心概念是魏格纳的“遐想”,这实际上是对地球历史的一种科学假设,被称为“大陆漂移说”。这个理论由德国科学家阿尔弗雷德·魏格纳在20世纪初提出,对地质学和地球科学...
针对以上问题,文章提出了对定额改革的思考,认为为了提高施工企业的管理水平和国际竞争力,必须深化定额管理改革。改革的目标包括: 1. 打破对“计价定额”的过度依赖,鼓励企业根据自身特点制定更具竞争力的企业...
简述防治非典引出的行政法思考.docx
在本文中,我们将深入探讨由医政绩效评价引发的思考,并重点关注医院服务效率、学科发展均衡性以及DRGs(Diagnosis Related Groups)在医院绩效评价中的应用。 首先,服务效率是衡量医院运营效率的关键指标。它涉及...
根据提供的信息,我们可以了解到这份文档主要涉及的是GBT 2423.60-2008《电工电子产品环境试验 第2部分:试验方法 试验U:引出端及整体安装件强度》的相关内容。虽然部分内容仅显示了标准分享网站的信息,并没有提供...
《数学建模-煤矸石堆积问题的解答及引出的思考》 数学建模是一种应用数学的方法,它将现实世界的问题转化为数学模型,通过分析、计算和优化来解决实际问题。在这个案例中,我们关注的是一个特定的实际问题——煤...
引入后的凭证号通常由系统根据目标账套中的最大凭证号自动递增生成。用户也可以在引入过程中设置特定的凭证号范围。 **4.7 引入后的凭证制单人是如何确定的?** 引入后的凭证制单人一般默认为当前登录用户的名称。...
在IT行业的ERP(企业资源规划)系统中,K3系统是一款广泛应用的企业管理软件,由金蝶软件开发。其中,BOM(Bill of Materials,物料清单)是制造行业中一个非常重要的概念,它列出了产品结构中所有组件、子组件、...
一般的说法是负数的补码为其原码除符号位外取反然后总体加一,也就是说,要得到一个负数数的补码,要先知道这个负数的原码才行。那么,问题出现了,在8位长度下,-128的原码与反码都不存在,因为一个字节的有符号数...
- **公式**: 对于区间 \([a, b]\) 上连续可导的函数 \(f(x)\),其梯形公式为 \[ \int_a^b f(x) dx \approx \frac{b - a}{2} [f(a) + f(b)] \] - **余项**: 梯形公式的余项可以通过泰勒展开式得到,形式为 \[ R_...
例如,先用序言引出话题,再从多个一级目录展开,逐层深入,最后回归中心思想。 结构思考力的实践需要不断练习和反思。30秒电梯法则就是一个检验自己是否能快速、清晰表达观点的工具。此外,通过思维导图来可视化...
LNH_MySQL 01-由架构因为引出主从复制的作用及重要性.mp4
【三等奖观察记录】大班 由玩水引出的节水公约.docx
《三角形面积公式的由来和演变》一文由饶克勇教授撰写,详细阐述了三角形面积公式的起源、发展及其应用,为我们提供了一次深入理解这一基础数学概念的机会。文章不仅回顾了三角形面积公式的演变历程,还探讨了不同...
首先,让学生思考以下问题:当我们相乘两个多项式时,会出现什么规律?如何将其应用于实际问题中? 活动 1:知识复习 让学生回顾多项式与多项式相乘的法则:多项式与多项式相乘,先用一个多项式的每一项乘另一个...
公式一建议使用名人名言来引出主题,如果记不住名言,可以创造性地编造一句听起来有道理的话。例如:"A proberb says, ‘You are only young once.’" 当没有合适的名言时,可以用类似"It goes without saying that ...