A / B测试不是一个时髦名词。现在很多有经验的营销和设计工作者用它来获得访客行为信息，来提高转换率。然而， A / B测试与SEO不同的是，人们都不太知道如何进行网站分析和可用性分析。他们并不完全明白它是什么或如何更有效的使用它。本文将为你提供有史以来最好的A / B测试教程。
什么是A/B测试?
A / B测试的核心就是：确定两个元素或版本（A和B）哪个版本更好，你需要同时实验两个版本。最后，选择最好的版本使用。
网络上的A / B测试，即你设计的页面有两个版本（A和B），A为现行的设计（称为控制） ， B是新的设计。比较这两个版本之间你所关心的数据（转化率，业绩，跳出率等） 。最后，您选择效果最好的版本。
测试哪些东西?
你要选择什么去测试取决于你的目标。例如，如果你的目标是增加顾客数量，那么您可能测试下列内容：注册表单数量，字段类型要求，隐私政策等。在这种情况下A / B测试的目标是要弄清楚什么阻止了游客注册。需要填写的表单的数量？用户的隐私？还是该网站做了让游客不信任的事情？所有这些问题都可以通过一个个A/B测试获得答案。
每一个A / B测试内容都是独一无二的，单通常测试一下这些内容：
- 行动按钮的措辞，大小，颜色和位置，
- 标题或产品说明，
- 表单的数量和字段类型，
- 网站的布局和风格，
- 产品定价和促销活动，
- 着陆和产品页面上的图片，
- 页面上文字的长度（少Vs多）。
一旦你决定要测试什么，下一步当然是要选择一个合适的测试工具。如果你想要一个基础的免费工具，可以使用Google Website Optimizer。如果你想要功能更加强大的工具，可以使用Visual Website Optimizer 。其他的一些选择都是可以的，建立试验在所有工具中都很相似，所以我们只需讨论一种即可。
你可以通过两种方法建立A / B测试：
-
在页面测试加载前替换元素
如果你测试的是页面上的单个元素，如注册按钮，然后需要在测试工具中设置按钮。当测试时，在A / B工具将在页面给用户前随机替换按钮。 -
重定向到另一页面
如果你想通过A / B测试整个页面，比如说，一个绿色的主题和一个红色主题，那么你就需要创建和上传新的页面。例如，如果您的主页是 http://www.example.com/index.html，那么你需要创建另外一个页面 http://www.example.com/index1.html。当测试运行时，您的测试工具将一部分访问者重定向到第二个网址。
一旦您使用了上面的两种变换方法，下一步是建立您的转换目标。通常，你会得到一个JavaScript代码，您可以复制并粘贴到一个需要游客到达的目标网页。例如，如果您有一个电子商务网站，你正在测试的“立即购买“按钮的颜色，然后您的转换目标将是购买成功后的“谢谢您“页面。
在转换事件发生的同时，在A / B测试工具，记录了哪种页面显示给了访问者。经过足够数量的游客，您可以确定哪个页面带来了最多的转化！建立和运行的A / B测试，其实很简单。
该做什么和不该做什么
虽然A / B测试是超级简单的概念，但是请记住，以下这些都只是我自己的经验。
注意事项
- 不要分开你的测试情况。始终两个版本同时进行测试。如果您第一星期测试第一版本，第二星期测试第二个版本，你就错了。有可能B版本带来的流量更糟糕，但是带来了更好的业绩，因为两个版本之间的流量始终存在不一样。
- 不要结束得太早。有一个概念叫做“统计信心“ ，无论你的测试结果明显的。如果你只有少数转换或游客，它都无法确定最终的结果。大多数A / B测试工具都有报告统计，但如果你是手动测试，你可以使用 在线计算器。
- 不要让常客惊讶。如果你正在测试网站的一部分。包括新访客和常客，不要使他们觉得震惊。尤其不要因为哪些可能不会最终实施变化。
- 不要让你的直觉推翻了测试结果。在A / B测试的结果往往是令人惊讶的或直观的。在一个绿色为主题的网站，一个明显的红色按钮有可能成为赢家。即使红色按钮不容易吸引注意。您要测试的目标是一个更好的转换率，而不是美学，所以在得到测试借过钱不要拒绝任何尝试。
需要做的
- 知道运行测试多久。结束太早，可能会使你花了时间但是没有得到有意义的结果。结束太晚也不好，因为效果不佳的页面可能影响你的转化和业绩。使用一个计算器，来确定测试多久以后来结束它。
- 将相同的页面呈献给同一个访客。您的工具应该有一个记忆访问者已经看到的页面的功能。这样可以防止向同一用户显示一不同的价格或不同的促销优惠。
- 让您的A / B测试在整个网站保持一致。如果你正在测试的登录按钮在多个地点出现，然后一个访问者应在所有的地方看到同样的变化。在页面1显示一个样子，在页面2显示两外一个样子，会使试验结果被干扰。
- 做很多的A / B测试。让我们面对现实吧：你的第一个A / B测试可能会无效。但是不要绝望。一个A / B测试只能有三个结果：没有结果，不好的结果和好的结果。优化转换率的关键是要做大量的A / B测试，把所有的好的结果拼接起来，最终推动业绩。
经典A/B测试案例研究
这里有一些如何进行A/B测试的案例研究。
Writing Decisions: Headline Tests on the Highrise Sign-Up Page 37Signals测试他们的价格页面的标题。最终发现， “30-Day Free Trial on All Accounts “比原来的“Start a Highrise Account. “多产生30 ％以上的订单。
“You Should Follow Me on Twitter Here” (Dustin Curtis) 这是一个用来测试召唤用户在Twitter上关注自己的试验。. Dustin 发现提示文字是“You should follow me on Twitter here” 的效果是“I’m on Twitter.” 173%
Human Photos Double Conversion Rates 从两个不同的A / B测试将在网站上增加转换率的人的照片：一个令人令人惊讶的结论，A/B测试两张图片，将真人照片放在网站上会获得一倍的转化。研究说明，我们潜意识被照片吸引了。
Google Website Optimizer Case Study: Daily Burn, 20%+ Improvement (Tim Ferriss) 一个将用户选择减少的变化使转化提高了20%，最终的版本在细节和文字上更易吸引目光。
Two Magical Words Increased Conversion Rate by 28% “It’s free” 这个单词增加了注册按钮点击次数的28%, 测试结果表明，在行动召唤上一些很小的变化会带来令人惊讶的结果。
Changing the Sign-Up Button from Green to Red 依靠A / B测试， CareLogger把注册按钮从绿色修改为红色增加了34％转换率！
Single page vs. multi-step checkout 如果你有一个在线商店，很常见的就是支付流程。这个A / B测试发现，多个支付流程比单个支付流程完成的销售更好。
“Mad Libs” style form increases conversion 25-40% 打败传统的智慧，此A / B测试发现一段风格形式输入字段比传统形式的布局更好。
Complete redesign of product page increased sales by 20% 一个软件产品的公司重新设计他们的产品页给它一个现代的外观和增加信任模块。最终结果：他们成功地增加20 ％的总销售额。本案例研究证明了设计对销售的影响。
Marketing Experiments response capture case study – triple digit increase in conversions 通过优化邮件地址获取提高了258 ％。重点是消除所有的干扰，并要求游客只需提供电子邮件地址。使用亚马逊礼品卡让他/她的完成个人资料。
A/B测试工具
有许多侧重点，价位和功能不同的A / B测试工具，这里是一些：
-
Google Website Optimizer
搜索巨头提供的免费A/B测试工具。一个很好的入门级工具，但是没有一些先进的功能。 -
A/Bingo and Vanity
基于Ruby on Rails开发的服务器组件。需要编程和代码集成。 -
Visual Website Optimizer
一个易于使用的A / B测试工具，包含一些先进的功能，如所见即所得的编辑器，单击地图，访问者分割和标签等。 -
Unbounce and Performable
集成着陆页设计的A / B测试工具。 -
Vertster, SiteSpect, Webtrends Optimize and Omniture’s Test&Target
企业级测试工具。
一些深入研究的A/B测试资料
如果你已经读到这里，那么A / B测试大概已经激起你的兴趣。在这里，有一些非常好的A/B测试资源。
寻找你下一个A/B测试的灵感
-
Which Test Won?
一个猜测那种情况会最终胜利的游戏。 -
101 A/B Testing Tips
大量的A/B测试技巧和方法。 -
ABtests.com
一个可以分享和阅读A/B测试结果的地方。 -
A/B Ideafox
搜索引擎的A / B和多变量的案例研究。
一些介绍性文章
-
Effective A/B Testing
By Ben Tilly. -
Practical Guide to Controlled Experiments on the Web (PDF)
From Microsoft Research. -
Introduction to A/B Testing
From the 20bits blog
A/B测试中的数学
-
Statistics for A/B Testing
From the 20bits blog. - How Not to Do A/B Testing
-
What You Should Know About the Mathematics of A/B Testing
From my own blog. - Easy Statistics for AdWords A/B Testing, and Hamsters
- Statistical Significance and Other A/B Test Pitfalls
原文地址：http://www.smashingmagazine.com/2010/06/24/the-ultimate-guide-to-a-b-testing/
相关推荐
计算机术语.pdf
1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
内容概要：本文详细介绍了基于PLC（可编程逻辑控制器）和组态软件的智能停车场收费系统的实现方法和技术细节。首先，文章概述了系统的总体架构，指出PLC用于控制停车场的电气设备，而组态软件则提供直观的操作界面。接着，深入解析了PLC梯形图程序的具体逻辑，包括车辆检测、闸门控制、收费计算等功能模块。此外，文章还讨论了接线图的设计原则和注意事项，如防止电磁干扰、确保系统稳定性的措施。最后，介绍了组态画面的设计思路及其优化方法，如动态显示车位状态、实时更新收费信息等。通过这些内容，读者能够全面了解智能停车场收费系统的内部运作机制。 适合人群：从事自动化控制、工业物联网、智能交通等领域的工作技术人员，尤其是对PLC编程和组态软件应用感兴趣的工程师。 使用场景及目标：适用于新建或改造停车场项目的规划与实施阶段，帮助工程师理解和设计类似的自动化控制系统，提高停车场管理效率和服务质量。 其他说明：文中提供了大量实际案例和技术细节，有助于读者更好地掌握相关技术和应对实际工程中的挑战。
内容概要：本文详细介绍了利用MATLAB及其工具箱YALMIP和求解器CPLEX/Gurobi构建电-气-热综合能源系统耦合优化调度模型的方法。首先，文章描述了电网部分采用39节点系统进行直流潮流建模，气网部分则使用比利时20节点配气网，并对Weymouth方程进行了线性化处理，将非线性问题转化为线性规划问题。热网部分引入了热电联产(CHP)和电转气(P2G)设备，实现了热电耦合。通过模块化设计，代码能够灵活地添加新的能量存储或转换设备。实验结果显示，相比单一网络优化，三网耦合优化降低了12.6%的系统总成本，并显著改善了负荷峰谷差。 适合人群：从事能源系统优化研究的专业人士，尤其是熟悉MATLAB编程和优化理论的研究人员和技术人员。 使用场景及目标：适用于希望深入了解综合能源系统耦合优化调度机制的研究人员和技术人员。主要目标是掌握如何使用MATLAB搭建电-气-热耦合优化模型，理解各个子系统的数学建模方法以及它们之间的相互作用。 其他说明：文中提供了详细的代码片段和解释，帮助读者更好地理解和复现模型。此外，还讨论了一些实际应用中的注意事项，如求解器的选择、参数调优等。
计算机三级网络机试考试试题及答案(下).pdf
内容概要：本文详细介绍了使用NX MCD进行机械臂抓取仿真的方法和技术要点。首先探讨了运行时参数的配置，如夹爪力度的动态调整和位置控制的脚本编写。接着讨论了条件仿真序列的设计，包括状态机跳转、阻塞等待、异步响应和超时保护等关键概念。此外，文章还讲解了与PLC的联合仿真，展示了如何通过TIA Portal实现抓取力度的动态补偿以及信号同步。最后分享了一些实用的调试技巧，如使用半速模式观察力学变化、设置碰撞检测触发器等。 适合人群：从事自动化设备开发、机械臂控制系统设计的技术人员，尤其是对NX MCD和PLC有一定了解的工程师。 使用场景及目标：适用于需要进行复杂机械臂抓取仿真的项目，帮助工程师更好地理解和掌握NX MCD与时序仿真的核心技术，提高仿真精度和可靠性。 其他说明：文中提供了大量具体的代码片段和配置示例，便于读者快速上手实践。同时强调了参数化配置的重要性，指出这是为了在现场调试时提供更大的灵活性。
计算机数控系统.pdf
本人创作，禁止商用
内容概要：本文详细介绍了一款大型流水线贴膜机的PLC程序和触摸屏程序，涵盖多个控制工艺如上下气缸控制、输送带电机控制、贴膜伺服控制等。程序适用于西门子S7-1200 PLC和KTP700触摸屏，支持V13及以上版本。文中提供了详细的代码示例和分析，解释了各个控制部分的工作原理及其优化技巧。此外，还介绍了异常处理机制、报警处理模块、以及触摸屏界面上的一些实用功能，如动画流程图显示和参数微调。 适合人群：工业自动化领域的初学者，尤其是对PLC编程和运动控制感兴趣的工程师和技术人员。 使用场景及目标：① 学习PLC编程和触摸屏程序设计的基础知识；② 掌握常见工业控制元件的编程方法和优化技巧；③ 提高对复杂控制系统的设计和调试能力。 其他说明：文章强调了程序中的关键技术和注意事项，如定时器保护、光电开关连锁、位置补偿算法等，有助于初学者避免常见错误并提高系统的可靠性和安全性。
内容概要：本文详细介绍了基于51单片机的多点测温系统的构建方法。系统采用五个DS18B20数字温度传感器进行温度采集，并将数据实时显示在LCD1602屏幕上。文中涵盖了硬件连接、单总线通信协议、温度读取与显示的具体实现细节，以及常见问题的解决方案。特别强调了ROM匹配算法的应用，确保多个传感器在同一总线上能够正确通信。此外，还提供了Proteus仿真的注意事项和一些调试技巧。 适合人群：对嵌入式系统开发感兴趣的初学者和有一定单片机基础的研发人员。 使用场景及目标：适用于恒温箱监控、多房间温控等应用场景，旨在帮助开发者掌握多点温度监测系统的搭建方法和技术要点。 其他说明：文中附有完整的硬件连接图和核心代码片段，便于读者理解和实践。同时提到了一些扩展功能，如温度单位切换、阈值报警等，增加了项目的趣味性和实用性。
内容概要：本文详细介绍了将模糊控制与传统PID相结合应用于直流电机控制的方法。首先阐述了传统PID控制在面对负载突变或转速大幅变化时的局限性，随后引入模糊PID的概念并展示了具体的实现步骤。文中提供了完整的Python和C语言代码示例，涵盖模糊规则表的设计、隶属度函数的选择以及参数自适应调整机制。此外，作者还分享了多个实用的经验技巧，如参数调整范围限制、误差量化因子选择、抗积分饱和算法的应用等。并通过实验数据对比证明了模糊PID相比传统PID在响应速度和稳定性方面的优势。 适合人群：具有一定自动化控制理论基础和技术实践经验的研发人员，尤其是从事电机控制系统开发的技术人员。 使用场景及目标：适用于需要提高直流电机控制系统鲁棒性和响应速度的实际工程项目。主要目标是在保持系统稳定的前提下，缩短调节时间和减少超调量，从而提升整体性能。 其他说明：尽管模糊PID能够显著改善某些特定条件下的控制效果，但仍需注意合理设置初始参数和调整幅度限制。同时，对于不同类型的电机和应用场景，可能还需要进一步优化模糊规则和隶属度函数。
计算机试题office应用.pdf
1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
内容概要：本文详细介绍了用于冷热电联供系统(CCHP)的多目标粒子群优化(MOPSO)算法MATLAB实现。该代码通过动态惯性权重、轮盘赌全局最优选取和约束集成等特性，解决了燃气轮机出力与风光发电波动的平衡问题，优化了电制冷机和锅炉的启停策略，从而提高系统的经济性和环保性能。文中展示了核心代码片段，如粒子位置更新、适应度函数构建、约束处理策略以及帕累托前沿筛选等，强调了工程化思维的应用，如设备启停控制、风光预测处理等。 适合人群：从事能源系统优化的研究人员、工程师和技术爱好者，尤其是对MATLAB编程和多目标优化算法有一定了解的人士。 使用场景及目标：适用于需要优化冷热电联供系统运行策略的场合，旨在实现系统运行成本最小化和碳排放量最低的目标。具体应用场景包括但不限于：工业园区能源管理、分布式能源系统调度、智能电网优化等。 其他说明：该代码不仅提供了理论上的优化方案，还通过实际案例验证了其有效性，如在夏季负荷高峰场景下的动态调度策略。此外，代码具有良好的扩展性和实用性，支持多种设备模型和目标函数的定制化修改。
计算机求职笔试内容与分类
内容概要：本文详细介绍了欧洲进口料箱分拣系统的程序架构及其核心技术。系统采用西门子S7-1500 PLC作为控制器，通过Socket接口实现WCS（仓储控制系统）与PLC之间的高效通信。文中展示了PLC端的Socket服务端代码，以及分拣逻辑的具体实现，包括动态权重算法优化分拣路径、异常处理机制、变频器控制和报警处理模块的设计。此外，文章还探讨了硬件配置如扫码枪、直流辊筒电机和变频器的作用，以及程序中的模块化设计和工业级代码规范。 适合人群：从事工业自动化领域的工程师和技术人员，尤其是对PLC编程、WCS集成和工业物联网感兴趣的读者。 使用场景及目标：适用于需要深入了解料箱输送线控制系统的工作原理、优化分拣效率、提高系统可靠性和稳定性的应用场景。目标是帮助读者掌握WCS与PLC的Socket通信设计、分拣逻辑优化及硬件配置的最佳实践。 其他说明：文章不仅提供了详细的代码示例，还分享了许多实际调试经验和设计思路，有助于读者更好地理解和应用相关技术。
内容概要：本文详细介绍了基于三菱FX5U PLC的螺丝机项目的ST语言程序，涵盖了轴控制、气缸逻辑以及威纶通触摸屏交互的设计与实现。程序采用功能块（FB）封装的方式，将复杂的运动控制和气缸操作简化为易于理解和使用的模块。轴控制部分利用状态机实现了伺服回原点等功能，并加入了类型校验和异常处理机制。气缸控制则通过状态机和超时保护确保可靠性。触摸屏程序通过严格的变量映射和结构化设计，实现了PLC与HMI的无缝对接。此外，还包括详细的注释和报警处理机制，使得系统更加健壮。 适合人群：具备PLC编程基础的技术人员，尤其是对三菱FX系列PLC和ST语言感兴趣的工程师。 使用场景及目标：适用于需要深入了解PLC编程和工业自动化系统的工程师，帮助他们在实际项目中快速掌握ST语言的应用技巧，提高开发效率并减少调试时间。 其他说明：文中提供了大量实际案例和技术细节，如轴控制、气缸控制、触摸屏交互等，有助于读者更好地理解和应用相关技术。同时，丰富的注释和错误处理机制也为后续维护提供了便利。
帮助用户规划地铁出行路线
内容概要：本文详细介绍了基于基恩士KV06N PLC和昆仑通态触摸屏构建的全自动LED划线点装机控制系统。主要内容涵盖伺服轴控制、步进电机控制、配方管理和分期锁机功能等方面。作者分享了多个关键技术点，如使用ST语言进行伺服定位管理、优化Z轴回原点抖动问题、利用PLC高速脉冲输出驱动步进电机、通过触摸屏脚本实现产量统计分类、以及采用环形缓冲区记录故障日志等。此外，文章还讨论了如何通过时间校验实现分期锁机功能，并确保系统的稳定性和高良品率。 适合人群：从事工业自动化控制领域的工程师和技术人员，尤其是熟悉PLC编程和触摸屏交互设计的专业人士。 使用场景及目标：适用于需要精确运动控制和高效生产管理的制造业环境，旨在提高生产设备的可靠性和生产效率，减少故障停机时间和维护成本。 其他说明：文中提供了大量实际案例和代码片段，帮助读者更好地理解和应用相关技术。同时强调了良好的注释习惯对于后续维护的重要性。
内容概要：本文详细介绍了锂电池二阶RC模型（即二阶戴维南模型）的构建方法及其应用。首先解释了模型的基本结构，由理想电压源、欧姆电阻和两个RC并联网络组成，用于模拟电池的浓差极化和电化学极化现象。然后展示了如何利用Python进行模型仿真，包括使用SciPy库的微分方程求解器和欧拉法实现离线与实时系统的仿真。此外，讨论了参数辨识的方法，如最小二乘法和优化算法的应用，并强调了参数选择的重要性。最后提到了一些实际应用中的注意事项，如温度补偿、OCV-SOC曲线处理以及模型验证方法。 适合人群：从事电池管理系统(BMS)研究与开发的技术人员，尤其是对锂电池建模感兴趣的工程师。 使用场景及目标：适用于需要精确模拟锂电池动态特性的场合，如电动汽车的动力电池管理、储能系统的设计等。主要目标是提高SOC估算精度，优化电池性能。 其他说明：文中提供了大量Python代码示例，帮助读者更好地理解和实践二阶RC模型的构建与仿真。同时提醒读者关注模型局限性和实际应用中的挑战。