A/B 测试中 12 个常见的误区(下)

  • 日期:08-24
  • 点击:(1263)


上次,我们与您分享了《A/B 测试中 12 个常见的误区(上)》,并继续分享今天内容的后半部分。

c77e1cd6fcc9cd29ba53156d526ad6d3.jpeg

放弃第一次失败

您设置了一个测试,但它没有提高转换效率,所以您准备在另一个页面上运行测试?

没那么快!大多数首次测试都面临失败的可能性。实际上,迭代测试是不可避免的。从测试中学习,改善用户体验和假设,然后测试,循环等等。

我们研究了一个案例,我们在同一页面上进行了6次测试,以实现我们的转换目标。这是现实生活中的考验。因此,您必须让批准测试预算的老板和您的客户知道这一点。

如果您希望测试能够获得您想要的结果,那么这笔钱将被浪费,并且该人可能会被解雇。因此,运行迭代测试是一种更可行的方法。

虚假报道的重要性

请注意,统计意义并不是唯一需要注意的结果。我们还需要了解这些错误的测试结果。不耐烦的测试人员想要跳过A/B测试并继续进行A/B/C/D/E/F/G/H测试。这是一个误解。

不可否认的是,测试的版本越多,误报的可能性就越高。有时,即使在95%的置信水平下,误报的几率仍可达到88%。

利用重复的流量

您已经找到了通过同时运行多个测试来“裁减工作”的方法:在产品页面上进行一次测试,在购物车页面上进行一次测试,在主页上进行一次测试(同时测量相同的目标)。它节省了时间,对吗?

但是如果你在测试时不小心,可能会扭曲结果。除非您怀疑测试之间存在强烈的交互,否则测试之间的流量会有很大的重叠。

如果测试之间存在交互和流量重叠,事情会变得棘手。

如果要同时在同一过程中测试多个布局的新版本(例如结帐的三个步骤),最好使用多页面实验或多变量测试来正确测量交互和属性结果。

如果您决定使用重叠流量运行A/B测试,请记住流量应始终均匀分布。如果您测试产品页面A和B以及结帐页面C和D,请确保来自B的流量在C和D之间是半共享的,而不是2:3或其他。

忽略微妙的结果

你的新版本比对照高出4%,但有人会说,“这个比例太小了!我甚至不想实现它。”

问题是,如果您的网站运行良好,那么您将无法获得大规模的转换提升,事实上,大规模的转换改进很少见。除非您的网站是垃圾网站,否则在测试后很容易获得超过50%的转化次数,但即便如此,此方案也不会继续出现。

大多数测试带来小幅增长,例如1%,5%,8%等。有时增加1%可能意味着数百万美元,但重点是:你需要从12个月的时间范围内看一下。

测试只是一个测试,你必须做很多测试。例如,如果您每月将转化率提高5%,则转化率将在12个月内增加80%。这是复利,这是数学的工作方式。而80%将是一个非常壮观的数字。

因此,学会积累这些小胜利,最后将它们全部叠加。

拒绝垃圾邮件测试

没有测试的每一天都是浪费。测试是为了更好地学习,更好地了解您的受众,什么是有效的,以及为什么。

没有做多次测试,你不知道什么有效。

虽然有必要继续测试,但这并不意味着你必须进行垃圾测试。你需要做适当的研究,准备一个好的假设,并不断优化。

不知道存在的威胁

仅仅因为你有一个很好的样本量,信心和测试持续时间并不意味着你的测试结果是有效的。因为您的测试通常具有以下威胁。

工具错误

这是最常见的问题。当测试工具(或仪器)在测试中存在缺陷数据时,它会对结果产生致命影响,这通常是因为网站上的错误代码,因此您需要注意这一点。

设置测试时,请观察并记录每个目标和相应的数据指标。一旦出现问题,请停止测试,找到并解决问题,然后重置数据并重新开始。

历史影响

也可能是外部世界发生了某些事情,导致测试中出现了有缺陷的数据。例如,如果您的公司高管有丑闻,或者恰好遇到消费假期等,那么外面发生的事情将导致您改变。

选择偏差

当我们错误地假设流量的某些部分代表流量总量时,会发生这种情况。

例如,如果您将促销流量从电子邮件列表发送到您正在运行测试的页面,那么订阅您的列表的人将拥有比普通访问者更多的人。但如果他们认为它们代表总流量,那么就会存在选择偏差。

错误的代码效果

您测试了一种提高转换率并将其推向现实的方法,但它没有赢得结果。这可能是因为您的方法在某些浏览器或设备上运行不佳。

无论何时提出新的解决方案,请务必执行质量保证测试,以确保它们在所有浏览器和设备中正确显示。

结局:我希望你能从这12个误解中得到一些想法,并在未来的A/B测试中避免这些“坑”。

原作者:Peep Laja

译文:严汝玉,沉岑数据,用户行为洞察研究所公共号码(ID:SDResearch)

本文由