QQ登录

只需一步,快速开始

扫描二维码登录本站

切换到宽版
微信扫一扫 分享朋友圈

已有 67 人浏览分享

统计意义的A/B测试(CPV实验室案例研究)

[复制链接]
发表于 2021-8-2 15:54:11 | 显示全部楼层 | 阅读模式
拆分测试中最神秘的领域之一似乎是——如何判断新广告或着陆页何时收到足够的流量,以了解它是否有效。快速答案是:统计学意义的A/B测试。

今天,我将尽我最大的努力来解释这个答案,并展示我最近所做的实验的结果,这个实验证明了我在说什么。

"他能有耐心,能有他会有什么"-本杰明富兰克林

什么是 A/B 拆分测试?
A/B 拆分测试是相互测试两个或多个版本的创意元素或元素的实践。通过将流量拆分为不同的组并将每个组发送到不同的页面,您可以查看新想法是否比旧想法效果更好。

我以前写过关于A/A/B渐进式拆分测试,一种分而开裂测试的方法,可以保护你免受损失太多钱。

每个拆分测试应从假设开始。

例如:如果您当前的着陆页面获得了 10% 的 CTR,并且需要 12% CTR 才能在广告活动中达到平衡,您可以尝试测试不同的"呼叫行动"按钮颜色,看看点击红色按钮的人是否比点击蓝色按钮的人多。

在这种情况下,假设是:人们点击红色胜过蓝色。

CPV Lab - A/B Testing for Statistical Significance
CVP 实验室的屏幕截图显示两个着陆页以 50% 的比例拆分流量
使用 CPV Lab 等拆分测试软件,您将在活动中添加每个着陆页,并给每个页面 50% 的流量。这样,一半的流量进入旧页面,一半进入新页面。

统计学的意义是什么?
摘自维基百科:统计学意义在于,影响不仅仅是偶然造成的。[1][2] 它是统计假说测试的一个组成部分,用作重要的价值判断。在统计学中,结果被认为意义重大,不是因为它重要或有意义,而是因为它被预测为不可能仅仅偶然发生。

例如:设置拆分测试后,您可能会很快发现,您的新着陆页获得 25% 的 CTR,而旧页面的 10% CTR。然后,随着时间的推移,随着更多的访问者数据被收集,这些结果可能会平衡或完全相反。

在这种情况下,早期25%CTR是由于机会本身,并不显著。

许多在线营销人员犯了一个错误,即决策太快。通过这样做,他们实际上暂停了更好的页面,并随着时间的推移慢慢降低他们的活动性能。

需要多长时间?
获得统计学意义需要多长时间?嗯,这是一个很难回答的问题,因为像生活中的许多事情一样,它也会因情况而异。

*记住这一点:支出越高,测试越长。

示例:如果你有一个活动花费 $100/天,并出售一个产品与 $100 付款, 收支平衡将意味着你每天做 1 销售.可能需要数周或数月才能获得重要数据。

但是,如果您的报价有 1 美元的付款,盈发甚至会为您带来每天 100 次销售,这样您就能更快地获得重要数据。

统计意义的 A/B 测试
CPV 实验室案例研究
我最近读了一篇文章,谈到通过在CTA按钮文本后添加紧急字来提高转换率。"现在"和"今天"这两个词被推荐为最佳词。

我决定试一试。

第 1 天
使用CPV实验室,我设置了5个着陆页测试。我使用我的控制CTA,并添加了他们的两个建议(现在和今天),以及另外两个已经为我工作得很好,在过去"在线"和"立即"。

CPV Lab screenshot - Statistical Significance A/B Test

正如您在初始流量爆发时看到的,使用"Now"一词的着陆页的转换量是控制页面的两倍。在过去,看到转换率翻倍可能让我暂停所有其他页面,并称之为一天。。。但这些天我更清楚了

我通过我使用的统计意义计算器运行它,并得到了以下结果。

Statistical Significance calculator根据意义规则,测试不会结束,直到其中一个变体达到 95% 或更高。在这一点上,我略低于80%,所以我知道现在决定还为时过早。

第2天
经过一天的流量,你可以看到,登陆页上写着"现在"字样,它仍然看起来真的很热。它得到了 5 个以上的转换比控制, 看起来这将是一个失控的赢家。每个页面的浏览量超过 2000 次,点击次数超过 350 次。("今天"和"在线"被提前淘汰)。

CPV Lab Case Study - A/B Testing for Statistical Significance

在这一点上,我想我已经找到了一些非常特别的东西,并打算真正提高结果。

statistical significance calculator screenshot

同样,我不得不推迟做决定,因为即使"现在"页面的出色表现,我也只有74%的信心。

第5天
到第5天测试时,情况已经完全改变了。我最初的领导者"现在"已经落后,并被控制页面(原始着陆页)摧毁。

CPV Lab Case Study A/B Test Final经过几天的测试,控制达到了95%的信心得分,击败了所有新版本的活生生的地狱。

如果我过早地做出决定, 我会完全搞砸我的竞选活动。

当你决定得太快时会发生什么
这事发生在你身上吗?

您开始新的活动。它做得很好,在头几天,你开始优化。慢慢地,随着时间的流逝,性能下降,你似乎再也拿不到赚钱了。

你知道会发生什么吗?

您的快速优化实际上可能会为您留下低于标准的着陆页,这些页面在每一次更改和每次拆分测试中都会执行越来越差的性能。

为什么我讨厌最分裂的测试软件
市场上有很多拆分测试软件。其中最流行的被称为视觉网站优化器。之所以(我相信)它如此受欢迎,是因为他们在设计它的方式上做得非常好,简单、有趣和令人上瘾。

但我不确定它是否有效。

查看屏幕截图,您可以看到界面很光滑。但是,当你看到它在行动,这是一个美丽的东西。它更像是一个视频游戏,而不是一个拆分测试软件。

事情亮了,按钮改变颜色,杠杆和酒吧四处走动,当你发现一个95%的赢家后,只需点击几下 - 它让你觉得自己像一个天才。

visual-website-optimizer-reporting

问题是,撇开娱乐不谈,结果(对我来说)很少准确。在与 Vwo 玩了几个月之后, 我决定看看如果我让测试超过 Vwo 说我有赢家的点会发生什么。

90% 的时间 Vwo 宣布赢家实际上并没有随着时间的推移表现最好。

这是否意味着大众不工作?不可能,很多成功的营销人员都利用它,并正在杀人。但对我来说-娱乐价值大于结果,所以它不是一个工具,我使用或推荐了。

工具、参考链接和建议
我使用三种工具拆分测试着陆页并计算统计学意义。你可能听说过我谈论他们之前,那是因为他们的工作-我会永远使用它们。

疯狂的鸡蛋疯狂蛋是一个热映射工具,坐在你的着陆页面和记录你的访客点击。然后,它会在页面上显示热区的"热图"。在一个新的活动,我把疯狂的鸡蛋在页面上,让一些数据堆积起来,看看人们点击最多。然后,我首先优化该区域。通过这样做,我最大限度地提高了我进行更改的机会,这将对性能产生巨大影响。阅读我的疯狂鸡蛋评论。
abtester.com这是一个免费的统计意义计算器,我用它来看看我是否有足够的数据来作出决定。我输入旧页面与新页面的浏览量和转换次数,它告诉我是否有赢家。从理论上讲,如果你达到95%的意义,你有95%的机会,你的新页面会更好地工作。这不是傻瓜证明, 而是非常, 非常有帮助。
CPV 实验室这是跟踪市场活动和拆分测试着陆页的行业标准。这是几百块钱,每一毛钱都值。我张贴在这个网站,Facebook和推特上的直播活动的所有截图都来自CPV实验室。
这三种工具足以确保您做出有意义的明智决策,并帮助确保您不会将活动推入泥潭。

CPV 实验室优惠券代码
CPV实验室的人给了我一个优惠券代码给我的读者谁想要尝试它。单击此处查看并使用CPV 实验室优惠券代码"MALAN50"以节省 50 美元。

结论
拆分测试着陆页是联盟营销游戏中最有趣的部分之一。如果你能擅长它, 你可以使任何竞选活动有利可图。

拆分测试中最重要的因素是统计意义。如果你在数据有意义之前做出决定,你最终可能会伤害你的竞选,保留最差的着陆页,并最终通过你做的每一次测试赚更少的钱。

我用来测试统计意义的工具是
:–疯狂的鸡蛋

-www.abtester.com-CPV实验室(使用代码MALAN50$50折扣)

慢走,耐心点,依靠长期的结果。这样做将给你一个更好的机会,随着时间的推移不断增加你的投资回报率。

我的朋友,是游戏的名字。

更多,请观看我的YouTube视频:统计意义的A/B测试

您需要登录后才可以回帖 登录 | 注册

本版积分规则

0

关注

6

粉丝

507

主题
精彩推荐
精彩推荐
热门资讯
热门资讯
网友晒图
网友晒图
图文推荐
图文推荐

QQ|小黑屋|Archiver|手机版|中国广告网 ( 鄂ICP备20005464号-17 )|网站地图

GMT+8, 2021-9-28 19:19

Powered by Discuz! X3.4

© 2001-2021 武汉掌媒科技有限公司