V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
zorodesign
V2EX  ›  程序员

ABtest 数据疑问,请 AB 达人进

  •  
  •   zorodesign · 2014-08-18 12:57:39 +08:00 · 2689 次点击
    这是一个创建于 3510 天前的主题,其中的信息可能已经有所发展或是发生改变。
    实现方式

    1.随机给用户种cookie 0~99
    2.命中0~9的访问 A版本
    3.命中10~99的访问 B版本

    以下是问题

    1.当js跳转方式为先到A版本,然后根据cookie判断是停留在A版本还是跳转到B版本时,B版本的数据优于A版本
    2.当js跳转方式为先到B版本,然后根据cookie判断是停留在B版本还是跳转到A版本时,A版本的数据优于B版本

    也就是说,先落地到哪个页面,哪个页面数据就差。更要命的是,两种测试差额数据恰好相等,类似数据镜像

    各位有没有碰到过?谢谢~
    4 条回复    2014-08-18 15:47:22 +08:00
    lyric
        1
    lyric  
       2014-08-18 13:39:05 +08:00   ❤️ 1
    信息太少了。这里最后比的是什么指标?

    但是这个A/B测试的方法不对吧。首先测试组和对照组的量要尽量相同。其次跳转方式对不同版本是不公平的。考虑网速很慢的情况,若着陆点是A,即使用户配置是跳转B,也有可能因为加载失败没有机会看到B就滚粗了。

    有可能因为网速问题拉低了第一个着陆点的数据,但是不知道你的评价指标,所以没法确定,也许你可以比较一下跳出用户的请求时间。

    可以换一个测试方法:先统一跳到一个中间页面,然后读 cookies 跳两个不同页面。
    jobtesting
        2
    jobtesting  
       2014-08-18 13:39:49 +08:00
    你这样跳转有问题呀。
    如果用户本身是B版本,你的实现无论如何都会从A版本跳到B版本吧。
    这样就可以解释你数据相等的问题了。
    zorodesign
        3
    zorodesign  
    OP
       2014-08-18 14:51:38 +08:00
    @lyric 指标是当前页面转化率,应该不会受到网速问题的影响,如果没有到达下一个页面,当前页面的tracker也不会发送,这次访问不会被记录
    lyric
        4
    lyric  
       2014-08-18 15:47:22 +08:00
    @zorodesign 如果是页面的转换率,就存在2楼 @jobtesting 说的问题了。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   4816 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 09:55 · PVG 17:55 · LAX 02:55 · JFK 05:55
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.