学习笔记 -A/B Testing神器Optimizely

前段时间因为工作需要,使用Optimizely发布了公司平台的A/B测试。现在将学习的过程及创建测试的方法归纳在这里。

Optimizely是一家美国公司,为其他公司提供客户体验优化软件。 Optimizely平台技术提供A /B测试工具,其中可以比较两个版本的网页的性能和多变量测试。优化还可以实现个性化,可用于制定数据驱动的决策。个性化功能可用于提供在线广告。
— 来源 *

使用Optimizely不需要更改源代码,它的测试原理简单的来说就是将JavaScript和DOM结合编写网页,用来覆盖原有的网页代码。

这次A/B测试我们建立了两个项目(Projects),一个作为开发环境(development),一个作为测试运行环境(production)。并不是一定需要,只是我们觉得将开发与运行分开更方便于管理,也有效的避免了人为失误造成不必要的损失。
同样,有时候网站平台测试需要针对不同地区或者国家,也推荐为每一个地区/国家单独建立项目,并设置地域限制,这样做更便于管理。

1. 新建项目

新建项目时有两种类别可以选择,我用的是第一种。
学习笔记 -A/B Testing神器Optimizely
新建项目只需要输入项目名和项目简介就好,建议命名方式是“地区-测试组件名-测试内容
学习笔记 -A/B Testing神器Optimizely
2. 新建A/B测试
Optimizely支持的测试种类有三种。

  • A/B Test:A/B测试,针对单个或多个页面的不同设计。一般都有一个主题,比如说圣诞节的整个网站页面的不同设计。
  • Multivariate Test :多样化测试,针对同一页面不同区域的设计的比较。
  • Personalization Campaign:用户订制测试,针对对不同用户的订制体验。

因为我们需要测试新的版面设计对于用户下单购买的影响,多以选择了A/B测试。
学习笔记 -A/B Testing神器Optimizely

下面就是A/B测试的主界面。测试设计版面的功能很丰富,下面来简单介绍一下。

  • Variations:A/B测试的灵魂,每一个variation都是一个网站版本的设计。下面会细讲。
  • Targeting:这部分是用于设置需要运行A/B测试的页面。可以选择一个或者多个页面。页面网址可以选用RegExp正则表达式来设计,任意满足该表达式的URL都属于A/B测试的范畴。
  • Audiences:直译为观众设置,用于设置针对的用户设备。一般选择为电脑,平板电脑,和手机。
  • Shared Code:类似于config的地位,存放一些所有页面都会共享的变量或者类。
  • Traffic Allocation:测试用户流量的控制设置。
  • Schedule:用于设置测试开始和结束的时间。
  • API Names:这块系统会自动生成,一般不需要修改
  • Settings:这块可以修改A/B测试名称和内容描述。

学习笔记 -A/B Testing神器Optimizely

Optimizaly在测试设计方面很贴心,有一个GUI支持一些简单的更改,比如文本和图片。不懂Javascript和网页设计的人也能够使用。更复杂的功能则需要在右上侧代码框中实现。美中不足的是当前版本不支持jQuery。
学习笔记 -A/B Testing神器Optimizely
3. 运行A/B 测试

运行A/B测试很简单。

首先将类似下面的<script>代码复制粘贴到需要测试的页面中的<head>里。

<script id="optimizelySnippet" src="https://cdn-pci.optimizely.com/js/xxxxxxxxxx.js" data-env="default"></script>

在测试设计完成之后,单击“开始测试”按钮就可以了。
学习笔记 -A/B Testing神器Optimizely

发布测试并不是结局,A/B测试的目的是为了根据用户对不同设计的反应来做出网页优化(Web Optimization)。这个数据可以根据Optimizely自动生成的监测报告,或者Google Analytics来实现。
每次更新测试内容之后都需要重新“发布”一次。测试完成后,点击左边暂停键,再归档即可。如有需要,归档的测试可以重新被**使用。