聊天机器人中的 A/B 测试

原文作者：Oksana Oboishchyk
原文链接：A/B 测试在 Chatbots
编译：一熊翻译组 Mason

目前，没有太多的工具和平台为聊天机器人提供 A/B 测试。但是，A/B 测试是在部署聊天机器人至运行环境时检验对真实用户可行性最重要的营销策略之一。

对具有自身特性的聊天机器人进行 A/B 测试本质上是为了达到同一目的：它可以帮助客户了解流程中的任何一部分。

有了聊天机器人，不仅是特定区块需要 A/B 测试，甚至像是不同类型的初次使用场景或购买流程的区块顺序，也需要使用 A/B 测试。通过这样做，我们可以确定用户流失，并做出改善用户体验的重要改变。

聊天机器人在 A/B 测试中需要去衡量的三个最重要的指标是：

• 留存率

• 用户流失

• 主要转换

留存率是留存下来的聊天机器人使用者数量相对于尚在徘徊中的使用者数量的比率。留存率的目的是监控聊天机器人在吸引与留住用户过程中的表现。一个结构良好并且在用户体验上极具吸引力的信使聊天机器人在留存率上高达 70%，而广泛使用的电子邮件营销活动只有 40%。

用户流失反映了在整个流程中，访问者在何处离开既定的主要流程而走向了完全偏离了意向的逻辑。这一指标的主要反映了你的聊天机器人在何处存在漏洞令用户不断流失。其意味着你可以在用户体验区块与其他因素上有一些认知：那些用户在此处获得应有的用户体验前就已经感到乏味或是受挫。

对话通常会代表重要的用户操作，当有人与你的聊天机器人中对你的业务十分重要的用户体验关键点进行交互时，这些用户操作将被记录下来。例如，点击用户流程的特定 CTA，与代理商实时通讯，完成结帐过程等。

一些聊天机器人构建平台已经为聊天机器人的 A/B 测试提供现成的解决方案。如果你对这些工具不满意或者需要定制解决方案，而且你还会编程，那么你完全可以设置自定义跟踪并以简单的图形或表格的形式对这些数据进行可视化来解决问题。

当进行 A/B 测试时，建立适当的检测以提供有效信息十分重要，因为您可以使用这些信息来改善您的聊天机器人流程以及进阶性能。A/B 测试中的每一个检测都可能包含拥有相同功能的两个以上的变体，或需要验证的特定用户体验元素。例如，我们可以在主 CTA 按钮上设置三个不同的选项来提示用户购买不同的款式。或者也可以是新手入门流程的变化，比方说带有一个简单的图像欢迎消息与包含副本和按钮的文本选项，抑或者是一个图库或列表视图形式的菜单。其实可供选择是非常多的。

以下是用 A/B 测试检测你的聊天机器人的具体步骤：

1.选择一款 A/B 测试的工具或平台，此前提到过，你也可以在 JSONs 的帮助下设立一个自定义追踪，如果你会编程的话。

2.检查一下用户体验流程以及确定好哪些地方是在上线前需要进行 A/B 测试的。如果您不通过 A/B 测试来检测用户历程中最重要的几点，那么你可能会失去大量有价值的数据，这些数据可能会帮助你在未来建立更具吸引力的流程。

3.开始第一个检测，在你的机器人部署至运行环境并将它开放至真实用户后采集数据。

4.对比分析收集到的数据并根据你的观点进行修改。

5.基于上一个观点开始下一个检测，并建立这一循环。

至此，你的聊天机器人的留存率与转换率应该会逐渐提高，并为其所服务的业务或公司提供更多价值。

作为 Chatfuel 的活跃用户，我推荐使用 Chatfuel 中的序列进行 A/B 测试，它允许你创建单一或多个片段的流程，这些片段可以根据特定或随机的规则和时机推送给订阅的用户。