[译] Facebook 如何进行基于地理位置的营销活动A/B实验设计

本文将通过下面3个主题讨论地理实验及其在营销活动中的使用。

1. 什么是地理实验？它如何在营销活动中发挥作用？
2. 理解地理实验背后的数学原理
3. 地理实验应用举例与R代码

什么是地理实验？它如何在营销活动中发挥作用？

面包和黄油的实验学习

A/B 测试(又名对比测试)在帮助营销人员消除猜测和做出数据依据的决定方面是必不可少的。 对于大多数营销人员来说，是通过落地页优化的形式来完成的。通常，实验会将流量分成不同的组，将页面的一些更改暴露给其中一个组，同时保持其他组的所有内容相同，测量特定兴趣度量的差异(注册率、点击率等) ，并确定两组之间的差异是否具有统计学意义。一些付费的市场营销专家可能参与了谷歌广告或 Facebook 广告的 a / b 测试，在这些测试中，受众受到不同的广告格式或广告副本的影响。 两者的方法相似，但应用方式不同。

那么，营销人员为什么要进行 A/B 测试呢？ 这就是营销人员戴上科学家帽子的地方。 营销人员通过 a / b 测试来了解某些事情的因果关系和增量影响，无论是登陆页面的变化还是 Facebook 广告活动。 他们想知道，对于他们所做的这件具体的事情，它产生了什么样的影响，这样他们才能做出明智的决定，他们下一步该做什么。

A/B 测试一直是营销人员进行测试和学习的主要手段。 但是如果我让你们设计一个 A/B 测试来回答以下每一个问题，你们会怎么做呢？

了解 Facebook 活动对客户转化的增量影响吗？ (意思是，我想知道对整个客户转化率的实际影响，而不是你的 Facebook 业务经理在转化栏下报告了什么)。了解广告牌广告对你网站访问量的影响，花点时间，好好想想。

让我们回顾一下每个问题，看看为什么我们最喜欢的 A/B 测试不起作用:

你可以通过 A/B 测试你的 Facebook 活动来了解点击率或参与率等指标的增量影响，但是客户转化率稍有不同。 为什么？ 因为在你的整个测量框架下存在着一个以非完美的方式分配信用的归因模型。 因此，即使您正在运行 A/B 测试来了解客户转换，它也只是为您提供两个活动之间的相对比较。 它没有提供一个大局观，是否这项运动带来了增加的客户。 你不知道你是否只是简单地从其他渠道获取客户转化。

这个问题很简单。 首先，你没有任何直接的响应度量来衡量。 其次，您计划如何创建您的对照组和实验组？ 在一个经过广告牌的城市里，你是否打算蒙住一半人口的眼睛，以确保他们看不到广告牌，而让另一半人看到它？

如果您不能控制自己的人口，或者没有直接度量感兴趣度量的方法，那么 A/B 测试就无法工作。 尽管 A/B 测试是营销人员的面包和黄油，我们也看到它的局限性和需要额外的工具来帮助营销人员回答重要的问题。

面包和橄榄油: 地理实验

有时面包和黄油是不够的，你需要改变一下。 面包和橄榄油通常也很搭配。 那么什么是地理实验呢？ 简单来说，地理实验类似于 A/B 测试，但它使用地理位置来定义控制和处理组，而不是 userid 或 web cookies。 在地理实验中，地理区域分为处理组和对照组。 治疗组各区域接受市场营销干预，而对照组各区域保持现状。 营销干预持续一段时间，响应度量被观察到。 这个想法是为了检测在处理区域的响应度量是否有一个递增的提升。

让我们用上面的 Facebook 问题作为一个例子，假设我们正在美国进行广告活动。 首先，我们将美国的一些城市随机分为实验组和对照组。 就像 A/B 测试一样，随机化是实验设计的关键部分。 然后在 Facebook Business Manager 中，我们将活动设置为只在实验组中的城市中运行。 我们在一段时间内运行这个活动，通过比较实验组和对照组之间的差异，我们衡量获得的增量客户(归因模型的不可知性)。 例如，我们可能会看到这样的东西:

这个图是由一个 Google 开发的 R 包 GeoexperimentsResearch 生成的，该软件包实现了地理实验方法，并提供了一种简单的分析方法。 我将在第3部分中演示如何使用这个 R 包！ 在较高的层次上，我们这么解读这个图：这里 y 轴可以作为样本目标的客户转换率，x 轴可以分为三个不同的时期:

• 试验前期(2月5日至3月31日) : 活动开始前
• 测试期(4月1日ー4月28日) : 活动开始的时间
• 冷却期(4月29日ー5月5日) : 广告活动停止，但是这个广告可能会产生持续的影响

上面的图表说明了观察到的反应度量超时与预测事实相反。 我们将在第二部分详细讨论这个问题，但实际上，如果营销活动没有进行，我们会观察到什？中间的图表说明了观察和事实之间的差异是根据每日提升估计的。 最后，下图是我们在实验中观察到的整体提升效果。

我上面的解释过于简单化了的方法论。 为了真正了解发生了什么，你需要进入原理层。 地理实验背后的方法和数学不同于传统的 a / b 测试，但总体思路是相似的。 如前所述，我将把数学的详细解释留给本系列的第2部分。 我将在第2部分介绍的方法是来自 Google 的研究，所以如果你感兴趣，请先看一下。一种线性解释: 用回归模型了解对照区和实验区之间的互换性因子，然后用回归模型预测干预期间的反事实因子。 也许这句话对你来说毫无意义。 别担心，我会用简单的术语来分析这个问题！ 敬请期待！

我想花一点时间来强调地理实验是营销科学中另一个回归分析的应用案例。 如果你还没有读过我的文章“市场分析师在他们的分析工具包中应该有的一把利器” ，看看为什么回归分析是每个市场分析师应该在他们的工具包中有的一个利器。

地理实验绝不是为了取代传统的 a / b 测试而设计的。 它们服务于不同的目的，回答不同的问题，但两者同样重要。 正如他们所说，“没有放之四海而皆准的尺寸” ，你不应该只在面包里放黄油。 继续添加一些品种，橄榄油也很不错！

挑战和局限性

到目前为止，我可能已经向你展示了这个新工具有多么伟大，但是，和其他工具一样，地理实验也有它自己的局限和挑战:

• 额外开销: 根据你如何设置你的广告活动，设置一个地理实验可能会涉及更多的工作。 您可能需要重组您现有的数字营销帐户的方式，让您的目标活动在一个城市 / 地区的水平，以创建您的实验组和对照组。
• 平台: 并不是所有你在上面做广告的营销平台都允许你在城市 / 地区层面上进行目标营销活动。 例如，你可以在城市 / 地区层面上投放 Facebook 付费广告，但在播客中投放广告时，你就没有这种能力。
• 预算: 根据你的业务，活动和许多其他因素，你需要的活动预算将大不相同。 对于那些刚刚开始从事数字营销的公司，我现在还不会关注地理实验。 如果你的业务是成熟的，你正在寻找优化，那么我认为它是一个很好的适合。
• 控制变量: 你能控制发生在不同城市的营销活动吗？ 在特定的城市，你的组织是否有其他的营销计划可能与你的地理实验重叠？

最后，一定要记住为正确的工作选择正确的工具。 没有放之四海而皆准的办法！

原文作者： Neha Bhargava，Dan Chapsky 译者： Harry Zhu 英文原文地址:
https://artofmarketingscience...

作为分享主义者(sharism)，本人所有互联网发布的图文均遵从CC版权，转载请保留作者信息并注明作者 Harry Zhu 的 FinanceR专栏:https://segmentfault.com/blog...，如果涉及源代码请注明GitHub地址：https://github.com/harryprince。微信号: harryzhustudio
商业使用请联系作者。

参考资料

• https://artofmarketingscience...
• https://www.kellogg.northwest...