快速了解统计结论是否可信--统计检验方法速查手册

统计是用户体验行业设计师和研究者最不愿意考虑的事情。但当我们做定量分析时，判断假设真假不能只凭简单的数据比较。通过统计学的分析，可以帮助我们得到真正可信的结论。

其实对于常见的检验问题，都有比较成熟的统计学检验方法。下文对检验方法进行总结，我们大可在碰到实际问题时，根据自己分析问题的类型，入了解自己所需的办法。

分析连续型数据

• 比较不同组数据（eg. 获得两个不同版本功能评分数据，比较两个版本评分是否有存在显著差别）

  • 每组用户不同

    • 多组用户

      • 方差分析或多重双样本T检验

    • 2组用户

      • 双样本T检验

  • 每组用户相同

    • 多组用户

      • 方差分析或多重配对T检验

    • 2组用户

      • 配对T检验

• 将数据与基准进行比较（eg. 将新版本功能用户评分数据，比较业内已知平均评分是否存在显著差异）

  • 时间型数据

    • 单样本t检验（log）

  • 其他类型数据

    • 单样本t检验

• 判断数据水平（eg. 判断新版本功能用户评分数据大概水平是怎样）

  • 时间型数据

    • 样本大于25

      • 中位数置信区间

    • 样本小于25

      • t置信区间（log）

  • 其他类型数据

    • t置信区间

分析离散型2进制数据（eg. 完成率/转换率）

• 多组用户数据比较

  • 每组用户不同

    • 多组用户

      • 大样本

        • 卡方检验

      • 小样本

        • 比例差异的wald检验

    • 2组用户

      • N-1双比例检验 和 Fisher精度检验

  • 每组用户相同

    • 多组用户

      • 配比比例差异的wald校正置信区间

    • 2组用户

      • McNemar精确检验

• 将数据与基准进行比较

  • 大样本

    • 单样本二项式

  • 小样本

    • 单样本z检验

• 获得数据水平

  • wald校正置信区间

  在确定需要使用的检验方法后，进一步学习可以参考wikipedia、百度经验或相关书籍

本文主要内容来自Jeff Sauro的《用户体验度量--量化用户体验的统计学方法》