评估代码行之外的人为因素

  • PL 研究的部分内容:PL 研究包括构建编程科学,如程序正确性科学(精确声明关于健全性等,用证明证明)和程序性能科学(精确比较相对速度等,用基准测试证明),还关心程序可用性,如编译器追求快速编写正确程序等,但其缺乏相应的人为因素科学来处理可用性主张,论文常做不精确的可用性主张且用弱方法证明。

    • 用户研究并非唯一答案:已有文章倡导将人机交互(HCI)领域的想法引入 PL 研究,如用户研究等,但 PL 研究中这些技术常不实用,如需伦理委员会批准、招募参与者难、教学时间长、测试概念重要方面难等,Raft 共识协议的例子表明用户研究虽消耗大量时间精力但结果肤浅,我们需要更好的可用性评估标准。
    • 使“可用性”更精确:从词汇开始,明确区分“能在现实环境中使用”和“容易被人使用”,用更精确的词汇描述系统更易用的原因,如减少过早承诺或扩散性等,还需用预期受众限定大多数可用性主张,同时要避免使用“直观”和“复杂”等模糊词汇。
    • 超越代码行数思考:PL 研究常依赖代码行数(LOC)作为系统人性化属性的代理,如比较不同语言的代码行数来证明可用性,这是定性评估不足的表现,PL/SE/系统研究人员应拥抱定性评估,基于设计原则和案例研究进行分析,如 John Backus 的论证,还应发展共享的定性评估标准,如一些优秀的 PL 论文所体现的。
    • 改进可用性指标:LOC 是可用性的低质量代理,研究人员应开发更好地映射到人类体验的新可用性指标,如提出用对数尺度(dLOC)来报告代码大小,以减少对边际 LOC 差异的依赖,还应探索和验证更多可用性指标,如比较程序实现规格说明的证明长度等,以及借鉴其他创造性的系统可用性指标。
  • 行动呼吁:写论文时要具体,用认知维度等,评估时先考虑定性论证,若用代码行数可用对数尺度,审稿时要注重细节和公平,若想改进可用性评估可联系作者或招募 PhD 学生。作者 Will Crichton 是布朗大学即将上任的助理教授,其研究结合编程语言理论和认知心理学。此博客观点仅代表作者,不代表 ACM SIGPLAN 或 ACM。
阅读 8
0 条评论