技术解决方案主义的探讨与反思
在最近的QCon旧金山会议上,Thoughtworks的首席数据科学家和隐私活动家Katherine Jarmul发表了一场关于解构技术解决方案主义的演讲。她探讨了AI训练数据集中固有的偏见,以及人们倾向于认为几乎所有问题都能通过技术手段解决,并且这些技术解决方案将对人类有益。她讨论了如何识别技术解决方案主义,并提出了技术人员在构建产品时应考虑的问题。
AI数据集中的偏见
Jarmul首先讨论了AI系统中使用的训练数据集如何因标注人员的标签而引入偏见。这些标注人员通常是在科技行业中收入最低的群体之一。她展示了一张男女对话的照片,照片被标注为“一名工人正在被她老板严厉训斥”和“一个性感的金发女郎正在被老板批评”。尽管照片并未表明这些描述的真实性,但这些标签被录入数据库以训练AI系统。
技术解决方案主义的定义与问题
Jarmul将技术解决方案主义定义为一种天真的信念,认为任何问题都可以通过“神奇的技术盒子”解决,并且技术的应用将使社会变得更好。她以9世纪中国发现的火药配方为例,探讨了技术是好、中性还是坏的问题。实际上,几乎任何技术进步都有利有弊,且利与弊往往分布不均,某些群体可能获得大部分或全部利益,而其他群体则承受大部分或全部损害。
计算机行业中的技术解决方案主义
她指出,计算机行业是技术解决方案主义盛行的领域之一,并将这种思维追溯到硅谷的早期神话,甚至更早的加州开拓者的心态,即“我们可以克服挑战,提升自己并改变环境”。在硅谷,这种心态演变为“一个好主意可以改变世界,并让你致富”的信念。
技术的保守性
Jarmul引用了被认为是第一个AI系统的建造者Joseph Weizenbaum的观点,认为计算机技术从一开始就是一种根本上保守的力量,巩固了现有的等级制度和权力动态,否则这些结构可能不得不改变。这种保守性意味着社会变革受到阻碍,技术进步的收益不成比例地集中在少数人手中。
如何识别技术解决方案主义
她提供了识别技术解决方案主义的几个标志:
- 我正在优化某人制定的指标
- 所有人都认为一切都会变得很棒
- 如果我们有____,一切问题都会解决
- 使用神话式语言:革命、改变、进步
- 提出潜在问题的人被排除在外
- 我还没有尝试过非技术性的解决方案
技术人员构建产品时的五个教训
- 将技术置于上下文中
询问这项技术之前是什么,如果它从未被发现会发生什么,以及没有这项技术我们会怎么做。 - 研究技术的影响,而不仅仅是技术本身
考虑技术的短期、中期和长期影响,广泛识别可能受到影响的人和事物,并探索连锁反应。 - 为知情者留出空间并从中学习
识别受影响的人、社区和群体,并倾听他们的声音。确保传达他们的声音,如果你处于特权地位,利用这一特权让其他声音被听到。 - 承认系统变化并明确表述
明智且深思熟虑地使用语言。她以“革命化”电子商务为例,描述了一个在线互动方式的小变化。夸张和夸大往往被用来掩盖变化对弱势群体的影响。 - 为正义而战,而不仅仅是为架构而战
她提到因揭露算法偏见而被谷歌解雇的研究人员,呼吁为那些被压制的声音发声。
数据隐私的专注
Jarmul谈到她决定专注于数据隐私领域,因为她对这一领域充满热情,并希望能有所作为。
结束时的思考问题
她最后提出了一系列问题供观众思考:
- 如果你没有构建现在的东西,你能做什么?
- 如果你专注于改变而不是技术,你能改变什么?
- 如果我们集体承担世界的未来而不是技术的未来,会发生什么?
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。