人工智能研究正在朝着人类或超人类智能机器的长期目标迈进。但是，如果它以目前的形式成功，那将很可能给人类带来灾难性的后果。原因是AI的“标准模型”要求机器遵循人类指定的固定目标。我们无法完全正确地指定目标，也无法预测或防止追求错误目标的机器在具有超人能力的全球规模上运行时所造成的危害。我们已经看到了诸...