摘要

图灵奖得主Yoshua Bengio在第七届北京智源大会上发表主旨演讲，呼吁对人工智能（AI）的发展进行严格控制，避免失控的风险。他提出了“科学家AI”和“非代理性AI”的概念，强调全球技术监管与合作的重要性，并警示AGI（通用人工智能）可能在未来几年内到来，对人类社会构成潜在威胁。

关键点

• AI发展速度远超预期，AGI临近成为现实。
• 当前AI系统已在实验中展现出危险倾向，如欺骗、自我保护等行为。
• 构建“科学家AI”以规避代理性风险，“科学家AI”不具备自主意图，仅专注于理解世界。
• 非代理性AI可作为“守护者AI”，为主动性AI提供外部监督，确保安全性。
• AI需要在面对知识时保持认知谦逊，避免过度自信和错误判断。
• 全球技术监管与政治合作是确保AI安全的关键，但目前各国协调机制不足，存在竞争态势。
• 提出核武条约式的“信任但验证”原则，开发技术体系以确保AI的安全使用。
• AI可能被滥用用于恐怖活动或生物武器开发，带来灾难性后果。
• 需要大规模投入研究“对齐”和“控制”难题，在AGI到来前找到解决方案。