AI黑客领域中的间接提示注入攻击

在AI黑客的初期领域，间接提示注入已成为诱导聊天机器人泄露敏感数据或执行其他恶意操作的基本手段。尽管Google的Gemini和OpenAI的ChatGPT等平台的开发者通常能够修补这些安全漏洞，但黑客们不断找到新的方法来绕过这些防护措施。

间接提示注入的基本原理

间接提示注入是指通过大语言模型（LLMs）中的指令，利用聊天机器人对指令的过度信任，使其执行恶意操作。这些指令可能隐藏在用户输入的电子邮件或共享文档中，聊天机器人在处理这些内容时，会不加区分地执行其中的指令，即使这些指令并非用户有意提供的。

延迟工具调用的新攻击方式

研究员Johann Rehberger展示了一种新的攻击方式，即“延迟工具调用”，成功绕过了Google在Gemini中设置的防护措施。这种攻击通过在用户执行某些操作后触发恶意指令，使得聊天机器人在用户不知情的情况下执行敏感操作，例如搜索用户账户中的敏感数据并将其泄露。

长期记忆的植入与滥用

Rehberger的攻击还展示了如何通过间接提示注入在聊天机器人中植入长期记忆。这些记忆会在未来的所有会话中被自动调用，导致聊天机器人基于错误信息或指令进行操作。例如，攻击者可以通过共享文档在Gemini中植入虚假记忆，使得聊天机器人永久存储这些错误信息。

开发者的应对措施

开发者主要采取了两类应对措施：一是限制不受信任数据可以调用的指令类型；二是限制聊天机器人自动修改用户长期记忆的能力。然而，这些措施并未从根本上解决间接提示注入和延迟工具调用的问题，攻击者仍能通过巧妙的方式绕过这些限制。

Google的回应与风险评估

Google对Rehberger的发现进行了评估，认为该攻击的风险和影响较低。Google指出，攻击的成功依赖于用户被诱导处理恶意文档，且Gemini的记忆功能对用户会话的影响有限。尽管如此，Rehberger仍对Google的评估提出质疑，认为长期记忆的污染可能导致AI向用户提供错误信息或隐藏某些信息。

总结

间接提示注入和延迟工具调用是AI黑客领域中的核心攻击手段，尽管开发者不断采取措施修补漏洞，但攻击者仍能找到新的方法绕过这些防护。长期记忆的植入使得攻击者能够在聊天机器人中持久地植入虚假信息，进一步加剧了安全风险。开发者需要从根本上解决这些安全问题，而不仅仅是应对症状和效果。