主要观点：

• 20 世纪 60 年代通过吹特定口哨可让 AT&T 付费电话免费通话，后有多种相关黑客手段，因数据和控制用同一通道难以根治，直到 AT&T 重新设计电话交换机采用信令系统 7 才解决。
• 混合数据与命令是计算机安全漏洞的根源，如缓冲区溢出攻击、SQL 注入攻击等，提示注入是攻击大型语言模型（LLM）的类似技术，各种 LLM 应用都易受攻击，个别攻击易防但类攻击无法阻止，问题根源是数据和命令混合。
• LLM 数据影响代码且可自我修改，这是其强大特征也是提示注入的原因，防御是零碎的，如创建抗攻击的 LLM、清理输入等，但仍难以完全信任 LLM，在构建 AI 系统时需平衡其力量与风险。

关键信息：

• 20 世纪 60 年代电话黑客 John Draper 用 Captain Crunch cereal 盒子里的塑料口哨使付费电话免费通话。
• 信令系统 7 将数据和控制分开，成为电话系统标准。
• 提示注入攻击 LLM 的各种例子，如让汽车经销商聊天机器人低价售车等。
• LLM 应用易受多种形式的提示注入攻击，包括在训练数据、图像、视频等中嵌入恶意命令。
• 防御 LLM 攻击的措施，如创建抗攻击的 LLM、使用访问控制机制等，但仍难以完全信任。

重要细节：

• AT&T 曾改变付费电话信号音以应对黑客手段。
• 缓冲区溢出攻击是发送过长数据字符串变成计算机命令，SQL 注入攻击是将恶意代码混入数据库条目。
• 个别提示注入攻击被发现和公开后容易预防，但类攻击无法阻止。
• 工程师倾向使用 LLM 因其通用但带来安全风险，需平衡其力量与风险。
• 文章最初发表于《ACM 通讯》，5 月 19 日添加 Slashdot 线程，有相关标签和评论等。