主要观点：传统威胁建模方法不适用于 AI 系统，需引入关键问题指导其威胁建模过程，该方法反映了从自身实践中获取的经验和见解，以更好地理解和保障 AI 技术。

关键信息：

• 标准威胁建模的不足：将 AI 技术视为普通技术易忽视风险，许多 AI 威胁建模工具仅提供清单而未深入分析系统，导致盲点和虚假安全感，AI 系统威胁建模需更深入了解数据等方面。
• 理解模型：清晰把握 AI 系统数据流对识别威胁至关重要，要理解模型设计、数据、目标受众、基础设施等，还需考虑不同主体的风险，如模型开发者、所有者、使用者等。
• 数据的重要性：理解数据性质可避免隐私泄露等问题，要关注训练等各阶段数据，如数据来源、处理方式等，可利用相关指南进行威胁建模。
• 部署与基础设施：保障 AI 系统基础设施安全需应用常规安全实践，关注模型部署、访问、基础设施依赖等方面，复杂的 ML 基础设施需详细检查各组件交互。
• 跳出固有思维：将 AI 安全视为普通应用安全易忽视特定威胁，应关注模型的意外行为，如误分类、产生不良输出等，保持威胁模型的适应性和前瞻性。
• 考虑安全和伦理影响：在威胁建模中应注重减轻危害，尤其对于直接处理用户数据的 AI 系统，要考虑偏见、意外后果等安全问题，遵循相关论文提出的系统性方法。

重要细节：

• 文中列举了多种 AI 威胁建模工具，如IriusRisk、PLOT4ai、MITRE ATLAS等。
• 详细介绍了 Wally 工具用于映射代码中的关键数据处理功能，以及通过访谈数据科学家和工程师来理解系统架构。
• 提及 NIST 的数据-centric 指南SP 800-154用于 AI 威胁建模。
• 以 Fullstory 的 Session Summaries 等功能为例，说明在威胁建模中的具体实践和考虑因素。
• 介绍了 Microsoft 的Threat Modeling AI/ML Systems and Dependencies指南的作用。
• 引用 Heidy Khlaaf 的论文Toward Comprehensive Risk Assessments and Assurance of AI-Based Systems强调安全的重要性。

最后强调威胁建模对于 ML 和 AI 系统既是艺术也是科学，Fullstory 的方法体现了对安全的持续理解和适应。