2023 年，金融公司的生成式 AI 聊天机器人误给投资建议违反合规规定，引发监管审查；同时，AI 驱动的医疗总结工具误报患者状况，引发严重伦理问题。随着企业快速采用生成式 AI（GenAI），这些事件凸显出关键问题：在没有人工监督的情况下，AI 生成的内容能被信任吗？

• 麦肯锡 2024 年报告称 65%的组织已在至少一个关键功能中使用 GenAI，其速度和规模空前，但也带来风险，如生成的内容可能误导、有偏见或事实错误。
• 研究测试 GPT-4 在 27 个现实世界标注任务中，在复杂、上下文相关场景下性能显著下降，三分之一任务中的错误会引入偏差和不准确，在高风险领域如医疗、金融和监管合规中不可接受。
• 人类监督很重要，AI 生成内容虽高效但缺乏上下文、伦理推理和对监管细微差别的理解，可能导致严重后果，如消费者怀疑在线内容真实性，Meta 已在平台上引入 AI 生成内容标签，但仅靠透明不够，企业需建立保障措施。
• 信任校准是确保 AI 生成内容可靠的结构化方法，可根据风险水平、受众影响和 AI 模型可靠性对 AI 生成内容进行分类并确定监督策略，如高风险内容需人工详细审查，低风险内容可由 AI 运行并定期审计，同时微调 AI 参数不能消除根本限制，需有人类监督机制，且要避免分析瘫痪，采用 AI 监测仪表盘。
• 在内容 moderation 和合规、AI 生成产品和营销内容、AI 驱动的客户支持和 sentiment analysis、AI 在受监管行业等四个领域，AI 监督很重要，需采取相应策略，如使用置信度评分、事实核查自动化、设置置信度阈值、实施强化学习反馈循环等。
• 部署 AI 前需检查六个方面，包括定义目标和风险、选择合适模型、建立人工验证集、测试性能、实施监督机制、设置部署标准，通过嵌入结构化评估和监督确保 AI 既高效又可信。
• 问题不是能否信任 AI，而是如何构建值得信任的 AI，组织应设计 AI 监督框架，引领负责任的 AI 采用，在 AI 驱动的转型中，成功来自负责任地使用 AI，而非快速部署。