主要观点：AI 代理在各领域应用广泛，保持模型准确、相关且与用户需求变化一致是关键问题，强大预训练模型需持续调优，敏捷微调应运而生，它是反馈驱动的过程，能减少模型更新时间并保持准确性，还包括数据驱动的冲刺规划等核心组件，不同领域的特定微调有不同效果，如金融、科学等领域，需将嵌入反馈回路融入代理行为，整合 RLHF 和 RFT 到敏捷管道，用除准确性外的综合用户指标衡量成功，同时面临数据漂移等挑战。
关键信息：

• 敏捷微调是反馈驱动的迭代过程，与 AI 调优结合能减少模型更新时间和保持准确性。
• 核心组件包括数据驱动的冲刺规划、特征标志和金丝雀发布、交叉反馈等。
• 不同领域的特定微调效果显著，如金融、科学等领域。
• 要将嵌入反馈回路融入代理行为，用多种指标衡量 AI 成功。
• 面临数据漂移、过拟合等挑战及相应解决办法。
  重要细节：
• 敏捷实践注重冲刺、迭代等，与 AI 微调结合形成动态过程。
• 具体领域如金融在 SEC filings 中比较通用和域调模型，细调嵌入模型更准确。
• 科学推理中应用 RFT 用少量域特定示例提升性能。
• Azure AI Foundry 中 Decagon AI 调优 GPT-4o-mini 提高准确性降低延迟。
• AI 代理应配备实时反馈回路，如 prompt-feedback 分析等。
• 现有敏捷管道整合 RFT 和 RLHF 技术。
• 除准确性外的综合指标能检测 unseen 问题。
• 以 Chase Finance Q&A 助理为例说明优化效果。
• 挑战包括数据漂移、过拟合、用户信任减弱和复杂性等及相应解决办法。