主要观点：随着 AI 模型的频繁发布，ML 工程师需用不同模型做全面实验选最佳，这是艺术与方法的结合，修改底层提示是关键挑战，不同模型在多个方面有差异，如 tokenization 、context window 、instruction following 、formatting preferences 、model response structure 等，以从 OpenAI 迁移到 Anthropic 为例说明了各方面差异及应对，结论是迁移需谨慎规划等，最后提供相关资源。

关键信息：

• AI 模型发布频繁，ML 工程师需选最佳模型，这具挑战性。
• 不同模型在多个方面有差异，如 tokenization 策略影响输入长度和成本等。
• 以从 OpenAI 迁移到 Anthropic 为例，说明各方面差异，如 Anthropic 模型 tokenizer 更冗长等。
• 模型迁移需谨慎规划、测试和迭代，投资评估框架等。

重要细节：

• 各模型家族有自身优势和局限，如不同 tokenization 策略等。
• 不同模型对 context window 处理不同，如 Sonnet - 3.5 与 GPT - 4 。
• 模型对 formatting preferences 敏感，如 OpenAI 模型偏爱 markdown ，Anthropic 模型偏爱 XML 标签。
• OpenAI GPT - 4o 模型倾向生成 JSON 结构输出，Anthropic 模型则更遵循用户提示指定的结构。
• 迁移需精心规划测试迭代，投资评估框架等以确保输出质量和效率。