主要观点：缓存是提升云原生应用包括现代生成式 AI 应用性能和成本效率的重要技术，可减少延迟和降低令牌消耗成本，本文讨论了使用 AI 工具的新兴编码实践、隐藏成本及降低令牌生成成本的缓存技术。
关键信息：

• 开发中利用 copilot 工具自动化重复任务，vibe 编码依赖 AI 生成代码建议但长期成本可能更高。
• AI 工具使用的成本影响大，如交互时的令牌生成成本，LLM 上下文窗口导致部分请求成本增加，过度依赖 AI 系统有危险。
• 降低令牌生成成本的缓存技术包括：提示缓存（减少发送到 API 的令牌数）、请求缓存（先查自身缓存再处理请求）、语义缓存（根据语义返回缓存响应）、会话级缓存（每个开发者会话有独立缓存）、输出缓存（存储输入和输出的缓存）。
  重要细节：
• Copilot 常用交互模式有代码生成、 bug 修复等。
• 如从大文件中提取小部分内容可能因系统设计需发送全文档而增加令牌成本。
• 不同缓存技术的具体作用和适用场景，如 OpenAI 对提示缓存的说明等。
• 各缓存技术可单独或组合使用，理想缓存方法因使用需求等而异。