Dev Proxy v0.28 引入了用于 LLM 使用和成本分析的遥测功能

.NET 团队发布 Dev Proxy 版本 0.28

  • 引入新功能提升可观测性、插件扩展性及与 AI 模型集成。
  • 核心功能是OpenAITelemetryPlugin,可追踪应用内 OpenAI 和 Azure OpenAI 语言模型请求的使用情况和预估成本。

    • 插件拦截请求并记录使用的模型、令牌计数等细节。
    • 支持更深入了解应用与大语言模型的交互,可通过 OpenLIT 可视化以理解使用模式和优化相关费用。
  • 支持Microsoft’s Foundry Local,上月 Build 会议引入的高性能本地 AI 运行时栈,可将云 LLM 调用重定向到本地环境以降低成本和实现离线开发。可配置 Dev Proxy 使用本地模型,在代理配置文件的 languageModel 部分指定本地模型和端点。
  • 对于.NET Aspire 用户,提供预览版 Dev Proxy 扩展,简化与 Aspire 应用集成,可本地或通过 Docker 运行且设置简单,提高了可移植性和配置过程的简便性。
  • 扩展对 OpenAI 负载的支持,从之前仅限文本补全扩展到更广泛的补全类型,增加与 OpenAI API 的兼容性。
  • 提升TypeSpec 生成,插件支持改进的 PATCH 操作生成,使用 MergePatchUpdate 明确定义合并补丁行为。
  • Dev Proxy 支持所有配置文件中的 JSONC(带注释的 JSON),方便添加内联文档和注释以辅助团队协作和长期维护。
  • 日志和模拟方面进行了并发改进,确保并行请求的日志准确分组,更有效地追踪请求行为。
  • 此版本包含两个重大变更:移除GraphConnectorNotificationPlugin,因通过 Microsoft Teams 部署 Graph 连接器已弃用;将 devproxy jwt create命令中的--audience标志重命名为--audiences,短别名--a不变。
  • CRUD API 插件更新了改进的 CORS 处理和一致的 JSON 响应,增强了在客户端应用中的可靠性。
  • Dev Proxy Toolkit for Visual Studio Code更新到 0.24.0 版本,引入新代码片段和命令,包括对 OpenAITelemetryPlugin 的支持、改进的 Dev Proxy Beta 兼容性和更好的进程检测。感兴趣的读者可在官方仓库查看完整发布说明以获取完整功能、变更和指导概述。
阅读 60
0 条评论