谷歌通过新的设备端 GenAI API 将 Gemini Nano 引入 ML Kit

主要观点:新的 GenAI APIs 被添加到 ML Kit 中,使开发者能在 Android 应用中使用 Gemini Nano 进行设备端推理,支持多种功能如总结、校对、改写和图像描述等,运行在设备端可保证数据不离开本地设备且无云成本,通过构建专用 API 栈实现性能提升,支持流式和非流式工作流,使用时会自动下载所需模型,开发者可控制下载过程,相关 API 在特定平台上可用,有官方演示 app 和文档供开发者起步。

关键信息:

  • 支持的功能:总结文档、精炼消息、生成标题等。
  • 运行方式:数据在本地设备处理,无云成本。
  • API 构建:以 Gemini Nano 为基础,包含 LoRA 适配器模型等。
  • 性能衡量:通过定制基准分数评估。
  • 工作流:支持流式和非流式,示例代码展示总结 API 工作流程。
  • 设备支持:在优化的 MediaTek Dimensity、Qualcomm Snapdragon 和 Google Tensor 平台的 Android 设备上可用,如 Pixel 9 系列等。
  • 起步资源:官方演示 app 和文档。
阅读 184
0 条评论