Vertex AI SDK for Firebase 简介

Google 最近推出了 Vertex AI SDK for Firebase，目前处于测试阶段。该 SDK 使开发者能够创建超越简单聊天模型和文本提示的应用程序。Google 还发布了一个 Colab，帮助开发者了解如何将 Vertex AI 集成到他们的应用中。

Colab 内容概述

新的 Colab 涵盖了多个关键主题，包括：

• 提示设计
• 如何设置 Firebase 项目以使用 Vertex AI
• 配置 Android Studio 项目
• 使用 Kotlin 将 Vertex AI 集成到代码中

提示设计与 Vertex AI Studio

Google 工程师 Thomas Ezan 解释，开发者可以使用 Vertex AI Studio 这一基于云的工具来快速原型化和测试与 Gemini 模型的提示。

系统指令（System Instructions）

Vertex AI 的一个特性是 系统指令，它使开发者更容易定制其应用的行为。系统指令作为“前言”在用户提示之前加入，能塑造模型的行为以符合特定需求和场景。

开发者可以使用系统指令预定义所需的输出风格或语调、角色（例如“像对五岁孩子一样解释”）、任务目标或规则（例如“返回代码片段而不做进一步解释”），以及与应用用户相关的任何额外上下文。

系统指令在初始化时设置，如下所示：

val generativeModel = Firebase.vertexAI.generativeModel(
  modelName = "gemini-1.5-flash",
  ...
  systemInstruction = 
    content { text("You are a knowledgeable tutor. Answer the questions using the socratic tutoring method.") }
)

响应 MIME 类型

SDK 还允许开发者为生成的输出指定 responseMimeType，这在生成 JSON 输出时特别有用，可以排除任何不需要的非 JSON 内容。

Gemini API 的多模态能力

将 Gemini API 集成到移动应用中不仅限于提供对话界面。Gemini 可以处理多种输入，包括图像、音频和视频。这意味着开发者可以生成图像字幕、总结音频文件、描述视频场景等。

扩展模型能力的功能

Ezan 强调的另一个强大功能是创建函数以扩展模型的能力。例如，一个函数可以从 SQL 数据库中获取数据并将其添加到提示上下文中。或者，开发者可以定义一系列工具，模型可以使用这些工具来生成输出。

支持的编程语言

所有这些功能都得到了 Firebase 中 Vertex AI 的良好支持，开发者可以使用他们偏爱的编程语言，包括 Swift、Kotlin、Flutter 和 JavaScript。

直接访问 Gemini API

Vertex AI in Firebase SDK 允许 Android 和 iOS 开发者直接从他们的应用程序访问 Gemini API，而无需编写 Python、Java 或 Go 等中间后端服务层。