Imagen 3 通过 Vertex AI 在 Firebase 中预览发布

主要观点

Google 的先进生成式 AI 图像生成模型 Imagen 3 现已通过 Vertex AI 在 Firebase 中提供预览版本，支持通过 Kotlin 和 Swift SDK 无缝集成到 Android 和 iOS 应用中。

关键信息

1. Imagen 3 模型：

   • 与视频生成模型 Veo 一同发布，旨在生成更逼真、细节更丰富且瑕疵更少的图像。
   • 在 Vertex AI 平台中提供，支持通过 Firebase SDK 访问。

2. 模型选择：

   • Imagen 3：标准模型，注重图像质量。
   • Imagen 3 Fast：优化速度，适用于低延迟场景。

3. 图像生成功能：

   • 支持从自然语言提示生成多种格式、分辨率和风格的图像。
   • 支持在图像中渲染文本。
   • 可通过 generationConfig 参数配置生成图像的细节，如生成数量、宽高比、图像格式、压缩级别等。

4. 代码示例：

   • 在 Swift 中初始化 Imagen 3 模型并生成图像：

     import FirebaseVertexAI
     let vertex = VertexAI.vertexAI()
     let model = vertex.imagenModel(modelName: "imagen-3.0-generate-002")
     let config = ImagenGenerationConfig(
       negativePrompt: "frogs",
       numberOfImages: 2,
       aspectRatio: .landscape16x9,
       imageFormat: .jpeg(compressionQuality: 100),
       addWatermark: false
     )
     let response = try await model.generateImages(prompt: "An astronaut riding a horse")
     let uiImages = response.images.compactMap { UIImage(data: $0.data) }

5. 安全设置：

   • 支持通过 safetyFilterLevel 和 personFilterLevel 设置过滤生成内容的安全性。

6. 高级功能：

   • 图像编辑与定制：支持基于掩码的编辑、图像放大、数字水印验证、预定义风格等。
   • 提示增强：可自动优化用户提供的提示以包含更多细节。

重要细节

• 当前限制：

  • 在 Firebase 中的 Imagen 3 暂不支持图像编辑、自定义和提示增强功能。
  • SDK 尚不支持禁用提示增强功能。

• 预览状态：

  • Imagen 3 在 Firebase 中的支持仍处于公开预览阶段，Google 计划扩展其功能，但不保证向后兼容性。

总结

Imagen 3 通过 Vertex AI 在 Firebase 中的预览发布，为开发者提供了强大的图像生成工具，支持多种配置和安全设置。尽管部分高级功能尚不可用，但 Google 承诺未来将进一步扩展其能力。