Confluent Cloud for Apache Flink 正式发布

上个月，Confluent 宣布其完全托管的实时数据处理服务 Confluent Cloud for Apache Flink 正式发布（GA）。该服务支持在亚马逊云服务（AWS）、谷歌云和微软 Azure 上运行，旨在创建高质量、可重用的数据流。

Apache Flink 的背景与流行度

Apache Flink 是一个广泛使用的流处理框架，已被 Airbnb、Uber、LinkedIn 和 Netflix 等公司采用。2023 年，该框架的下载量接近 100 万次，显示出其极高的流行度。Confluent 决定为 Apache Flink 构建云端服务，使用户能够专注于业务逻辑，而无需担心运维问题。此次 GA 版本是在去年的开放预览之后发布的。

主要功能与优势

1. 与 ANSI SQL 标准的集成
   Confluent 简化了 Flink 与 ANSI SQL 标准的集成，使实时数据探索和应用开发更加便捷。开发者可以通过 Confluent 的 CLI（SQL Shell) 和 SQL Workspaces 快速编写和运行 Flink SQL 查询，支持自动补全和图形界面，提升工作流管理效率。
2. 数据门户与 Flink Actions
   Confluent 的 Data Portal 和最新推出的 Flink Actions 提供了自助式数据探索和预构建的流处理转换功能，降低了用户使用 Flink 的门槛，无需深厚的技术背景即可利用其强大功能。
3. 全托管与无服务器架构
   该服务采用无服务器架构，支持弹性自动扩展、自动更新和按使用量计费，确保资源高效利用和高可靠性。自动更新减少了因软件过时或漏洞导致的停机或数据丢失风险，而自动扩展则确保在高峰使用期间不会出现性能瓶颈或故障。
4. 与 Kafka 的集成与增强功能
   Confluent 还增强了与 Kafka 的集成，优化了元数据管理和安全性，进一步简化了操作流程并确保数据完整性。

未来功能：AI 模型推理

Confluent 计划为 Apache Flink 服务推出 AI 模型推理功能，旨在简化数据清理和处理任务，加速 AI 和机器学习应用开发。该功能允许组织使用熟悉的 SQL 语法直接与 AI/ML 模型交互，减少对专用工具和语言的依赖。

• 功能亮点
  用户可以通过简单的 SQL 语句调用远程模型端点（如 OpenAI、AWS Sagemaker、GCP Vertex 和 Azure），并在单一平台上编排数据清理和处理任务。
• 实际应用场景
  例如，数据工程师可以构建个性化电商推荐的数据管道，实时将用户交互和产品数据输入到 LLM 模型中进行推理，生成基于用户行为的个性化推荐，整个过程完全通过 SQL 管理，无需切换上下文或依赖外部团队。

Freight Clusters：高吞吐量用例的自动扩展集群

Confluent 还将推出名为 Freight Clusters 的新功能，专为高吞吐量用例设计，具有灵活的延迟要求。该功能通过无缝调整资源以适应需求，无需手动干预，进一步提升了成本效率。

总结

Confluent Cloud for Apache Flink 的正式发布为用户提供了一个全托管、无服务器的流处理平台，集成了 ANSI SQL 标准、自助数据探索和预构建转换功能，简化了实时数据处理和应用开发。未来推出的 AI 模型推理和 Freight Clusters 功能将进一步增强其能力，为 AI/ML 应用和高吞吐量场景提供更高效、灵活的解决方案。