主要观点：人工智能（AI）和机器学习（ML）通过让系统从数据中学习并为预测和生成性 AI 用例做出智能决策来改变业务运营，其两个关键组件是模型训练和推理。模型训练使用历史数据构建并改进模型，模型推理是使用训练好的模型基于新的未见过的数据进行预测或生成输出的过程。文中还比较了远程和嵌入式推理等不同方法，探讨了使用 Apache Kafka 和 Flink 的数据流如何增强这些预测的性能和可靠性，包括在预测性 AI 和生成性 AI 中的应用等。

关键信息：

• AI 和 ML 可实现系统从数据中学习和决策，有模型训练、部署和推理等流程。
• 模型推理有实时和批量模式，远程推理需网络通信易有延迟等问题，嵌入式推理低延迟但资源要求高。
• Google 论文指出 AI/ML 系统中存在隐藏技术债务，运营和分析部门存在阻抗不匹配。
• 许多行业有模型推理的用例，如欺诈检测、预测性维护等，数据流式处理平台如 Apache Kafka 和 Flink 可增强模型推理能力，在预测性 AI 和生成性 AI 中都有重要作用。

重要细节：

• 模型训练在资源密集的长运行批量过程中进行，可通过在线或增量学习完成。
• 远程推理通过 RPC、API 或 HTTP 向模型服务器请求响应，有集中管理等优点但有延迟等缺点。
• 嵌入式推理将模型嵌入流处理应用中，低延迟、离线可用等，但资源要求高、部署复杂。
• Kafka 和 Flink 用于模型推理有低延迟、可扩展性、健壮性等优点，可用于远程和嵌入式推理。
• 预测性 AI 架构通常采用批量处理，数据流式可增强预测及时性，如在制造和金融服务中的应用。
• 生成性 AI 架构更复杂，需实时上下文数据，数据流式至关重要，如在航空客户服务中的应用。
• 数据流式技术在模型训练和推理中都起重要作用，可实现实时低延迟预测等。