主要观点：公司为实时决策利用大数据，倾向快速找到合适架构，中小企业使用云服务提供商有挑战，Apache Kafka 和 Apache Flink 结合可提供低延迟可靠数据管道，以支持制造业预测性维护等用例，需在本地设置 Kafka 和 Flink 并设计数据管道，将机器学习模型与 Flink 集成，利用 Grafana 和 Prometheus 进行实时指标评估和系统跟踪。
关键信息：

• 公司利用大数据进行实时决策，多公司选择自建基础设施，Kafka 和 Flink 组合适用。
• 中小企业使用云服务有复杂定价模型等挑战。
• Kafka 架构适合流数据，Flink 是高吞吐量处理引擎，两者结合可构建实时数据管道。
• 制造业用例中，IoT 传感器数据通过 Kafka 和 Flink 实现实时故障预测。
• 本地设置 Kafka 和 Flink 的步骤，包括安装、配置等。
• 设计数据管道的步骤，定义 Kafka 主题等。
• 集成机器学习模型的两种方法，嵌入模型或外部服务。
• 利用 Grafana 和 Prometheus 进行实时指标评估和系统跟踪。
  重要细节：
• Kafka 3.8 版本消除对 ZooKeeper 的依赖，引入 KRaft 共识协议简化架构。
• Flink 1.18.1 起可直接从 Kafka 主题消费数据。
• 可嵌入多种训练好的机器学习模型到 Flink 作业。
• Grafana 用于可视化和警报，Prometheus 用于数据收集存储。
• 部署本地流智能不仅是技术方案也是战略优势，实施涉及多步骤和技术问题。