使用 Spring Cloud Data Flow 构建数据管道

主要观点:Spring Cloud Data Flow 提供构建数据管道的工具包,可通过组合 Spring Boot 应用构建实时数据集成和处理管道,能用于多种用例。
关键信息

  • 有逻辑视图如源、处理器、接收器等,通过 Spring Cloud Stream 和 Spring Cloud Task 应用组合。
  • 包含消息中间件(Apache Kafka 和 RabbitMQ)、RDBMS 和 Redis、Maven 仓库、应用运行时、数据流程服务器等组件。
  • 需下载并启动 RabbitMQ、PostgreSQL、Spring Cloud Data Flow 本地服务器和 Shell,导入 starter 应用。
  • 可创建并部署从读取文件到处理并上传到 S3 桶的数据流。
    重要细节
  • 安装 RabbitMQ 可按此处指示,PostgreSQL 按此处
  • 本地服务器启动命令包含数据库等相关配置,Shell 启动命令类似。
  • 创建自定义流应用时,使用file源和s3接收器应用,构建自定义处理器应用保存文件元数据并注册,然后组合应用创建流,如stream create命令,最后可通过仪表盘或 Shell 部署流,测试时将文件复制到配置目录可验证各环节。
阅读 8
0 条评论