无尘-基于Kettle引擎开发的在线ETL数据清洗项目

🌟 基于Kettle的分布式ETL与任务调度系统

关键词：Kettle TinyVue AntV/X6 Apache Ignite 基于时间轮的定时调度 SSE

🛠️ 核心功能模块

1. 可视化ETL加工

技术栈

• 核心引擎: Kettle 8.3

• 可视化层:

  • 华为TinyVue组件库（基础UI库）
  • AntV/X6流程图引擎（拖拽图引擎）

配置示例

2. 任务管理

对任务基础管理, 设置其调度频率、策略、目录等. 底层基于时间轮算法和Apache Ignite完成任务的调用执行.

3. 日志管理

• 可追溯性: 精确追踪任务执行生命周期（调用、执行、完成、查看任务执行具体日志）

• 智能化：自动识别错误模式（如节点失联、超时任务）
  

  4. 数据源管理

  暂时只支持MYSQL和PGSQL, 对数据的基础操作和测试数据源的连通性.
  

  5. 运行监视

  对管理节点和工作节点状态的查看, 当天任务执行情况统计
  

  🚀在线体验环境

  这个环境在腾讯云上部署带宽只有5m, 配置为2核4g的轻量云服务器, 可能访问有点慢
  账号: yanshi
  密码: wuc@yanshi123