5分钟掌握！DolphinScheduler时间参数动态配置秘籍

在 DolphinScheduler 中，调度时对时间参数的使用非常重要，尤其是当你在数据处理、ETL 任务或其他需要依赖时间范围的任务场景中。DolphinScheduler 允许通过多种方式灵活地配置时间参数，以适应不同的任务调度需求。以下是时间参数在 DolphinScheduler 调度中的常见使用方法：

全局参数中的时间

DolphinScheduler 支持在工作流或任务中定义全局参数，时间参数可以作为全局参数进行配置，并在整个工作流或任务执行中使用。

定义时间全局参数：

在工作流配置界面，可以在「全局参数」中定义时间相关的参数。例如，定义一个表示当前日期的全局参数：

• key：current_date
• value：$[yyyy-MM-dd]

这样，你可以在任务的脚本中使用 ${current_date} 作为日期参数。

脚本示例：

echo "Current date is ${current_date}"

当工作流执行时，${current_date} 会被解析为实际的日期（如 2024-10-14）。

时间窗口参数

时间窗口参数通常用于基于时间范围的数据处理任务，如定时从数据源中读取特定时间范围内的数据。DolphinScheduler 提供了通过内置表达式来动态生成时间窗口参数的方式。

常用的时间窗口参数有：

• ${startTime}：表示任务的开始时间
• ${endTime}：表示任务的结束时间

时间窗口表达式示例：

• ${[yyyy-MM-dd 00:00:00 -1d]}：表示前一天的开始时间（如 2024-10-13 00:00:00）
• ${[yyyy-MM-dd 23:59:59 -1d]}：表示前一天的结束时间（如 2024-10-13 23:59:59）

这些参数可以在任务脚本中使用，比如在进行前一天数据的批处理时，脚本如下：

startTime=${[yyyy-MM-dd 00:00:00 -1d]}
endTime=${[yyyy-MM-dd 23:59:59 -1d]}
 
echo "Processing data from $startTime to $endTime"
# 处理数据的命令

动态参数解析：

在任务执行时，DolphinScheduler 会根据调度的时间将时间窗口参数解析为实际的时间值。这让任务能够根据执行时的时间，动态处理不同时间段的数据。

Cron表达式

DolphinScheduler 使用 Cron 表达式来配置任务的执行时间或调度频率。Cron 表达式允许用户精确控制任务的调度时间，比如每日执行、每周执行或每隔一段时间执行任务。

Cron表达式示例：

• 每天的凌晨1点执行任务：

• 0 1 ?

• 每周一的凌晨2点执行任务：

• 0 2 ? * 1

  你可以在调度任务时通过 Cron 表达式定义何时运行任务，适用于定时作业的配置。

补数任务中的时间参数

DolphinScheduler 支持对错过执行的历史任务进行补数操作，补数任务通常也涉及到时间参数。使用补数任务时，可以指定某个时间范围，系统会自动按照这个时间范围重新执行任务。

补数任务设置：

• 可以选择特定的日期范围来补充某个时间段未执行的任务。

• DolphinScheduler 在补数过程中，会根据补数的时间范围设置合适的时间参数，比如 ${startTime} 和 ${endTime}。

  时间格式化与操作

  DolphinScheduler 提供了一些时间格式化和操作功能，可以在时间参数中进行日期的加减操作。例如：

• ${[yyyy-MM-dd -1d]}：获取前一天的日期。
• ${[yyyy-MM-dd HH:mm:ss -7h]}：获取7小时前的时间。

你可以通过这些时间操作灵活设置任务调度的时间范围。例如，处理7天前到今天的数据：

#!/bin/bash
startTime=${[yyyy-MM-dd 00:00:00 -7d]}
endTime=${[yyyy-MM-dd 23:59:59]}
 
echo "Processing data from $startTime to $endTime"

系统内置时间参数

DolphinScheduler 提供一些内置的时间参数，用户可以直接使用这些参数来实现基于当前调度时间的任务：

• ${system.biz.date}：业务日期，一般表示调度任务的当前日期，格式为 yyyy-MM-dd。
• ${system.biz.curdate}：当前日期的完整格式，格式为 yyyy-MM-dd HH:mm:ss。

这些内置参数可以在任务脚本中直接调用。例如：

#!/bin/bash
echo "Business date is ${system.biz.date}"

时间依赖的任务链

在 DolphinScheduler 中，时间参数不仅可以在单个任务中使用，还可以通过工作流配置时间依赖的任务链。你可以在不同的任务中传递时间参数，使下游任务根据上游任务的时间输出动态生成。

函数

• 加减月份：add_months()

  • 后 N 年：$[add_months(yyyyMMdd,12*N)]
  • 前 N 年：$[add_months(yyyyMMdd,-12*N)]
  • 后 N 月：$[add_months(yyyyMMdd,N)]
  • 前 N 月：$[add_months(yyyyMMdd,-N)]

• 加减天数：+-数字

  • 后 N 周：$[yyyyMMdd+7*N]
  • 前 N 周：$[yyyyMMdd-7*N]
  • 后 N 天：$[yyyyMMdd+N]
  • 前 N 天：$[yyyyMMdd-N]
  • 后 N 小时：$[HHmmss+N/24]
  • 前 N 小时：$[HHmmss-N/24]
  • 后 N 分钟：$[HHmmss+N/24/60]
  • 前 N 分钟：$[HHmmss-N/24/60]

总结

在 DolphinScheduler 中，时间参数的使用非常灵活，主要用于以下场景：

• 定时调度：使用 Cron 表达式配置任务的执行时间。
• 时间窗口：动态生成任务的时间范围，用于数据处理等场景。
• 补数操作：在错过执行的任务中重新设置时间范围。
• 时间格式化与操作：提供丰富的时间操作工具，可以进行日期加减运算。
• 全局参数与系统内置参数：方便在工作流中传递和使用时间信息。

DolphinScheduler 中这些时间参数帮助用户精确控制任务的调度和执行，尤其是在数据处理、定时任务和流式计算场景中。

原文链接：https://blog.csdn.net/youziguo/article/details/142919880

本文由 白鲸开源科技 提供发布支持！