Lambda 表达式是 Java 8 引入的一种新特性，允许你以更加简洁的方式编写匿名函数，从而使代码更简洁和易读。Lambda 表达式的语法格式如下：

在 Shell 脚本中，单引号 (')、双引号 (") 和反引号 (`) 各自有不同的作用和用法。理解它们的区别和用法对于编写和调试 Shell 脚本非常重要

有时候为了简单，尝尝在连接dolphinscheduler的时候，我们会使用单NameNode来进行资源中心地址的配置。当然dolphinscheduler是支持HA的

异步执行方法：被 @Async 注解标记的方法会在一个独立的线程中执行，而不是在调用者的线程中。这意味着调用方法时，调用者线程会立即返回，并且方法的实际执行会在后台进行

核心代码逻辑org.apache.dolphinscheduler.server.master.registry.MasterSlotManager.SlotChangeListener#notify

注意 : RUNNING_INFO更新有问题，因为根本就不会更新PID，因为都没有传递过去PID，所以这个有什么用呢？PID还是最后FINISH进行更新的，这不合理，如果任务执行时间比较长，我恰好要看PID，是不是看不到，等到任务结束才能看到

1、Dolphinscheduler中的参数command_param 中的启动参数本地参数变量池全局参数项目参数内置参数(业务时间参数、系统内置参数、衍生内置参数)，衍生内置参数是在Worker端进行处理的1.1、Master参数设置org.apache.dolphinscheduler.server.master.runner.TaskExecutionContextFactory#createTaskExecutionContext {代码...

1、逻辑任务总体架构2、逻辑任务实例操作函数架构总共有四种函数 :LogicITaskInstanceDispatchOperationFunction逻辑任务实例分发操作函数LogicITaskInstanceKillOperationFunction逻辑任务实例kill操作函数LogicITaskInstancePauseOperationFunction逻辑任务实例暂停操作函数TaskInstanceWakeupOperationFunction逻辑任...

1、现象创建两个工作流如下 :父工作流只有一个Task，引用的是子工作流 :使用hdfs租户跑父工作流 :查看子工作流中的任务日志 : {代码...} 发现租户是 default，说明租户信息没有透传到子工作流中2、解决其实很简单，问题在于子工作流在创建Command的时候没有传入租户code赶快给社区提交PR吧，嘻嘻如感兴趣，点赞加关注，...

1、基础组件准备 {代码...} 2、初始化2.1、初始化数据库 {代码...} 2.2、配置common.properties重点配置 {代码...} 2.3、配置各个服务的application.yaml注意 : 主要配置 zookeeper连接地址和mysql地址即可，不赘述2.4、配置各个服务的logback-spring.xml设置 <appender-ref ref="STDOUT"/> 控制台输出3...

ShellTask默认情况下设置CPU配额和最大内存是不起作用的1、系统支持Ubuntu 或 Debian 系统： {代码...} CentOS 或 RHEL 系统：sudo yum install systemdFedora 系统 :sudo dnf install systemd1、开启common.properties {代码...} 2、原理如果是flase的话，其实下面的逻辑是不会走的，所以要设置为true才能玩耍org.apach...

1、原生Java SPI定义SomeService接口 : {代码...} 定义SomeService接口实现类(服务提供者) : {代码...} META-INF/services/com.cestc.bigdata.spi.SomeService注意 : com.cestc.bigdata.spi.SomeServiceProvider2不存在 {代码...} Main方法 {代码...} 注意 : 不能使用for来迭代，如果使用for来迭代，发现一个SPI没有实现...

能够通过替换包名避免依赖冲突，如果一个项目中同时依赖了某个库的两个版本，比如spark程序中，自己的代码依赖okhttp3, spark本身的代码依赖okhttp2，此时除了重写自己的代码，更改依赖外，还可以通过shade解决依赖冲突。巧用maven-shade-plugin解决依赖冲突

1、Slf4j MDC线程安全测试类似ThreadLocal使用 {代码...} 输出结果 : {代码...} 可以当做ThreadLocal来使用，是线程安全的2、模拟 dolphinscheduler Task日志打印2.1、pom.xml依赖 {代码...} 2.2、TaskLogFilter {代码...} 2.3、TaskLogDiscriminator {代码...} 2.4、logback.xml {代码...} 2.5、示例 {代码...} 2.6、结...

1、commit message规范注意 : 分支和提交message建议使用英文分支命名类型提交messagefeature/xxx新增功能feat:xxxbugfix/xxx(bugId)Bug 修复fix:xxxrefactor/xxx其他代码类的变更，这些变更不属于feat、fix、perf和style，例如简化代码、重命名变量、删除冗余代码等refactor:xxxperformance/xxx提供代码性能的变更perf:...

Worker服务的Netty提供和Master JDK 动态代理接口调用，请参考 Dolphinscheduler 告警模块解说，不再重复的说

org.apache.dolphinscheduler.plugin.task.api.shell.ShellInterceptorBuilderFactory

明确个人观点，NO，不优雅。本来好好的日志解析，弄个spring aop拦截器就NB了？而且还跑不通，Dolphinscheduler 3.2.1 版本测试了，不能使用。这是要干鸡毛啊？

1、接口及实现类定义UserService 接口 : {代码...} UserServiceImpl 实现类 : {代码...} Result 结果返回类 : {代码...} 2、反射 {代码...} 结果 : {代码...} 如感兴趣，点赞加关注，谢谢!!!

SHELL、JAVA、PYTHON、FLINK、MR、FLINK_STREAM、HIVECLI、SPARK、SEATUNNEL、DATAX、SQOOP、DATA_QUALICY、JUPYTER、MLFLOW、OPENMLDB、DVC、PYTORCH、KUBEFLOW、CHUNJUN、LINKIS

看代码 org.apache.dolphinscheduler.server.master.utils.WorkflowInstanceUtils#logTaskInstanceInDetail