数据湖组件hudi、paimon依赖冲突

hudi冲突

环境

flink 1.17.2 hudi 0.14.0 hive 3.1.0 hadoop3.3.3
使用flinksql读取kafka数据写入hudi基于hive的数据表。

现象

Caused by: java.lang.NoSuchMethodError: org.apache.parquet.schema.$PrimitiveBuilder.as(Lorg/apache/parquet/schema/LogicalTypeAnnotation;)Lorg/apache/parquet/schema/Types$Builder;

问题定位

使用flink的start-cluster.sh脚本启动，启动参数中加-verbose，类加载日志重定向到文件中，发现org.apache.parquet.schema.Types类是从hive-exec-3.1.0.jar中加载。
通过mvnrepository.com查询，使用的parquet版本为1.10.0 和 hudi bundle包中的版本冲突。

解决办法

1. 重新编译
   https://github.com/apache/hudi/issues/3042
2. 调整类加载顺序
   flink启动时-classpath中让hudi bundle先于hive-exec即可，方法有多种，改一下bundle包的名字排序在hive-exec前面可行。

doris读取paimon冲突

环境

doris 2.1.4 paimon 0.8.2 hive 3.1.0

问题

问题详情
问题原因

解决办法

在$DORIS_HOME/be/lib/java_extensions/java-udf下放置一个 commons-lang-2.6.jar包，滚动重启所有be节点即可。