好消息!社区最近迎来了一位印度籍 Committer——穆罕默德·阿尔沙德(Mohammad Arshad)!

阿尔沙德来自班加罗尔,现任 Visa 公司数据工程师(高级顾问级别),在大数据领域拥有丰富的经验。作为全球最大的支付处理公司之一,Visa 在印度的数字支付和金融科技领域占有重要地位。

阿尔沙德与他的团队一起优化并整合了 SeaTunnel Web,成功解决了之前存在的关键问题,大幅提升了用户体验,帮助社区解决了燃眉之急。

在本期社区活动中,我们有幸对穆罕默德进行了深入访谈,了解了他如何与 SeaTunnel 结缘。让我们一同探寻这位来自印度的优秀工程师的精彩故事吧!


免责声明:本文中表达的观点仅代表我个人,不代表任何官方立场。

个人简介

file

  • 名字:穆罕默德·阿尔沙德(Mohammad Arshad)
  • 国家:印度 班加罗尔
  • 职业:数据工程师——Visa 公司资深顾问
  • GitHub ID:arshadmohammad
  • 专长:大数据领域工作经验
  • 爱好:空闲时间喜欢看电影和听乌尔都语诗歌

可以通过他的 LinkedIn 个人资料了解更多信息:
https://www.linkedin.com/in/arshad31415/

对 SeaTunnel Web 的贡献

穆罕默德·阿尔沙德和他的团队合作优化了 SeaTunnel Web 的功能,解决了多个关键问题,并提升了整体性能,包括:

  • 系统集成:通过添加新的 API,SeaTunnel Web 与其他现有系统集成,这些 API 能够执行创建、检索、更新、删除和执行作业等操作,从而提高了互操作性并简化了工作流。
  • 参数化查询执行:之前没有查询执行的参数化选项。现在引入了该功能,使用户能够动态传递参数,增强了查询的灵活性和可复用性。
  • 增强测试能力:为了提高测试效率,增加了 FakeSource 和 Console 数据源功能。此外,还编写了集成测试来验证 SeaTunnel 和 SeaTunnel Web 的实际实例功能。这些测试确保系统在各种条件下都能可靠运行。
  • 修复漏洞:修复了 SeaTunnel Web 中的多个漏洞,以确保其能够有效处理当前用例。虽然仍有未解决的问题,但这些修复极大地提高了系统的稳定性和可用性。

验证各种用例

虽然目前穆罕默德还没有在工作或个人研究中广泛使用 SeaTunnel,但他正在积极探索其功能并进行增强,同时验证各种用例以确保SeaTunnel完全可以支持他们的用例。他的目标是以最少的人工干预方式,在安全、可靠、快速的环境中将数据从一个存储转移到另一个存储。一旦满足所有用例需求,他计划推广使用 SeaTunnel。

这是一枚资深开源玩家!

自 2017 年左右以来,穆罕默德一直积极参与开源项目。除了 SeaTunnel,他还是 Apache Ambari 和 Apache ZooKeeper 的 Committer,并为 Hadoop 和 HBase 等其他多个项目作出了贡献。

他热衷于开源,他认为,开源他增长知识和贡献社区提供了一个机会。社区项目的快速发展速度,是单个公司几乎不可能在不承担高额成本的情况下实现的。考虑到 Hadoop 及其生态系统项目是开源的,他不假思索地参与进这个合作环境。

当穆罕默德第一次接触到 Apache SeaTunnel 时,他正在研究使用 Ambari 和 ZooKeeper 等其他 Apache 项目,并且正在寻找一个 NiFi 的替代方案,这时他发现了 Apache SeaTunnel。

他发现 SeaTunnel 社区极其乐于助人,并且响应迅速。他从社区获得的支持非常及时。

例如,他经常在睡前查看 PR 的 CI 是否成功,结果早晨就发现它们已经被合并了!这种快速的响应既令人鼓舞又让他充满动力。这里,他向范佳和David给予他的支持表示了特别感谢。

顺畅而舒适的贡献之旅

作为 SeaTunnel 社区的新贡献者,穆罕默德表示为 SeaTunnel 做出贡献的过程顺畅且舒适。整个流程简单明了,没有遇到任何困难。这一点对于社区的发展至关重要,只有把贡献的门槛放低,让有意愿做贡献的小伙伴不会对繁琐和复杂的流程望而却步,社区贡献才能蓬勃发展。

SeaTunnel 还是 NiFi?

在使用 SeaTunnel 之前,穆罕默德对 SeaTunnel 和其他类似工具(如 NiFi)进行过调研比对。

结果表明,SeaTunnel 更适合他们的用例,因为它支持分布式计算、拥有更多的连接器、使用更新的技术栈,并且社区更加活跃

最终,在众多选择面前,他们选择了 SeaTunnel。

对 SeaTunnel 的期望

虽然使用起来没有大问题,但穆罕默德还是期望 SeaTunnel 可以进行以下新功能和优化,以满足他们更多的业务需求:

  • 操作性、可维护性、度量和监控:增强 SeaTunnel 的操作和维护能力。可以考虑与 Ambari 集成这些功能,并增加全面的度量和监控解决方案。
  • SeaTunnel Web 增强功能:通过增加更多功能以及支持所有连接器和转换功能来改进 SeaTunnel Web。
  • 安全改进:通过升级依赖项版本来解决安全漏洞,并将 SeaTunnel 和 SeaTunnel Web 升级至 Java 17。
  • 基于角色的访问控制(RBAC):在 SeaTunnel Web 中引入 RBAC,以更好地管理访问权限。
  • LDAP 支持:为 SeaTunnel Web 增加 LDAP 支持,实现集中认证。
  • 部署架构:改进部署架构,确保终端用户无需直接访问 SeaTunnel 机器。用户应仅通过 SeaTunnel Web 进行交互,以加强安全管理。
  • SeaTunnel Web 支持的引擎:确保 SeaTunnel Web 支持 SeaTunnel 支持的所有引擎作业执行,如 Zeta、Spark 和 Flink。

正如穆罕默德所言,SeaTunnel 仍有许多优化空间,且有不少雄心勃勃的目标尚待实现。要达成这些目标,需要依靠社区的集体力量。

如今,随着像穆罕默德这样优秀的国际贡献者加入,SeaTunnel 的全球视野不断拓展。相信未来在国际化的道路上,SeaTunnel 会走得更远。我们诚挚欢迎更多有志之士加入,共同为项目贡献智慧与经验,携手推动其不断前行!

加入Apache SeaTunnel开源之旅

Apache SeaTunnel 是一个分布式、高性能、易扩展、用于海量数据(离线&实时)同步和转化的数据集成平台

衷心欢迎更多人加入!

我们相信,在「Community Over Code」(社区大于代码)、「Open and Cooperation」(开放协作)、「Meritocracy」(精英管理)、以及「多样性与共识决策」等 The Apache Way 的指引下,我们将迎来更加多元化和包容的社区生态,共建开源精神带来的技术进步!

我们诚邀各位有志于让本土开源立足全球的伙伴加入 SeaTunnel 贡献者大家庭,一起共建开源!


SeaTunnel
60 声望15 粉丝

Apache SeaTunnel是下一代高性能、分布式、海量数据集成框架。通过我们的努力让数据同步更简单,更高效,大幅减少学习成本,加快分布式数据处理能力在生产环境落地。