做数据etl相关工作的各位工程师都踩过那些坑?

做数据etl相关工作的各位工程师都踩过那些坑?大家都采用什么样的组件?工具?有什么经验可以分享

阅读 6.1k
2 个回答

我踩过的坑:1:int和string互转时的问题。2.精度丢失导致下游方显示的问题(后来我总结出,我的上游方给我啥我就存啥好了,再扔给下游方,下游方要精度的时候自己处理得了)。3.乱码的问题。4.别人给我的脚本,说是某个开关他关掉了的,我也没检查直接拿来用,后来业务出了问题。(总结就是,做ETL的,永远不要太相信上游方给的东西,别人给的数据结构别人给的脚本,一定要自己再过目一下。像我这里说的例子,宁愿自己抛弃一点点效率提高严谨)。
工具的话就是公司自研的,也有用过kettle。
还有一个很大的坑,即传说中的被队友(上游方)坑。就是别人的数据结构变了,但是没有和你说!!做为下游方很被动的!

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
宣传栏