打灰佬一次漫不经心地提桶跑路，竟成就了一名数仓专家

原创 PowerData-韩立 PowerData

专栏导语

✦

在大数据这个充满科技与创新的领域里，我们常常被那些光芒四射的明星人物所吸引。然而，这个领域的繁荣发展，同样离不开那些默默付出、坚守岗位的平凡小人物。他们或许没有响亮的头衔和耀眼的成就，但正是他们的努力与执着，构筑了大数据领域的坚实基础。

数据人物专栏将带您走进这些平凡小人物的世界，了解他们的工作与生活，分享他们的故事与感悟。我们将看到，在大数据的浪潮中，他们如何用自己的方式影响着世界，成为这个时代不可或缺的力量。

让我们一起走进这些平凡小人物的世界，感受他们的热情与执着，见证他们在大数据领域的奋斗与成长。

本期人物

✦

PowerData-南知唔知，陈鹤，现任某电商公司数仓专家。十年打灰无人问，一朝C佬天下知。

和C佬结识源于一次社区技术问题讨论，C佬不光指出了当前这个问题发生的原因，还给群友点明了问题场景以及一揽子解决方案。实力之强，令人发指！

Q

&

A

C佬，是什么契机促使你下定决心从工地提桶跑路呢？

有几点因素吧，首先是薪酬和职业发展的问题，跟着项目走，因为很少有一个城市或区域一直有项目的情况，可以说是四海为家，我不太喜欢这种颠沛流离的生活。虽然收入从长远来看还算可观，着眼当下实在不够，我想凭自己的本事拼出一番天地，能够给父母和妻儿好的生活。

其次是个人因素，深圳可以说是国内最繁华，思想最前沿的城市之一。当时被分配到福田区的一个项目，项目大门外车水马龙，大门内通宵打灰，年少轻狂嘛，总觉得不应该是这个活法，抱着来都来了，不妨试一试的心态，就提离职了。

C佬，俗话说隔行如隔山，从土木转向大数据开发，你都经历了哪些困难？

我是0基础自学跨行业求职，可以说是buff拉满。那时对大数据的技术栈没任何了解，编程语言就只知道Python（仅仅是知道这门语言，基础语法也不会），纯粹是靠在知乎上东拼西凑的概念来面试，对于科班出身或者已经有工作经验的同学而言，很多常识性或者约定俗成的术语、方法或习惯，对于我而言都需要很长的时间去理解和学习，确实走了很多弯路。

我从爬虫岗位开始做起，历经数据服务、平台、集群运维、数仓。没写过Java，要负责开发接口。没写过SQL，要去加工数仓主题表。组件还没了解全面，就需要去升级或者运维集群。刚开始找工作时屡屡碰壁，试用期还被卡最后一天恶意辞退过，背过低绩效，几年没有调薪，年终只发过1800块钱。可以说加班是常态，被质疑和自我怀疑也是常态。

C佬，在你的大数据职业生涯中，你觉得让你刺挠的问题有哪些？

数据岗位需要了解业务，贴近业务，这样产出的指标或服务才有价值。技术是实现需求或价值的手段，应用的场景才是其目的。

绝大多数情况下，还是受业务流程或者需求本身掣肘，比如实时计算支付收单中，用户使用钱包服务支付的笔数和金额，需要关联7张流水表，最夸张的1条支付记录能膨胀100多倍，其中夹杂着大量的protobuf解析，要考虑回撤，pb内容变更，不同的状态使用不同的pb解析，大状态保存和平滑重启的问题。

又比如实时计算手机消息推送效果，用于结算和评估推送系统稳定性，一天2000多亿数据量，最长7天，精准去重，不允许有误差，这个项目改造就接近1年，每天都在救火，各种尝试，指标有问题和业务复盘。因为业务模式的原因将问题复杂化，就需要耗费大量的资源和精力来处理这样的需求。

C佬，听说你的新书《大数据SQL优化理论及实践》马上就要出版了，关于SQL优化这块，你能和社区的朋友们谈谈你的思路吗？

从发现问题到解决问题。遵从自上而下、擅用工具、最小改动原则。

自上而下是指先从业务出发，从需求出发，例如需求不明确，需求文档不清晰，需求不合理，依赖外部组件稳定性不够等等，从源头开始缩小范围确定问题。

所谓工欲善其事，必先利其器，利用执行日志、SQL的执行计划、外部监控等工具，可以帮助我们在SQL任务执行过程中有效定位到问题所在。

最小改动原则是指尽可能先从任务配置、任务资源开销等方面入手，最后再尝试重写SQL。SQL优化并非一蹴而就，选用框架不同、版本不同、数据内容不同、配置不同，执行效率和耗时都有可能千差万别。只有充分了解引擎自优化的适用范围和局限性，才能更好的应对。本书也是对日常工作中遇到的问题和解决过程进行归纳总结，并衍生出一些解决方案。希望对大家能有帮助。

C佬，你对目前正在学习大数据，或者转行学习大数据的朋友们，有什么想说的吗？

“StayHungry,StayFoolish”。任何行业都应如此，保持谦逊、持续学习、自我驱动。从Google三大论文开始到现在大数据生态的百花齐放，框架或设计理念迭代升级非常快，甚至稍有懈怠就会被淘汰。

在日常工作中，向上要多去了解业务，数据源自业务，其价值也在业务中才能得以体现。向下多了解框架的底层实现，掌握其适用场景和局限性。我们都说“一招鲜，吃遍天”，了解框架的设计思想，接收新事物的难度就没那么大。了解业务建立的过程和曾经踩过的坑，下次再做类似的需求，就能轻车熟路。

C佬，之前见你和群友聊过一些育儿知识，咱们社区很多人已经是准父母，你有什么好的建议或者意见吗？

孕期好的饮食习惯和心情至关重要。水果适量因为果糖太高，推荐牛肉海鲜蛋奶。除了螃蟹外，没什么需要忌口的。

尊重宝妈的任何选择，女本柔弱，为母则刚。怀孕生子是件非常辛苦的事情，要多站在对方的角度上思考问题。在婆媳之间多做调停人，两代人的生活习惯和想法有很大差异，彼此多理解和谦让，不要激化矛盾。待产包如果不清楚要准备哪些，我准备了一份清单，后续通过公众号分享给大家。

关于C佬的访谈到这里就结束了。在我的印象中，C佬看起来总是是一副漫不经心的样子，和他的头像一样。但是他的内心却是认真仔细的，对待工作和生活绝不马虎。脚踏实地，一丝不苟。最后预祝C佬新书大卖，口碑爆棚！

你有故事，我有酒，

加入社区，交朋友。