云+社区沙龙online — 有赞数据中台成本治理实践
开始时间: 2020-07-28 20:00
结束时间: 2020-07-28 21:00
举办地点: 线上活动
主办方:
活动已结束

图片描述

主题:

有赞数据中台成本治理实践

内容:

有赞的业务高速增长,数据中台的计算资源消耗也水涨船高。半年翻一番,涨幅甚至超过业务,这不是一个可持续发展的状态。我们从减少浪费、技术优化、成本运营等角度出发,进行综合治理。希望能够提升成本意识,提高成本“能效”。

1、机器资源利用率
• 集群水位和机器利用率标准
• 低利用率缩容/降配
• 任务延迟启动,削峰填谷
• 机型优化(计算型、存储型)

2、容器化改造
• 利用K8s实现弹性扩缩容
• 离线在线错峰混部
• 资源按需购买
• 存储计算分离

3、数据存储优化
• 冷备数据使用腾讯云COS服务
• hive分区表生命周期管理
• 优化存储压缩倍率

4、数据/任务优化
• 无用数据(链路)探查下线
• 任务优化(倾斜、表关联等)
• 减少调度频次
• 使用hive cube
• 减少重复计算

5、成本运营机制
• 数据成本量化
• 多维度账单
• 推进/奖惩机制
• 降本功能支持/反馈

讲师:

沈淦
有赞技术副总裁 | 腾讯云最具价值专家TVP

二十年工作一直专注技术领域。一直从事中大型系统的咨询、规划、设计和建设工作;十余年的技术管理工作,在规划技术发展路线、推进技术革新、建设技术团队、推行研发团队文化等方面有丰富的经验。管理风格开放、公正、平等、激励,带领的团队有很强的执行力和使命感;热爱技术工作,善于使用技术手段解决各类问题,对大型系统的监控、运维、优化、 持续改进有丰富的经验,学习和掌握新兴技术的能力强;热爱编程,坚持编写代码,坚持深入开发第一线。

系列直播 快速通道!

clipboard.png

评论
载入中...

活动组织者