技术集锦 | 大数据云原生技术实战及最佳实践系列
随着云平台、容器等技术的不断成熟,云原生大数据解决了传统大数据平台建设和运维中的繁琐,使即时可得,按需分配的高效大数据开发平台成为可能。
云原生的到来不止为大数据部署和交付带来了变革,它更是帮助大数据连接了一个生态。利用云原生生态,真正做到了为大数据赋予云的能力,使得大数据可以“生长在云端”。
【腾讯云原生】收集了关于大数据云原生系列干货文8篇,帮助你更好了解”大数据云原生“,一定要收藏哦!
技术原理
Apache Flink on K8s:四种运行模式,我该选择哪种?
- 本文根据 Flink 在 Kubernetes 集群上的运行模式的趋势,依次分析了这些模式的特点,并在最后介绍了 Flink operator 方案及其优势。
- 随着 Kubernete 技术的成熟,使大数据容器化从设想变成了可能。通过容器化技术可以像在线业务场景一样在大数据场景进一步提升运维管理和资源使用的效率,进一步释放大数据的活力。
- 本文依次分析了大数据系统当前面临的主要问题、云原生如何解决这些问题、大数据系统云原生改造面临的挑战,基于这些问题和调整,重点介绍了基于 Hadoop Yarn on Kubernetes Pod 的渐进式的云原生演进方案及其最佳实践。
使用 Iceberg on Kubernetes 打造新一代云原生
- 本文主要介绍如何利用 Iceberg 与 Kubernetes 打造新一代云原生数据湖。
- 本文主要介绍如何利用 Kubernetes 实现云原生大数据实时分析平台。
案例分享
- 由 InfoQ 发起组织的【 2020 中国技术力量年度榜单评选】中,腾讯云大数据云原生技术脱颖而出,荣获“2020年度十大云原生创新技术“”。
- 使用 Kubernetes,并基于腾讯云 TKE 容器平台逐步搭建我们的大数据计算平台,Flink on Kubernetes 实战之路。
- 敏捷高效,开箱即用。
关于我们
更多关于云原生的案例和知识,可关注同名【腾讯云原生】公众号~
福利:
①公众号后台回复【手册】,可获得《腾讯云原生路线图手册》&《腾讯云原生最佳实践》~
②公众号后台回复【系列】,可获得《15个系列100+篇超实用云原生原创干货合集》,包含Kubernetes 降本增效、K8s 性能优化实践、最佳实践等系列。
③公众号后台回复【白皮书】,可获得《腾讯云容器安全白皮书》&《降本之源-云原生成本管理白皮书v1.0》
③公众号后台回复【光速入门】,可获得腾讯腾讯云专家5万字精华教程,光速入门Prometheus和Grafana。
推荐阅读
深度复盘-重启 etcd 引发的异常
作者信息:唐聪、王超凡,腾讯云原生产品中心技术专家,负责腾讯云大规模 TKE 集群和 etcd 控制面稳定性、性能和成本优化工作。王子勇,腾讯云专家级工程师, 腾讯云计算产品技术服务专家团队负责人。
腾讯云原生阅读 303
Apache APISIX 结合 Authing 实现集中式身份认证管理
Apache APISIX 是一个动态、实时、高性能的 API 网关,提供负载均衡、动态上游、灰度发布、服务熔断、身份认证、可观测性等丰富的流量管理功能。Apache APISIX 不仅支持插件动态变更和热插拔,而且拥有众多实用的...
API7_技术团队赞 1阅读 2.2k
第十六届中国大数据技术大会五大分论坛顺利举办!
1 月 8 日下午,由苏州市人民政府指导、中国计算机学会主办、苏州市吴江区人民政府支持,CCF 大数据专家委员会、苏州市吴江区工信局、吴江区东太湖度假区管委会、苏州市吴江区科技局、苏州大学未来科学与工程学院...
思否编辑部阅读 6.1k
新一代云原生日志架构 - Loggie的设计与实践
Loggie萌芽于网易严选业务的实际需求,成长于严选与数帆的长期共建,持续发展于网易数帆与网易传媒、中国工商银行的紧密协作。广泛的生态,使得项目能够基于业务需求不断完善、成熟。目前已经开源:[链接]
网易数帆赞 3阅读 549
Apache APISIX 助力便利充电创领者小电,实现云原生方案
原文链接业务背景小电作为国内共享充电宝服务平台,目前还处于初创阶段。从运维体系、测试环境等方面来讲,当下产品的业务主要面临了以下几个问题:VM 传统模式部署,利用率低且不易扩展开发测试资源抢占多套独立...
API7_技术团队赞 1阅读 1.4k
高效数据运营赋能数字化转型研讨会暨《DataOps 实践手册》新书发布会 预约通道开启!
隆重预告高效数据运营赋能数字化转型研讨会暨《DataOps 实践手册》新书发布会 主办单位:机械工业出版社举办时间:2023 年 1 月 10 日 8:30-12:00会议背景随着数据呈指数级增长,机器学习(ML)和人工智能(AI)...
思否编辑部阅读 3.9k
10分钟学会使用 Loki 日志聚合系统
Loki 通过使用类似 Prometheus 的标签索引机制来存储和查询日志数据,这使得它能够快速地进行分布式查询和聚合,而不需要将所有数据都从存储中加载到内存中。Loki还使用了压缩和切割日志数据的方法来减少存储空间...
Rainbond赞 1阅读 454
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。