ACK 云原生 AI 套件：云原生 AI 工程化落地最优路径

作者：胡玉瑜(稚柳)

前言

在过去几年中，人工智能技术取得了突飞猛进的发展，涵盖了机器学习、深度学习和神经网络等关键技术的重大突破，这使得人工智能在各个领域都得到广泛应用，对各行各业产生了深远的影响。

特别值得一提的是，近年来，ChatGPT 的快速发展，使得人工智能技术在自然语言处理和对话生成方面取得了显著进展，让人工智能进一步走进人们的日常生活，改变我们的生活和工作方式。

随着人工智能技术的快速发展和应用，AI 工程化作为“人工智能业务创新的加速器”，也在不断地升级和演进。
为了满足日益增长的算力需求、更高的业务稳定性要求，以及更快的创新和迭代交付，越来越多企业选择在云上开发、训练和部署 AI 模型，利用云计算的优势，获取稳定、弹性的大规模异构算力，从而提高算法迭代和应用落地的效率，并提升规模化服务的可靠性。

同时，云原生技术和架构，如容器、Kubernetes、服务网格和 Serverless 等，也被广泛应用于支持 AI、大数据等多种工作负载类型，以及构建多角色协同的 AI 生产系统，进一步增强了 AI 工程化的弹性、可扩展性和灵活性。

随着越来越多的企业在容器服务 ACK 上构建 AI 系统和应用，无论是 ACK 集群和 AI 平台的运维人员，还是使用容器技术调试和运行深度学习任务的算法工程师，他们都在享受云原生技术和架构带来的便利和高效的同时，仍然面临着持续的运维成本和生产效率的挑战。

因此，为了帮助客户更轻松、高效地在容器服务 ACK 上构建 AI 系统，并提升 AI 生产效率，我们推出了容器服务 ACK 云原生 AI 套件。

旨在利用云原生的技术和架构，为客户提供一个全面的云原生 AI 技术和产品方案，能够帮助客户在容器服务 ACK 上快速、定制化构建 AI 生产系统，并持续优化异构资源效率、高效运行异构负载。 让客户的 AI 工程化落地更加快速和有效，从而提升企业的竞争力和创新能力。

什么是云原生 AI 套件

那云原生 AI 套件是以什么样的形态提供给客户的，适合什么样的客户场景，又具有哪些能力优势呢？

首先，我们看下云原生 AI 套件的产品形态，如何把云原生 AI 的能力提供给客户？

云原生 AI 套件通过多个可组装、可扩展、可定制的组件来提供云原生 AI 能力。以 Kubernetes 容器服务为底座，向下封装对各类异构资源的统一管理，向上提供标准 Kubernetes 集群环境和 API，运行各个核心组件。并结合容器镜像服务，以及可观测、智能诊断、弹性伸缩等容器服务相关能力，提供更加全面的产品方案。

云原生 AI 套件的核心组件能力包括四大分层模块，以满足企业客户不同角色、不同架构层级的场景需求。从下往上依次是异构算力管理、AI 任务管理、AI 数据加速、AI 工程管理。

云原生 AI 工程化的第一步，就是搭建一个 K8s 集群管理云上的异构算力，因此第一层就是异构算力管理模块，包括对异构资源的管理运维、弹性伸缩，以及调度与共享。

有了异构计算集群，算法工程师就可以开始提交 AI 作业，通过 K8s 集群的标准接口访问存储服务，以及进行 AI 作业调度和 GPU 资源分配，最后训练好的模型部署在集群中，这样基本实现了 AI 开发和生产流程。因此，往上一层是 AI 任务管理，包括对 AI 任务的提交运行、调度与弹性。

紧接着，企业对生产效率有了更高要求，也遇到更多问题。包括训练数据访问慢，缺少数据集、模型管理，模型发布缺乏质量和性能验证，上线后缺少服务化运维和治理手段，以及团队协作效率低下，Kubernetes 和容器对于算法工程师和数据科学家有一定使用门槛，等等。

因此，往上就 AI 数据加速和 AI 工程管理。AI 数据加速，包括数据集的抽象和管理、数据的访问加速、数据集的编排等等。AI 工程管理，包括命令行工具和 SDK、AI 开发和运维控制台，以及 MLOps 或者 LLMOps 的优化。客户可以根据具体需求选择不同的组件进行使用，快速、定制化构建自己的 AI 平台，或者直接使用云原生 AI 套件集成的阿里云 AI 平台和服务，从而全栈优化 AI 生产系统的性能、效率和成本。

使用云原生 AI 套件可以实现 GPU 利用率提升 100%，数据访问效率提升 30%，AI 训练速度提升 20%。

那接下来我们具体看一下，四大分层能力模块，分别具备哪些优势特性，如何满足不同角色、不同架构层级、不同业务阶段的需求。

还是以从下往上的顺序来看，让我们看一下异构算力管理模块，我们基于容器服务 ACK 提供了资源的管理运维和弹性伸缩，能够支持 CPU、GPU、vGPU、NPU、FPGA 等异构资源的统一接入、监控、诊断和成本分析，帮助运维人员降低管理大规模 GPU 的复杂度，以及提供智能的削峰填谷，减少资源浪费。云原生 AI 套件还提供了资源调度与共享功能，包括 CPU/GPU 拓扑感知调度和 GPU 共享调度与隔离。CPU/GPU 拓扑感知调度基于节点异构资源的拓扑信息，如 GPU 卡之间的 NVLink、PcleSwitch 等通信方式，以及 CPU 的 NUMA 拓扑结构等，在集群维度进行最佳的调度选择，为工作负载提供更好的性能。GPU 共享调度与隔离，能够实现一个 GPU 供多个任务使用，同时也能够实现一个 GPU 上对各应用申请的显存进行隔离以及 GPU 的算力分割，从而提升 GPU 的资源利用率。

接着看一下 AI 任务管理模块，云原生 AI 套件兼容主流 AI 框架和工具，包括 tensorflow、pytorch、JupyterLab、TF-Serving、Triton 等等，也在不断的适配新的分布式训练和推理的框架，如 deepspeed、fasttransformer 等等，能够用统一的方式提交和管理任务。同时，支持集成 Kubeflow Pipelines 或 Argo 云原生工作流引擎，为复杂的 AI 任务提供工作流编排服务。AI 任务管理模块还提供多种调度策略，适用于各种典型的批量任务类型，如 AI 分布式训练。通过 ACK 调度器扩展 Kubernetes 原生调度框架，实现多种典型批量调度策略，包括 Gang Scheduling、Capacity Scheduling、Fair sharing、Binpack/Spread 等，以满足不同任务的调度需求。还支持任务队列，提供自定义的任务优先级管理和租户弹性资源配额控制，提高任务调度和资源利用的效率。此外，还支持弹性训练和推理任务，以提升任务运行的效率和优化成本。

再看一下 AI 数据加速模块，该模块主要通过面向云原生数据密集型应用的数据编排框架 Fluid 来支持。Fluid 提出弹性数据集的概念，将不同位置和类型的存储服务作为数据源聚合到同一数据集中，以实现数据的统一管理。Fluid 支持多种分布式缓存引擎，包括阿里云 JindoRuntime、EFCRuntime，以及开源社区提供的 AlluxioRuntime、JuiceFSRuntime，同时还可以通过对接 Fluid 的标准接口来扩展第三方或者自建的存储系统。结合 Fluid 提供数据集缓存预热，以及缓存数据的容量监控和弹性伸缩等功能，来降低计算任务拉取数据的开销，提升 GPU 计算效率。Fluid 还支持 Serverless 数据访问加速，实现数据访问吞吐的弹性扩容，以及混合云数据访问加速，在弹性上云的同时能够安全、快速地访问自建存储。Fluid 还支持应用协同编排和自动化数据流等功能，让用户在云上使用数据的过程更加简单化和自动化。

最后是 AI 工程管理模块，除了提供 Arena 命令行工具和 SDK，来屏蔽底层复杂性，简化任务管理之外，还提供简单的运维大盘和开发控制台，满足用户快速浏览集群状态、提交和查看任务的需要。同时，云原生 AI 套件致力于持续优化 AI 生产效率和体验，并且全面拥抱大模型生态，支持 MLOps、LLMOps 等相关领域的需求。

通过前面的介绍，相信您已经基本了解了云原生 AI 套件，接下来让我们一起看两个典型的客户案例吧！

客户案例

第一个是任意门： 基于云原生 AI 套件打造人工智能社交网络平台的案例。

任意门的 SoulAPP 是基于兴趣图谱和游戏化玩法构建的移动社交网络，有丰富的 AI 业务场景，包括语音匹配、聊天机器人、文本识别、图像识别、多模态等。

但在传统的虚拟机构建部署方式下，缺乏一个统一的管控平台，导致：

• 业务迭代速度慢：研发工程师需要花费大量时间在底层资源和环境的准备、管理和运维上，无法专注于业务开发。
• 运维工作重复：需要做很多重复的环境配置和问题处理，人力投入大，运维效率低。
• 资源性价比低：有大量堆积机器，且资源利用率低，导致资源闲置浪费。

任意门在阿里云上，通过容器服务 ACK 云原生AI 套件，构建了符合开源标准、自主掌控的 AI PaaS 平台，管理了从初期的数十张 GPU 卡到近千张的超大规模，节省 1 倍运维成本。并且开发迭代效率提升 2~5 倍，日承载 AI 业务发布数百次，很好地支撑了业务的高速发展。通过 GPU 共享及 Fluid 数据加速能力，提升业务效能，资源成本节约 50%。

第二个案例是小米机器学习平台： 基于 Fluid 的 Serverless 混合云容器 AI 平台。

小米机器学习平台（CloudML）承载了图像、NLP、声学、搜索推荐等应用业务，是小米针对机器学习进行全流程优化的高性能、分布式云服务。

支撑 CloudML 的自建集群由于资源池容量、资源弹性能力相对有限，导致业务低谷时资源闲置成本高，业务高峰时资源紧张。迁移到基于 Serverless 容器架构的混合云之后，获得了 Serverless 容器带来的敏捷、安全、弹性、低成本等优势，然而也遇到了几个重要的技术挑战：

• 无法定制扩展存储类型：公有云集群只支持阿里云存储类型（如 NAS、OSS等），无法直接适配内部自研的分布式文件存储（StarFS）。
• 缺乏可信透明的数据接入方式：如何在 Serverless 容器的黑盒系统使用过程中规避数据泄露，如何确保数据存储、传输、访问过程中安全可靠，缺乏对应的解决方案。
• 基础设施差异导致用户体验不一致：混合云场景中，当用户任务在公有云和自建集群之间进行迁移时，用户使用体验需要与自建集群上保持一致，不需要做过多的变更。

通过阿里云 ACK 云原生 AI 套件中提供的 Fluid 存储系统接入方案可以很好的解决以上问题：

首先，对于自建存储 StarFS 的访问提供了很好的扩展支持，并且得益于 Fluid 提供的数据集可观测性功能，能够获取云上工作负载的数据访问特性，从而支持数据热加载和资源分配调优。

其次，方案接入简单、管理便捷。可以自行完成 StarFS 与 Kubernetes 环境的对接工作，整个 thinRuntime开发简单，无需具备复杂的 Kubernetes 定制开发知识。

基于这套方案，只需要了解 Dockerfile 构建就可以完成，开发工作 2-3 小时左右，显著降低了使用 ECI 接入 StarFS 的工作成本。

了解了云原生 AI 套件的能力优势和客户案例，如果您的业务也有类似的需求，那接下来我们就介绍一下云原生 AI 套件怎么用，并且会提供一些有趣的实验让您快速上手。

云原生 AI 套件用法

云原生 AI 套件通常存在两类用户角色，运维管理员主要负责搭建 AI 基础架构和日常管理，而数据科学家和算法工程师则使用云原生 AI 套件提交和管理任务。

这两类角色可以通过命令行工具和控制台进行高效的操作和协同。

首先运维管理员需要先创建和配置 ACK 集群，以及相关的资源和服务，并添加异构资源进行管理和运维。接着进行系统与环境搭建，包括开通和安装云原生 AI 套件，管理用户和配额，准备数据等工作。完成这些准备工作后，算法工程师和数据科学家就可以开始使用云原生 AI 套件提供的命令行工具 Arena 或 AI 套件开发控制台，进行模型的开发、训练与部署，利用调度、弹性、数据访问加速等能力，提高 AI 生产效率和性能，以及进行推理的服务化运维。运维管理员则可以通过运维控制台查看集群、节点、训练任务、资源配额、成本分析等监控大盘，从而对集群进行实时监控和管理。

这种高效协同的工作模式，能够提高生产效率，优化资源利用和管理。

如果您想先从部分简单的功能入手，快速入门云原生 AI 套件，我们为您准备了低门槛、低成本的保姆级实验教程，让您通过简单有趣的小场景，感受云原生 AI 套件加速 AI 工程化的过程。

关于费用呢，云原生 AI 套件是按量计费，先试用，后付费。

使用云原生 AI 套件所产生费用 = 云原生 AI 套件费用 + ACK 费用 + 其他云产品费用

云原生 AI 套件采用阶梯型计费方式，若 GPU 卡数当日最大值不超过 8 张，云原生 AI 套件本身免费。

如果您希望全面、深入地了解云原生 AI 套件的更多能力，我们还为您提供了云原生 AI 工程化实践系列课程，这些课程将帮助您上手云原生 AI 套件的更多功能和最佳实践，让您能够更好地应用于实际项目中。

除了课程，我们还为您提供了交流群，您可以与我们进行互动和交流。在交流群中，您可以及时了解云原生 AI 套件的产品动态，探讨云原生 AI 最新的技术发展。同时，我们也将根据您的业务场景，为您提供更加针对性的解决方案和服务支持。

实验 1：云原生 AI 套件：五分钟微调宝可梦风格 StableDiffusion [ 1]

实验 2：云原生 AI 套件：一键训练大模型及部署 GPU 共享推理服务 [ 2]

更多实验请见：云原生 AI 工程化实践系列课 [ 3]

希望您能够持续关注云原生 AI 套件，让我们帮助您以云原生的技术和架构加速 AI 工程化落地，提高 AI 生产效率并优化成本，同时，我们也将不断发掘云原生 AI 的技术和应用，为您提供更加丰富的产品能力，更加优质的服务和体验。欢迎使用钉钉通过搜索群码的方式与我们一起沟通。（钉钉群号：33214567）

相关链接：

[1] 云原生 AI 套件：五分钟微调宝可梦风格 StableDiffusion

https://developer.aliyun.com/adc/scenario/5d4b9f5be5104302b9c...

[2] 云原生 AI 套件：一键训练大模型及部署 GPU 共享推理服务

https://developer.aliyun.com/adc/scenario/99e00d4dea0e4fbf952...

[3] 云原生 AI 工程化实践系列课

https://developer.aliyun.com/adc/scenarioSeries/e5427732f6e94...