智算让大模型触手可及

本文整理自2023年 12 月 20 日举办的「2023 百度云智大会·智算大会」主论坛，百度智能云 AI 与大数据平台总经理忻舟的主题演讲《智算让大模型触手可及》。

在之前极客公园举办的创新大会上，百度集团董事长兼 CEO 李彦宏先生提到：卷 AI 原生应用才更有价值。

要做好 AI 原生应用，有三个关键的因素：基础大模型好不好，根据业务数据及反馈对模型的调优好不好，以及大模型开发、应用方式好不好。

百度及市场上的友商已经提供了很多优秀的基础模型；而今天我要为大家介绍的，就是百度智能云千帆大模型平台在模型调优和部署上的最新工作。有了调优好的模型，才能为卷 AI 原生应用打下坚实的基础。

在这之前，百度集团副总裁侯震宇先生已经介绍过千帆大模型平台的全景图了。

值得一提的是，千帆大模型平台是全球首个一站式的企业级大模型平台。自 3 月 27 日发布以来，千帆大模型平台服务了众多企业与开发者，不断进行功能和体验的迭代更新。

同时，大模型技术的发展非常快，而千帆大模型平台也紧跟技术趋势，不断将最新的模型引入进来、最新的研发范式固化到平台，帮助客户更好地开发、应用大模型。可以说，千帆是一个经过产业实践考验，又不断创新的平台。

我们来看两个数字：

千帆大模型平台已经服务了超过 40,000 个用户，距上一次百度世界大会公布用户总数仅仅过去了 2 个月的时间，我们的总用户量增长了近 2.5 倍。这足以证明大模型在企业开发、应用中的火爆程度。需要特别说明的是，这些用户可不是走马观花的来平台注册和浏览，而是真正调用过推理服务或者对模型进行调优，真真正正用在自己的业务中的。
另一个数字是累计模型的精调数量，用户在千帆大模型平台上精调产生的模型数量近 10,000 个，这也说明了用户对大模型的需求十分旺盛。

这两个数字给了我们很大的鼓舞，同时也鞭策我们持续迭代优化千帆大模型平台，给企业与开发者带来更好的体验与价值。

在我们接触到的各行各业的模型开发和训练需求当中，无论是开发者还是企业，都遇到了各种各样的挑战，希望通过千帆平台来解决这些问题，主要包括以下三个方面：

模型精调不易：大模型的精调难点核心在于可靠性的保障，比如如何在通用语料知识不遗忘的情况下提升特定场景的效果，如何通过精调来有效提升大模型格式/指令遵循的效果等。模型精调从模型选择、原始数据清洗、数据标注、模型精调，全流程均需要投入大量的专业算法工程师，并进行反复实验，才能获得更可靠的效果。
模型评估不全面：很多企业在建设大模型应用第一步就会做大模型效果评估，特别是生成式 AI 天然存在容易主观评价的难点，所以关于评估方式方法如何能有更好的全面性保障也是当前企业在研究的热点。从百度实践经验来看，不同行业场景下会需要不同数据、不同方法来评估，且需要长期在真实应用环境中追踪并评估效果。
计算与推理资源不足：大模型的训练及推理均需要更高性能的硬件和软件，当前大环境的算力紧缺也为企业构建大模型应用带来新的挑战。

基于这些问题，千帆大模型平台在最近的这段时间里，重点对提效和降本这两个方面做了新的升级。

提效：为提升效果而生的工具链，让训练开发大模型更加快捷便利，提升大模型的效果与效率。
降本：这也是许多企业关注的问题。千帆大模型平台极致利用资源，为用户提供远超预期的性价比。

千帆大模型平台一直致力于为用户提供最全面、最优质的大模型能力，方便企业开发者进行对比选择。目前千帆预置模型数量已经达到了 54 个，位居国内数量第一。这些模型中不仅包括了像 ERNIE-Bot 4.0 这样的文心大模型，也有很多第三方的开源和闭源大模型、行业大模型（如 ChatLaw 法律大模型、度小满轩辕金融大模型等等），服务于各行各业的用户。

这么多的模型对用户有什么价值？主要体现在以下两点：

AI 原生应用场景需求是多样的。千帆就像一个超市，能让开发者快速找到需要的所有大模型。举个例子，假如你想搭建一个类似如流的智能办公助手，除了基础的创作对话外，你会需要一些复杂的意图识别，甚至代码生成、图片生成的能力。千帆上集成了增强版 Llama2、SQLCoder、Stable Diffusion 等各具场景优势的大模型，可以帮助开发者快速完成场景落地。
大模型仍然处于爆发期、业界各种大模型层出不穷，对于开发者来说跟进、了解很难。千帆技术团队会对业界大模型保持密切跟进，遴选效果领先且最适合中国企业需求的大模型集成到千帆平台，确保开发者可以放心使用。

这些都可以帮助开发者降低试错成本，提高场景效果。

在选择好基础大模型后，下一步是对模型进行调优。千帆大模型平台在模型精调和持续预训练上做了新升级。支持国内外的优质大模型在千帆大模型平台上进行调优，涵盖文本生成、文生图、代码生成等多种应用场景。

SFT 新增 Llama2 13B 大语言模型、ChatGLM2-6B 模型、Baichuan 2 模型、Stable Diffusion XL 文生图大模型、SQLCoder 大语言模型。千帆对开源模型做了进一步的中文增强，以提升模型的训练效果。
对于大模型持续预训练（Post-pretrain）的训练模式，可以应用在教育、医疗、法律等多个行业，企业用户可直接训练得到专属的大模型。

同时，千帆在数据处理和训练中不断优化加速策略，并且能够自动感知训练过程中的异常问题，并自动解决。