百度沈抖：AI新基建

11月12日，百度世界2024在上海举办。会上，百度集团执行副总裁、百度智能云事业群总裁沈抖围绕AI新基建，介绍了百度智能云如何通过打造全新的基础设施，以大模型及其应用助力企业加速实现智能化升级。

沈抖表示，这套基础设施有两个关键组成部分，一个是千帆平台，作为大模型精调和应用开发平台，为客户提供丰富的工具链；另一个是百舸平台，为客户提供稳定、极速、高效的算力服务。

百度集团执行副总裁、百度智能云事业群总裁沈抖

以下为演讲全文：

大家好。

听了Robin和海峰的分享，我相信大家都能感受到，大模型正在从技术变革走向产业变革。无数的AI原生应用，正在重新定义我们与数字世界乃至物理世界的交互方式。

这些应用已经深入到企业“研产供销服”的各个环节，成为企业提升竞争力的关键要素。

传统的云计算已经无法支撑大模型应用的快速发展。百度智能云在做的，就是打造一套全新的基础设施，围绕大模型及其应用，帮助企业加速实现智能化升级。

这套基础设施有两个关键组成部分：一个是千帆平台，帮客户做大模型和应用的开发和服务；另一个是百舸平台，为客户提供大模型相关的算力服务。

先来看看千帆。

千帆，作为大模型精调和应用开发的平台，提供了丰富的工具链，从去年3月份推出以来，大幅降低了AI原生应用开发的门槛，正如Robin刚刚提到，千帆上已经开发了超过77万个应用。随着应用的深入，尤其是在企业核心场景的落地，我们也在持续升级千帆平台，以满足客户开发企业级应用所必须具备的高度可定制化、大规模、高可用性、高安全性等需求，进一步打开企业应用的天花板。

今天我的第一个发布，就是工作流Agent！

我们知道，世界上很多事情是有规律的。这些规律，在企业里，就是工作流程，或者说是工作的“套路”。而且越专业、越复杂的任务，就越依赖流程。目前企业里大多数流程还停留在经验层面；即使实现了数字化，传统的工作流配置也只能让系统按照既定流程机械地执行任务。现在，通过千帆的工作流Agent，利用大模型强大的意图理解和泛化能力，我们可以将这些流程直接变成灵活的智能体！ 它可以像行业专家一样，充分理解、掌握这些“套路”，无论面对多么复杂的局面，都能做出明智决策并最终完成任务。

这么说还是有点抽象，我们看个具体的案例。

拿车险来说，作为一种风险保障，它对每位车主来说都很重要。每次到续保的时候，往往需要经历一系列复杂的比价和下单流程，有时这个过程会拖上一两个月。在这么长时间里，需要销售人员持续提供专业、细致的咨询服务，确保车主安心、省心，这对销售人员的要求是非常高的，大部分销售做的还不够完美。

屏幕上这张图，是我们从保险客户那里了解到的一套“车险续保”售前的“工作宝典”，分成三个阶段、8个环节，每个环节里还有大量的文档、子流程，非常复杂。企业里要培养一位这样的金牌销售至少得一两年。

而有了千帆平台，我们只需要一个小时，就能生成一个熟练掌握售前宝典的智能体。

现在，进入千帆。我们可以创建一个全新的工作流Agent。但为了节省时间，我给大家展示一个提前配置好的方案。

观看完整视频请移步原文

我们可以找到这个Agent。点击编辑，进入画布。我们看到，它已经把刚才“金牌销售”的工作流程完整地配置好了，而且每个节点都是可调、可配的。只要点击发布，这个工作流Agent就上线了。

它可以非常方便地集成到任何需要触达用户的地方，包括百度搜索、微信公众号，也可以是企业的官网或业务系统。

当我们把它集成到我们的智能客服产品“客悦”里，它就成了一个会打电话的“金牌销售”了。我们现在就通过客悦的外呼系统，给舞台上的手机打一个电话，测试下效果。（以下为对话实录）

观看完整视频请移步原文

沈抖先生：好，现在选“续保Agent”。然后输入这部电话号码，点击拨测。

车险销售：喂，您好！

沈抖先生：您好。

车险销售: 先生，您好！我是“小熊保险”的小赵，看到咱们家的车险11月30号就要到期了，我帮您办理一下续保吧？

沈抖先生：你们最近老是有人给我打电话。你们太贵了。

车险销售：嗯，理解的。其实买保险就是图个安心和服务。咱家公司服务好，出险快，网点多。遇事能第一时间帮您解决。

沈抖先生：我觉得还是有点贵，其它家更便宜，而且还送很多东西。

车险销售：嗯，理解。您提到价格，那我给您细算一下，您两年没出险，今年至少7折，能优惠不少。去年我们送了故障救援，出险代步车；今年还加送年检代办。您看这样行不？

沈抖先生：我再问你个别的事，你们公司有高端医疗险吗？

车险销售：是这样的。我们公司有高端医疗险，您要是对医疗险感兴趣，我把专业负责医疗险的同事推荐给您，让他给您详细介绍。车险这块您放心，我们给到您的肯定是最大优惠，您看考虑现在续保吗？

沈抖先生：行吧，我还是再想想吧。

车险销售：好的。我们最近有个双十一拼团活动，能再减300。您今天续的话，我给您直接按团购价！错过今天就很难有这么好的优惠了！您看现在续保怎么样？

沈抖先生: 那现在到底优惠多少？都送什么东西？

车险销售：我看看哈，那我给您详细说说。您去年的保费是1.2万，今年因为两年没出险，能优惠3505元，再加上双十一团购减300元，最后保费是8195元。而且，今年我们还额外送您年检代办服务。现在续保真的划算！您看可以现在续吗？

沈抖先生: 行，那就续吧！你待会把链接发我。

车险销售：嗯好的，稍后我把链接发您手机上，请您查收，祝您生活愉快，再见。

可以看到，Agent已经灵活掌握了这个工作流程。

它是怎么做到的呢？我给大家看一下我们在测试环境下的录屏。

观看完整视频请移步原文

现在屏幕右侧显示的就是实际的对话；左侧是Agent意图理解、路径选择、思考回复的过程。

对话的过程中，Agent会先去理解我们的意图，根据意图选择应该执行的步骤，然后去思考具体的回复。

在碰到“流程外”的对话场景，比如刚才我提到的“高端医疗保险”这种“题外话”，传统的工作流产品肯定就不知道怎么回答了。但我们的工作流Agent会结合企业知识库里关于医疗保险的信息，很好地给我们“兜底”；而且它最后还会把话题拉回“车险续保”这条主线，展示了Agent的“控场”能力。

可见，千帆的工作流Agent，已经具备了给企业提供“数字员工”的能力，而且可以适应不同岗位的工作职责，快速规模化，大幅提升企业效率。

刚刚演示的这个“金牌销售”，就是和我们的保险客户在一起做的探索和实践。

刚才Robin介绍了我们和百胜中国的合作，百胜正是千帆平台和客悦的第一批客户。今天，我们请到了百胜中国首席技术官张雷女士来到现场，为我们分享百胜在大模型时代的创新探索。有请张总！

百胜中国CTO 张雷

大家好！我是百胜中国的CTO 张雷。非常高兴有机会来到这里与大家分享百胜中国在数字化领域的一些成果和规划。百胜中国目前有肯德基、必胜客等6个品牌，超过一万五千家门店。在刚刚过去的第三季度，肯德基与必胜客会员总数突破5.1亿，数字订单占比约90%。

百胜中国始终走在中国餐饮行业数字化、智能化的前沿。

10年前，随着移动互联网崛起，我们启动手机自助点餐的探索，开启了数字化的进程。过去几年，我们着力打通从农场到消费者的全链路底层能力，进入端到端数智化阶段。

在门店端，我们通过数字化和AI能力不断推动管理效率提升。我们的数字化创新也赋能上下游伙伴，确保了供应链的高效运转、严格的食品安全，以及卓越的消费者体验。

大语言模型问世以来，我们积极投入到生成式AI的探索之中，并成功应用于多个实际场景。

过去两年，百胜中国与百度在多个领域展开合作，特别聚焦在大模型平台和生成式AI的探索上，在千帆平台和客悦产品上与百度开展了深度合作。

近期，借助文心大模型，我们上线了AI智能客服系统，协助我们每天处理超过15万次的消费者沟通。

经过增强的BOT客服能够更加精准地识别来访意图，以满足他们的需求。目前BOT客服的问题解决率提升到了90%。

在人工客服辅助方面，大模型帮助快速归纳消费者诉求，辅助客服更快速、更精准地回复，整体效率提高10%。

此外，大语言模型嵌入到客服管理系统，实时评估客服服务质量，这使每一次消费者来访都成为我们不断改进的样本，进一步提升了客服的服务水平。

新的AI时代，百胜中国的数字化理念，也可以用 “AIGC”来概括：

Agility：底层AI技术能够敏捷且灵活地升级迭代，提升创新效率
Integration：将生成式与决策式AI相结合，扩大业务收益
Generality：建设通用的AI能力，新场景可快速复用，降低创新门槛
Collaboration：我们会持续与百度等业界领先的AI企业合作，始终站在技术前沿

百胜中国是最早开始使用生成式AI的餐饮企业。在未来，AI技术会作为百胜中国数字化版图的重要基石。我们将以AI原生的方式在管理、运营、生产和交易的各个方面进行重构。AI应用时代已来，百胜中国将于大家一起共创未来！谢谢大家！

谢谢张总！

感谢百胜选择百度智能云！正是客户的信任，让我们不断去探索最前沿的技术，持续为客户创造价值。

我们知道，在行业应用中，想在客户的特定场景里低成本达成好效果，往往需要定制模型。

在千帆平台上，通过精调一个参数规模较小的基础模型，只需要几小时，客户就可以在特定业务场景中，获得比参数规模大很多的基础模型还要好的效果。

我认为，从某种程度上说，精调模型的数量反映了大模型与产业结合的深度。 今年以来，这个数量增长地特别快。

光是百度内部的业务，每天就有200次模型精调，在千帆上，每天15亿的大模型调用里，超过一半来自于这些精调后的模型。

千帆3.0上提供了完整的工具链，是业界首个上线DPO、KTO这些模型训练方法的平台，提供了业内独家的高质量通用语料数据和开箱即用的模型精调样板间。 无论您是想要自己准备数据、做精调，还是想快速上手、复制行业最佳实践，千帆都可以高效支持。

我们的客户全诊医学是一家医疗AI创新公司，他们打造的AI智能医疗助理已经服务了50多家三甲医院和15000多家中小医疗机构。

观看完整视频请移步原文

这个助理的重要功能之一，就是用AI来节省医生原本要花在整理和书写病历上的大量时间。它能在医生问诊的过程中实时记录对话，精准理解不同方言和医学术语。问诊后，它只用2秒就能生成病历草稿。

为了让病历更准确、更规范，进一步提升病历内涵质量·，客户用20万份精标病历数据做了模型精调。屏幕左边是精调前的效果，能看到还是有一些口语化、不够专业的内容。屏幕右侧是精调后的效果；用语更准确、更规范。

精调模型后，病历生成的准确度提升了45%。用了这个AI医疗助理，因为节省了写病历的时间，医生的接诊量提高了20%多。

能有这样的效果，是因为客户积累、精标了丰富的行业数据用于模型精调。但对于更多的企业来说，人工精标数据成本高、周期长，很难干。

我今天的第二个发布，模型蒸馏解决方案，就是给大家提供完整的工具链，包括合成数据在内，帮大家快速启动模型精调。

以百度的电商数字人直播平台为例。它底层有好几个模型，用来与观众互动和产品介绍。

这些就是蒸馏出来的模型。我们先用ERNIE 4.0 Turbo萃取训练数据，然后通过数据筛选、洞察和处理，制作成用于精调的数据集，去精调轻量级大模型ERNIE Lite。蒸馏得到的模型，只需要旗舰级模型10%的成本·，速度超快，而效果跟旗舰模型基本持平。

模型上线以后，数字人直播间的互动率上涨了11%·，带货的转化率也有明显提升。

一般来说，一旦您的应用上线了，就会源源不断地产生宝贵的业务数据。您把这些数据反馈给模型，经过持续的模型迭代，模型效果会越来越好，您的应用也会越来越强。这就是我们常说的“数据飞轮”。

千帆是业界首个提供完整数据飞轮解决方案的大模型平台，提供了建设数据飞轮所需要的一系列工具！

刚才分享的是千帆企业级能力落地的几个案例，其实千帆在金融、医疗、教育、汽车、工业、交通等多个领域都得到了客户的广泛认可。我们再举一个例子。

国家电网，作为支撑经济命脉和能源安全的头部央企，在智能化方面持续创新、引领着潮流。

去年开始，国网公司和我们一道，基于文心大模型和千帆平台，结合电力行业的高质量数据，共创电力行业大模型基础底座，在调度、设备、营销等六大专业领域深入探索AI原生应用。目前，已经在电力设备运检、供电服务等电力行业核心场景成功完成应用落地，近期国网就会正式对外发布相关成果。

为了进一步降低应用的门槛，我们也基于千帆自研了几个应用样板间。供大家直接选用。我们以数字人为例给大家分享一下。

前不久，我们发布了曦灵4.0。现在曦灵的能力再次升级，不但可以一句话生成企业所需的3D数字人形象，还可以让这些数字人动起来、生成专业的视频！

我们知道，短视频是品牌“种草”和转化的有效方式，往往店铺里的主推商品都需要配上短视频。但是视频的制作成本很高，通常一个短视频需要专门的团队，拍多个场景，逐条剪辑，工作量非常大。现在有了大模型和数字人，短视频的制作周期，可以压缩到分钟级！

怎么做的呢？我们进入曦灵。

我们之前已经发布了文生3D数字人的能力。

观看完整视频请移步原文

您可能已经有了自己的IP形象。假设您想要卖这样一套衣服，就可以直接导入衣服的3D设计文件，稍等片刻，就可以完成快速换装。即使没有3D文件，曦灵平台也可以帮助客户快速制作。

接下来我们就去生成视频。

观看完整视频请移步原文

生成视频的需求说明文档可能很长，我们不用对需求逐一拆解，直接把整个文档丢给它，曦灵就可以提取关键信息、理解我们所有的要求，生成相应场景的视频片段。

我们来看看生成的效果。

观看完整视频请移步原文

过去需要专业团队花好几天才能完成的任务，在曦灵上只需要输入一段文字，几分钟内就能生成。不仅满足品牌的需求，还严格遵循品牌内容规范，这就是“企业级”的体现。

这个能力再有一个多月就会开放邀测，感兴趣的朋友可以关注百度智能云曦灵平台的官网，参与体验！

随着应用的爆发式增长，模型的训练和推理需求也在大幅提升。算力的成本和使用效率变得更加重要，直接影响了模型能力升级和AI应用大规模落地的速度。

为了给大家提供高效的算力，我们也在持续打磨我们的算力平台，百舸。

从集群创建、开发实验到模型训练、模型推理，百舸4.0为客户提供稳定、极速、高效的算力服务。

为了支撑大模型的进一步高速发展，我们可能是行业内最早打磨10万卡集群能力的厂商之一。

它解决了两个问题。

一个是卡的供给。目前国内的芯片供应仍然紧张，企业要确保供应链的安全和弹性，一云多芯是必然选择。目前，在万卡规模上，我们将两种芯片混合训练下的效率折损控制在5%以内，保持了业界领先。

第二个难题就是跨地域的机房部署。要部署10万卡这么大规模的集群，光是在物理空间上就要占据大概10万平方米的地方，相当于35个我们现在所在的会场。而且这些服务器一天就要吃掉大概300万千瓦时的电力，相当于北京市东城区一天的居民用电量。这么大的空间和耗电量，传统的单一机房模式很难满足，而跨地域部署又会带来时延问题。通过提供高效的拓扑结构、跨地域无拥塞高性能网络和高效的模型并行训练等方案，在横跨几十公里的多机房组成的万卡规模的集群上，百舸可以把单一训练任务的性能折损控制在4%以内！这绝对是业界领先水平。

除了百度内部的客户，百舸也在广泛的服务外部客户。无论是希望使用公有云、快速启动的企业，还是希望自建智算中心的客户，任何算力需求，百舸都可以满足。

围绕着由大模型平台和算力平台组成的新型AI基础设施，我们打造了“人工智能”全栈技术服务体系。 它的内核就是千帆和百舸组成的万源系统；我们在它的基础上推出了面向不同行业的增强版千帆，并且携手行业里广泛的生态伙伴，打通应用创新的“最后一公里”。我们相信，AI原生应用一定会在B端大爆发，而且这个时刻已经到来！

让我们携手并进、共同探索，让智能，生成无限可能！

谢谢大家！