企业落地行业 AI，如何找到非大模型不可的应用场景？

开源社KAIYUANSHE

以下文章来源于GOSIM开源创新汇 ，作者GOSIM 开源创新汇

[

GOSIM开源创新汇 .

GOSIM源于全球开源社区的共同愿景。这个完全以志愿者为基础的项目由社区组织并为社区服务，其首要目标是：提供一个舞台，让创新的开源项目能够在这里大放异彩、相互协作并不断发展。它不仅是一个平台，更是一个全心全意拥抱开放、多元和包容文化的运动。

](#)

AI 2.0时代，人工智能技术的狂潮迅速席卷全球，ChatGPT 和其他大模型在不同领域大放异彩。漫长的“AI 寒冬”结束后，人工智能进入了新的高峰期，更是各行各业在这场技术浪潮中迎来了百花齐放的新时代。从医疗到金融，从教育到制造，人工智能正在深刻地改变着我们的生活和工作方式。这个时代的到来，让我们不得不重新审视和思考人与技术之间的关系，以及未来的发展方向。

由 GOSIM 开源创新汇主办、CSDN  协办的开源创新大会（GOSIM Con 2023），汇聚了来自国内外近百位顶级开源专家、开源项目领袖和企业代表，共同以全球视野剖析开源发展现状，探究前沿技术机遇，分享优秀开源社区建设心得以及创新实践。这场集结行业智慧的盛会，为推动人工智能和开源技术的融合提供了一个独特的机会。

对于企业 AI 如何落地，GOSIM 携手开源社共同策划了题为「大型语言模型垂直用户案例」的圆桌论坛，我们邀请到行业的代表人物，囊括了全球领先的技术公司、中国互联网企业的领头军、基金会的代表和 AI 初创公司。行业顶尖高手们在讨论中思维碰撞，从不同角度发表了自己的洞见以及具体的实践探索，我们特别整理出精彩内容，希望给大家以启迪。

“大型语言模型垂直用户案例”圆桌论坛

论坛嘉宾：

韦青  微软（中国）CTO

汪源  网易数帆总经理

谭中意  星策社区创始人、开放原子 TOC 主席

许哲楠  医者科技 CTO 

主持人：

陈阳  开源社理事长

视频回放：

https://www.bilibili.com/vide...

陈阳：谈到大模型与行业的结合，就不得不考虑到这个行业的横向特性。大模型具备着不少公有知识，而垂直行业的实际应用则是在特定领域内进行的。这时，我们该如何区分公共领域知识与专业领域知识？特别是在人工智能最初应用于垂直行业和场景时，我们能够观察到哪些最新的趋势和机会？

韦青：作为微软首席技术官和一家合资公司的总经理，我对这个话题有很多实践操作中的体会。我既会从技术推广的角度看待问题，也注重具体技术在实际业务中的应用。对于大语言模型，包括其背后的机会和风险，需要从不同角度思考。在企业层面使用时，关注模型训练和测试的角度与仅仅了解模型的训练和测试有所不同。

无论是大模型还是 GPT，我们最终使用的是它们的知识。将大语言模型理解为人类的公共知识，类似于阅读公共课本。所以，我会进一步区分知识的三个层次：公共领域知识，领域知识，以及根据企业行为和客户业务形成的“专有知识”。

2022年7月，OpenAI 的首席科学家 Ilya Sutskever 有一个采访，主持人问他如何看待 AI 的未来，Ilya 就提出了两点：

1. AI 的未来就是 Data（数据）。不是普通的数据，而是很难找到的数据，是别人找不到的数据。

2. 不要只看今天，要看两到四年之后的变化。

这让我想到2014年 iPhone 刚发布时，在整场大会的最后三十秒，乔布斯引用了著名冰球运动员韦恩·格雷茨基的一句话：“我滑向冰球即将到达的地方，而不是它经过的地方”（I skate to where the puck is going to be, not where it has been）。韦恩·格雷茨基之所以能成为冰球皇帝，就是因为他的父亲一直教育他别老跟在冰球屁股后面跑，要考虑冰球去哪了，在哪儿等着会让成功系数更大一点。

在实际应用中，我想分享微软内部的经验。许多工程师从2022年9月份开始使用大语言模型，而内部使用的工程师也和大家一样，都有学习的过程：一开始都觉得 ChatGPT 演示起来非常神，然后在用了一段时间之后发现没有那么神，因此纷纷投入学习。

学完之后我总结了四个字，也是我自己的体会：教、学、习、用。我们关注在人工智能、大语言模型的时候，更多关注的是这个代表机器学习的“习”字，但其实这个“教”也是非常重要的。我们要教了之后大模型才能开始学，学完之后要“学而时习之”，习了之后变成真正的应用——这还早着呢。

前段时间黄仁勋先生说现在 AI 到了 iPhone 时代，而 iPhone 是在2007年的七八月左右发布的，到了2008年、2009年出现了 App Store 热门应用，比如愤怒的小鸟等，那我们扪心自问一下：这些热门应用到了今天还有几个装在我们的手机上呢？我的意思就是，现在大家都在盲人摸象，吹的所有东西极大概率再过五年都不在了，而在此之后才是真正的应用时代，智能将无处不在。

这时再退回来想一想，我们每天晚上一睁眼到睡觉之前的活动，有通勤、工作、开会、写代码、娱乐、社交、吃饭等等，如果把每个环节用 BPMN（Business Process Model and Notation，业务流程建模与标注）的方式再拆散了，通过大模型赋能我们的生活。所以严格意义来讲，真正伟大的技术最终一定会变成陷入于无形的技术，大语言模型什么时候遁入无形，我们就开始干正经的活了。

韦青  微软（中国）CTO

汪源：网易是一家有一定代表性的互联网 & 企业服务公司，所以我想分享一些网易在 AIGC 方面落地实践的经验。网易对 AIGC 的落地反应还是比较快的，在2022年春节之前就召开了过发布会，而这里面分成几个场景：

1. 网易的知名业务就是游戏和教育，所以我们两个对外的大模型「玉言」和「子曰」也是由游戏 AI 和教育 AI 训出来的，当然玉言模型也有我们研究院参与。游戏领域方面，大模型主要应用在游戏的 NPC 上，比如在《逆水寒》手游就使用了大模型技术做 NPC 的对话。而教育领域方面，则应用在口语对话中，比如把有道词典做成软件和硬件一体，提升消费者体验。

2. 对于公司内部而言，大模型对我们的生产环节提供了巨大的帮助。而网易其实最主要的就是生产两类东西，一类叫生产软件，也就是写代码；另外一类就是生产游戏所需要的美术资源，这个是网易作为一家典型的互联网企业两个最大的生产环节。在这两个最大的生产环节里，我们大量使用 AIGC 的能力，采用文生图的技术，能够比较有效提升生产力。目前，我们有15%~17%的代码是由 AI 来编写的，而非人类程序员。

在企业服务方面，能够看到今天有很多人做大模型的创业，思考能否将这个大模型做成一个产品卖出去。而网易目前把大模型应用在 BI 领域做成产品，我们称之为 ChatBI，已经取得了见效，是比较好的大模型落地的产品方向。大模型的产品方向有很多，网易自己的探索是将大模型用于探索分析、美术制作、编程软件编码。

而在垂直行业和场景方面，网易内部很少专注于前者，而是重点关注垂直场景。

首先，我们要思考什么样的场景对自己的基础有一定的背景上的优势。比方说，软件开发和数据分析都是典型的场景，它们在各行各业都有需要。

其次，需要思考产品的用途。刚才韦青老师也说了，大模型要化于无形。我会询问每一家大模型创业的公司：你们想做什么产品？你们想好了做什么产品了吗？这个产品假设大模型能够搞定的话，它的体验是什么样的？它创造了什么价值？

对于创业公司，首先要明确想要开发的产品，并在确保产品方向正确的前提下，再考虑大模型的应用。在初期，即便使用的不是自己的大模型，也可以先通过调用开放 API（例如 OpenAI 的 API）来验证产品的可行性。在产品方向明确的前提下，再逐步探讨大模型本身的问题，例如符合国家规定、大客户的私有化需求以及通用大模型可能涉及的 GPU 资源损耗等问题。

汪源  网易数帆总经理

谭中意：回顾自2012年以来人工智能的发展，传统的图像识别、搜索广告、推荐以及风控等场景，AI 都取得了显著进展。像谷歌和百度都是靠核心的 AI 算法来实现巨大的商业价值。然而，能撑得起这么大价值的行业或者场景是非常有限的，只有寥寥几个厂家可以用得上。随着大模型 AIGC、生成式 AI 的诞生，我们才真正看到了一种普惠式、能够被大多数行业都能够用起来的形式。

生成式 AI 首先提供了非常好的自然语言界面，能够让易用性提升上来；其次，可以让传统的软件进行深度的改造，诞生许多新的改进机会；最后就是能够利用思维链的方式，结合 Agent 集成软件，我觉得这都是能给各个行业带来的好处。

但从大模型应用到现在，目前来看在企业内部比较落地的场景主要集中在两处。

首先是企业内的知识库作为知识库查找助手。但大模型从本质上来说是不能够杜绝幻觉的，所以说很难向公共开放，只能先用在企业内作为各种知识库的助手。目前来看，60%到70%的场景都是这个方向。

第二个场景是业务智能（BI）领域，类似于汪源老师提到的 ChatBI。很多厂家都在做 BI 取数，这是增强数据查询能力的一种场景，也是商业化被证明过的场景，能提高分析师的查询能力。

当前最容易落地的领域主要是企业内部，尤其是一些低风险的场合，因为这有助于提高内部员工的工作效率。其次是游戏领域，特别是在处理 NPC 对话方面，能产生各种各样的玩法。随着对大模型幻觉的控制机制的改善，在更为严肃的 2B 领域内，大模型的应用将迅速增长。

谭中意  星策社区创始人、开放原子 TOC 主席

许哲楠：我想先聊一聊中医和西医的区别，我在实验室的工作偏向西医，而现在创业则偏向以中医为主的中西结合，也加入了运动医学和营养学等。西医是非常标准化和流程化的医学体系，有指南规范医疗流程。因为西医体系的标准化，通过知识图谱等规则化的方式完全可以做得很好，大模型技术会对其有提升，但是提升不会很明显。

相比之下，中医场景更为复杂。很多人之所以感觉中医是玄学，是因为中医是一门经验性医学，同时包含了经验性和规则性知识的复杂场景。用知识图谱去做规则知识的部分，用语言模型做经验性混沌知识的部分，就能很好得解决中医这类复杂场景下的问题。

特别到实际场景下，我们最先关注的是肺小结节（一种病症名），且业务更倾向于未病、亚健康状态，而不是严肃医疗。对于西医来说，小于8毫米的肺小结节通常不会过多关注，而中医则提供了一些干预方法，甚至可以使肺小结节缩小。所以我们致力于提供一个长期持久个性化的方案，通过实时的健康管家服务，包括食谱、食疗、运动等，来陪伴用户实现日常的个性化健康管理，改善肺小结节问题。

当然这其中会有很多技术的难题，简单在大模型上做微调是肯定不行的，我们进行了非常细致的数据处理、数据分割，并且做出 MoE（Mixture of Experts）的模型架构。这种架构包含一个主动给出路由的模型，以及负责不同步骤和领域的多个模型，完成整个中医长流程的看诊过程。如此一来，我们的成本有效降低，相比于大模型指数级的成本，MoE 架构只有线性的成本。

许哲楠  医者科技 CTO

陈阳：如今我们每天都广泛使用 ChatGPT，许多企业员工也开始频繁使用 OpenAI 和 ChatGPT 的技术。然而，在我们进行输入时，难免会涉及一些企业自有的数据，例如人名和敏感信息。从个人的角度来看，这是无法避免的，大家都需要使用。但从企业的角度来看，是否存在最佳实践和流程，以便合规地保护数据？

谭中意：数据隐私的问题非常明显，在企业内与外部大模型交互会泄露自己的企业信息，而这种条件约束给国内的大模型应用厂家带来了非常大的机会，也就是私有部署大模型的机会。私有部署大模型，则能够解决内容隐私安全的担忧，所以是解决当前国内信息化现状的有效途径。

第二个问题是如何在部署大模型的过程中实现数据隐私，不被下游客户所挑战。对此我分享一个观点：确保在大模型的每一级都做好数据安全和对齐的问题，而不仅仅是在最终生成模型时检查安全性。在大模型生成结果供用户查看之前，还需要进行多次过滤，将问题案例累积并放入数据循环中，以确保不再出现相同问题。所以说，在企业内部对大模型应用最好采取一系列严肃的工程措施。

韦青：首先，要认识到这是影响公司生死存亡的大话题。公司的先进性是一方面，在社会上的合规、隐私、保护、安全、包容、负责任、透明度，也会是这个社会对于公司的衡量标准。

在具体实践时，我的理解就是要“用魔法打败魔法”。因为大语言模型本身是原生的，既可以称之为是 Feature，也可以称之为是 Bug，如果去有意识地拦住什么东西，也许就会把有用的知识给拦住了。

所以我借用了行业内的方法，其中也包括刚才提到的 MOE 的方法，让模型去 PK 模型。因为大模型的本质是概率模型，就算它说对了，也是猜对的。你认为它说得不对是因为它跳出了你的认知圈，所以要通过使用很多的模型来理解目标模型的输出内容，用机器来监督机器。如果单靠人类的脑袋，可能就会适得其反，让模型的能力变低。

我们现在说的几乎所有对于大语言模型的担心，都是在拿一个确定性的眼光看它，要求大模型必须安全、可靠、合规。但别忘了大模型本身就是概率模型，我们要跳出约束和束缚。所以我倡导在航天领域的做法，他们会使用多数投票机制，让三台计算机同时计算一个结果，如果三台计算机计算的结果一样，那就推倒重来。

陈阳：在实战阶段，有一个问题就是要“避坑”。在做 AI 应用于行业的时候，有哪些难点和值得考虑的问题？AI 和行业落地时，有哪些难点和挑战？

汪源：网易现在其实也在探索医疗，我们避的坑就是需要拿到临床各种认证，但这并不是技术问题，所以这种坑我们就直接跳过了，只在医疗领域做面向它的科研场景，不面向临床。

谭中意：我来说一下，大模型 2B 当前最大的挑战是什么：

1. 找到高价值的场景，这也是目前所有从业人员都在寻找的地方。高价值场景大家很清楚，无非是搜索、广告、推荐、风控，个中这个收益都是能算出来的。要在其中投入的资源、机器和人力也是清楚的。

2. 大模型现在的典型应用还是助手，这种助手是可以提高效率的，但是效率提升很难用量化的方式给出收益。然而，大模型的训练和推理成本又非常的高，所以在阻碍大模型落地最重要的原因就是怎么找到一个切实的场景，把这个场景的成本大幅的降低下来，让创新的成本收益 ROI 更容易计算出来，让老板觉得值，值之后会有不断的人力和资源投进来，所有的工程问题都好解决，关键是能挣钱就好说。

许哲楠：有些人入坑时会急于上手和训练，凡事预则立不预则废。大模型的关键在数据，但很多人认为只要有了数据就能训练模型，不关注哪些数据是面向模型的，这肯定是不对的。这也是我们遇到过最大的坑、最大的经验教训，给我们带来了认知上的提升，希望大家可以避这样的坑。

韦青：我有一个切身的体会。AI 时代下，大家突然见到一个闪亮的工具，倾向于过度使用，期望通过"金锤子"（大模型）解决所有问题。这么做在早期是没问题的，但千万别认为能砸出什么东西出来，这只是玩玩罢了。我在选项目的时候，常使用反向思维模型，给工程师们提出挑战，问他们“这个项目能不能不用大模型？”不幸的是，我得到的所有回答都是这个项目不用大模型干了会更便宜、更快、更好。

这就是自我过滤的过程。面对一个项目，你可以反过来说“这事是挺好的，但咱们能不能不用大模型做？”，然后让团队开始反复挑战，直到这事必须得用大模型才能办成，这事就活了（能办成了）。

观众提问：2017年的区块链比现在还火，过了这么多年却发现没有那么热了，很难找到“非区块链不可”的应用场景。那能不能分享现在有哪几个场景必须用大模型？

韦青：这是挺关键的一个问题，还没有人窥见全局。

我个人探索的结论是两个字，数据。如果没有高质量数据，就无法完成先前提到的“教学习用”的“教”，只能依赖通用模型。通用模型无法解决核心竞争力的问题，但我觉得倒是有可能解决企业的成本下降问题，比如让程序员都用上 Copilot。

在没有数据的情况下，就没有专有的知识和模型。我们在具体的应用中也发现，在流程再造中，一些以前没有大语言模型的工具，需要用程序来实现的环节，大语言模型能够理解你的意图，提高自动化程度。当然，我更多地从企业级的角度进行思考，对于游戏和 2C 领域，我并不是特别熟悉。总的来说，我们需要将大语言模型视为一个工具，用于解决尚未解决的问题，而目前大家还仍在摸索中。

陈阳：请每位嘉宾结合自己企业 AI 实战经验，总结为一句金句，送给在场听众。

汪源：技术无价，产品为王。

韦青：刚刚开始，稍安毋躁。

谭中意：千行百业，我们都需要找到场景，然后把 ROI 打正，这个事才可以长久做下去。

许哲楠：技术只有优势，不存在壁垒，数据为王。

转载自丨GOSIM 开源创新汇

编辑丨王军

相关阅读 | Related Reading

开源大模型领域最重要的玩家们，在关心/担心什么

开源价值观：人类文明演进如何与现代商业共融

开源社简介

开源社（英文名称为“KAIYUANSHE”）成立于 2014 年，是由志愿贡献于开源事业的个人志愿者，依 “贡献、共识、共治” 原则所组成的开源社区。开源社始终维持 “厂商中立、公益、非营利” 的理念，以 “立足中国、贡献全球，推动开源成为新时代的生活方式” 为愿景，以 “开源治理、国际接轨、社区发展、项目孵化” 为使命，旨在共创健康可持续发展的开源生态体系。

开源社积极与支持开源的社区、高校、企业以及政府相关单位紧密合作，同时也是全球开源协议认证组织 - OSI 在中国的首个成员。

自2016年起连续举办中国开源年会（COSCon），持续发布《中国开源年度报告》，联合发起了“中国开源先锋榜”、“中国开源码力榜”等，在海内外产生了广泛的影响力。