大型语言模型在企业中的应用与挑战

在2023年QCon旧金山大会上，Nischal HP分享了如何利用大型语言模型（LLMs）释放企业价值的见解。他讨论了企业在仅使用API构建LLM应用时所面临的挑战，包括数据碎片化、缺乏共享的业务词汇、数据隐私问题以及利益相关者之间的目标不一致。

解决方案与数据基础

为了克服这些挑战，Nischal的团队建立了一个强大的数据基础，通过使用知识图谱创建企业数据架构，适应领域知识和词汇，并实施数据契约以增强数据可观察性。这一坚实的数据基础加速了大型语言模型的应用，为供应链行业客户提供了解决方案。

应用场景

这些解决方案涵盖了多种场景，包括风险缓解、ESG框架实施、战略采购、支出分析和数据合规。Nischal的日常工作涉及开发和管理数据与机器学习基础设施，包括多层机器学习模型和最新的大型语言模型技术。他的演讲动机是展示大型企业如何在考虑技术赋能、设计和数据隐私的同时实施机器学习模型。

防御性护城河概念

Nischal讨论了“防御性护城河”的概念，这一术语由沃伦·巴菲特提出，用来描述由不可逾越的护城河保护的经济城堡。在人工智能的背景下，他认为防御性护城河不是深度学习模型或大型语言模型本身，而是能够明智地理解在哪里建立护城河以及使用哪些现成的商品。

数据堆栈

Nischal的团队构建了一个数据堆栈，包括记录系统、智能系统和参与系统。记录系统涉及来自不同来源的数据，包括ERP系统、文档存储和自定义数据系统。智能系统包括机器学习推理层和基于代理的框架。参与系统涉及构建由多代理架构支持的对话式AI。

图神经网络提示

Nischal还提到，独立看到“图神经网络提示”这一概念是一种解脱，该概念涉及使用特定领域的知识图谱来指导大型语言模型的推理。这种方法可以帮助减少模型的“幻觉”倾向，即生成事实错误但连贯的答案。

可靠性与安全性

Nischal敦促从业者认真对待LLMs的可靠性、可预测性和可观察性，通过适当的使用护栏使其对所有人更安全。完整演讲将于2023年10月20日发布。