垂直且封闭的行业如何训练自己的大模型？

PowerData

编者荐语：

来自PowerData-李钊丞的优秀文章

以下文章来源于阿丞的数据漫谈，作者阿阿丞

[

阿丞的数据漫谈 .

聚焦数据及人工智能领域，不定期分享能源行业知识、数据科学、学习笔记等。尽可能All in 原创。

](#)

HELLO 更多趣文请关注阿丞的数据漫谈

前言

续接上篇《大模型如何在垂直且封闭的行业（如电力行业）扎稳脚跟？》，本篇以What、Why、How、Think四个主章节来分析：

对于垂直且封闭的行业，如何训练自己的行业大模型？

对于行业内有进一步需求的企业，如何训练出自己的企业大模型？

What：什么是垂直领域大模型？

垂直领域大模型是指针对特定行业或领域进行优化的大语言模型。与通用大模型不同，这些模型通过在特定领域的数据和专业知识上进行额外训练，从而在该行业的任务中表现出色，具备领域专业性强、输出质量高、特定任务效果卓越的优势。

大模型在行业应用中的演进路径:

随着技术的发展，大模型在各行业的应用逐渐深化，形成了从基础到定制化的四级演进体系：

第一级：基础大模型

这是最广泛的层次，直接面向终端用户提供调用服务。根据部署模式，市场结构分为私有化部署和云服务提供商；按照模型类型，则有开源和闭源之分。参数规模从数十亿至数百亿不等，企业可以根据自身需求选择合适的基础大模型作为起点。

第二级：行业大模型

为行业专属应用设计，提供API接口以支持下游开发者构建更加精细的垂直领域模型。相比第一级，它需要融入大量区别于其他行业的独特知识、数据及流程，建立专门的行业知识库。只有掌握了这些行业特有的know-how，大模型才能真正满足行业的特殊需求，发挥其最大效能。

第三级：业务大模型

此阶段的模型专注于为通用业务场景提供强大的支持，例如财务、法律、办公自动化、人力资源管理等领域。通过API接口或直接集成到企业现有系统中，业务大模型能够显著提升工作效率，简化操作流程，并为企业决策提供有力支撑。

第四级：企业大模型

在第三级的基础上进一步发展，形成企业专属应用的能力。这类模型不仅限于私有化部署，还允许企业在行业大模型的基础上进行深度定制，包括进一步的训练、推理和微调，以适应企业的具体需求。这使得企业内部用户可以直接调用高度个性化的大模型服务，确保每一项业务都能获得最贴合实际的支持。

随着大模型应用的不断深入，从广泛的基础模型到高度定制的企业专属模型，每一步都在逐步增强模型对特定环境的理解和响应能力，为企业提供了越来越精确、高效的解决方案。这种渐进式的演进路径不仅反映了技术的进步，也体现了市场对于个性化、专业化服务日益增长的需求。

Why：为什么建设垂直领域大模型？

在垂直且封闭的行业中，大型科技企业和其提供的通用大模型往往因缺乏特定领域的深度数据集，而难以提供卓越的模型能力。无论是开源还是闭源的基础大模型，在这些特殊领域中通常只能处理较为基础的任务，如简单的问答、文本生成与总结等。然而，随着行业内部需求的增长，应用场景逐渐丰富，对于定制化解决方案的需求也愈发迫切，这为大模型的实际落地提供了广阔的空间。

对于涉及民生、国防、安全监管等关键领域的中大型ToB/G企业而言，私有化部署、训练和应用是必不可少的选择。由于这些行业的敏感性和高标准要求，它们对数据隐私和安全性有着极高的重视，因此在内网中进行一切操作是必须的。这种做法虽然保证了数据的安全性和合规性，但也意味着企业在获取最新模型迭代和技术进步方面可能会稍显滞后。

鉴于上述挑战，建设行业内企业级的专属大模型成为了不可避免的发展路径。通过专门针对行业特点进行优化的大模型，不仅能够更好地满足业务需求，还能确保技术应用的安全可控。

需求驱动场景：行业内部不断增长的需求催生了多样化的应用场景，从而推动了对定制化大模型解决方案的需求。
私有化的重要性：考虑到行业特性及高安全性要求，私有化部署成为保障数据隐私和应用安全的关键措施。
专属大模型：为了解决行业场景下基础大模型能力不足的问题，建设企业级专属大模型成为必然选择。
持续发展与适应：通过建立专属大模型，企业能更精准地解决业务痛点，并且根据实际需求快速调整和升级，确保长期竞争力。
04
How：如何建设垂直领域大模型？

问题一：如何筛选出适用于中文的、推理和生成能力都比较好的基座模型？

明确场景需求，然后分析该场景对模型的性能、推理速度、资源消耗等方面的要求。
考虑到模型性能，这个根据开源的模型榜单即可，然后部署测试一些通用类问题来测试模型的幻读、推理等能力。
要考虑到模型的易用性和可扩展性，以及社区的支持程度，同时进行模型的对比和测试，在实际数据上进行测试，验证模型的性能和效果。

问题二：如何做出一个高质量的数据集？

明确数据的需求和目标，选择可靠的数据来源并进行验证。然后在数据清洗和预处理过程中，要确保数据的完整性、准确性和一致性。
规范数据的格式和命名，确保数据安全和隐私保护，定期监控和更新数据集以保持其质量。

如果结合大模型的能力去构建高质量的数据集，建议要特别关注这几点：

选择适合大型模型的数据集规模和类型，确保数据量足够支持模型的训练和泛化能力；
进行数据清洗和预处理，以确保数据的质量和一致性，特别是在处理大规模数据时，需要采用高效的算法和工具；
对数据进行标准化和格式化，以满足大型模型的输入要求，例如对文本数据进行分词、词向量化等处理；
进行数据质量评估，使用各种指标和技术评估数据的完整性、准确性、一致性等方面；
建立数据集的文档和元数据，记录数据集的来源、处理过程、质量评估结果等信息，以便后续使用和管理。

问题三：大模型需要怎样的预训练数据？

高质量高质量数据集能够提高模型精度与可解释性，并且减少收敛到最优解的时间，减少训练时长，信源权威可靠、内容价值观对齐，专业领域知识达到标准。
大规模《Scaling Laws for Neural Language Models》中提出LLM模型所遵循的“伸缩法则"(scalinglaw)，即独立增加训练数据量、模型参数规模或者延长模型训练时间，预训练模型的效果会越来越好。
多样性数据丰富性能够提高模型泛化能力，过于单的数据会非常容易让模型过于拟合训练数据

预训练数据集需具备以下特性：

相关性:回答是否和问题相关，避免答非所问。
准确性:是否准确，事实性回答要求完全一致，开放性问答要求语义相近。
完备性:是否涵盖了所有要点、有总结、有分析、有扩展等。
连贯性:是否表达流畅、有条理、有逻辑性安全性:是否包含粗鲁、侮性等词汇。
专业性:不口水话，不啰嗦，书面用语，专业表达。
敏感性:是否涉及到政治领域、黄反、敏感上事件等负面信息。

问题四：我们如何制作符合上述标准的数据集？

创建数据集：创建通用数据集建议以（Prompt+Response或Prompt+多Response的格式）创建，并且对于推理数据集以（prompt+response+completion的格式）创建。（通用数据集用于模型推理和微调、推理数据集用于模型评估）
数据标注数据标注以（Prompt+Response或Prompt+多Response的格式）的形式实现。
数据处理
异常清洗，文档内修改/去除问题字符串，比如替换中部分异常文本，删除多余空格等。
数据过滤，根据一些规则或模型指标，从语料库中删除整个文档，比如删除太短的、字符重复太多的文档。
数据去重，去除相似文档，减少算力浪费，降低过拟合风险。
数据脱敏，匿名化，去除账号、密码、电话号码等敏感信息。
数据管理对制作好的数据集进行版本、权限、归档等管理。

需注意：吸取大数据发展经历过的经验教训，在一开始，就对数据集和知识库做好如质量、血缘、元数据等管理，建立完整的行业内企业级的模型评估标准、数据集打分标准、大模型应用评分标准、数据集管理标准等。

问题五：如何基于基座模型和数据集，调教出一个性能优秀的垂直大模型？

模型选型，需要仔细选择与任务和数据特性相匹配的模型架构。这可能涉及选择深度学习模型（如卷积神经网络、循环神经网络）或传统机器学习模型（如决策树、支持向量机）。
数据预处理，包括数据清洗、特征工程、特征选择等步骤，以确保模型能够从中学习有效的模式。
模型训练，模型训练过程中需要注意调整模型的超参数以优化性能。这可能包括学习率、批量大小、正则化参数等。通过在验证集上进行反复实验和评估，找到最佳的超参数组合。
模型评估，使用训练好的模型在测试集上进行评估，以了解模型在真实数据上的性能表现。根据评估结果，可能需要进行模型调整和迭代，例如调整模型结构、增加数据样本、改进特征工程等，以提高模型的准确性和泛化能力。
迭代优化，将经过调教和优化的模型部署到生产环境中，并建立监控系统来持续跟踪模型的性能。随着时间的推移，可能需要对模型进行定期更新和维护，以适应数据分布的变化或者提升模型的性能水平。
05
Think：建设过程中的一些思考
场景为先，价值导向：为了使大型模型真正为企业创造价值，须紧密围绕具体的业务痛点进行定制化设计。解决方案需直接应用于实际工作场景中，以提升效率并削减成本。通过聚焦于解决特定问题，确保模型的应用能为企业带来实质性的利益。
高质量数据集的构建：有效的大模型离不开大量且高质量的数据支持。构建一个适合垂直领域的数据集是成功的基础，它不仅决定了模型的理解能力，也影响了其预测精度和应用效果。
精准的技术选型：依据企业的具体场景、资源和技术能力，选择最适合的技术路径至关重要。预训练-微调（Fine-Tuning）、检索增强生成（RAG）等，应根据应用场景和需求做出最佳技术决策，实现模型的高效落地。
成本效益分析：在建设企业级大模型时，数据集的构建往往占据了软件成本的大部分，遵循着二八原则——大约80%的成本投入在于数据获取与处理，而20%则用于模型训练。因此，在规划初期就应对成本结构有清晰的认识，并确保投资合理。
强化安全性：考虑到数据隐私的重要性，尤其是对于电力、金融等行业而言，私有化部署和训练可以最大限度地保障数据及应用的安全性，防止敏感信息泄露。
ROI为核心考量：无论是否自行构建大模型，或是仅调用现有模型服务，衡量投资回报率（ROI）始终是关键。企业需要评估自身是否有明确的需求和应用场景来支撑这一决策，确保每一笔投入都能产生预期的经济效益。
持续迭代优化：随着外部环境和技术的发展，垂直领域的大模型也需要不断更新和完善。建立灵活的反馈机制，能够帮助企业快速响应新挑战，持续改进模型性能。