乐言科技形成了完整的能力栈，发布了“乐言 GPT 大模型”

乐言科技致力于提升行业服务效率，核心业务之一是智能客服机器人，面向电商企业提供 AI SaaS+ 服务。其自主研发的电商智能客服机器人“乐语助人”（官网介绍视频：https://www.leyantech.com/themes/leyan/public/assets/video.mp4 ）适用于天猫、淘宝、京东等国内主流电商平台，基于自然语言处理、知识图谱、深度学习等领先的人工智能技术，具备充分的语言理解能力，可以模拟金牌客服的回复逻辑，进行买家咨询接待、业务问题处理、智能推荐、客情维系等工作。在降低人工客服团队营运开支的同时，大幅提升了客服人均接待效率与营销转化率，为电商商家创造了更多利润。目前，“乐语助人”每天服务超过 2000 万人次，与六万余家电商客户合作，提供 AI SaaS+ 全链路数智化解决方案，助力企业完成数智化转型。上海乐言科技股份有限公司累计 SaaS 软件年收入约十亿元，并积极探索海外市场，推出跨境电商 AIGC 解决方案，服务 400 多万海外店铺。

智能客服机器人业务量激增，自建消息队列面临诸多痛点在智能客服机器人系统中，“对话消息分发”是核心功能之一，对提高回复效率和处理高并发请求等起到关键作用。在系统建设初期，由于业务规模较小，开发与运维团队的规模及技术能力有限，乐言科技统一采用自建 Apahce Kafka 作为消息中间件，以实现业务解耦与流量削峰，增强系统的灵活性和可扩展性。同时，Apache Kafka 还作为各数据系统（如 AI、大数据等）之间的数据通道。因此，确保其消息服务流程的顺畅至关重要。然而，随着业务规模增长和系统复杂度增加，消息处理的精细化需求日益凸显，单一消息中间件架构需额外投入更多技术资源以维持效能，其扩展性与灵活性也逐渐成为系统演进的约束条件。同时，自建 Apache Kafka 集群的运维成本持续攀升，还逐渐暴露出系统稳定性不足、精准投递功能笨重等问题，导致运维压力倍增。

核心痛点如下：稳定性和弹性问题：公司核心业务系统共用 Apache Kafka 大集群。不同业务系统对集群的 IO 压力重叠，会造成彼此影响，例如：侧重高吞吐量系统可能会对延迟敏感的系统造成影响。而集群的扩容和缩容需要对分区进行重新均衡，也会对延迟敏感的对话消息造成稳定性影响。运维成本过高：为了应对共用集群带来的影响，公司对 Apache Kafka 集群进行了拆分。然而不同集群每天业务消息量的波峰波谷明显且差值较大，波谷期资源利用率偏低，容易导致资源浪费，造成成本冗余。此外，临时扩容周期长且需大量人力投入。无法精细化消息处理：Apache Kafka 仅充当消息管道，无法根据消息 Tag 进行精准消费和 SQL 过滤。业务系统为满足精准消费的需求，需要增加研发成本，基于 Apache Kafka Topic 进行额外开发，容易出错且灵活性很差，制约了我们新业务模式的展开速度。这在对接大客户的定制化需求时，尤为迫切。消息级别可观测性差：Apache Kafka 无法直接查看每条消息的详情和消费状态，无法满足问题排查和运营支持的需求，需要开发额外工具或系统进行支持。