1

有一次,我看着一个 Kafka 消费者的 CPU 占用连续两天往上爬。那时候,我以为该换更大的机器了。

后来发现,根本不是机器不够。我需要的是性能分析工具,以及接受一个不太舒服的事实:吃掉 CPU 时间的,是 JSON 解析,不是业务逻辑。

这件事让我明白了一个道理,而第一次开发 API 时,几乎没人会提醒你。

JSON 并不是天然的“高速选项”。它只是默认选项。大家一直沿用默认方案,通常是因为没人觉得有问题——直到系统每秒开始处理几千条消息。

于是,我把自己真正用过,或者为实际项目评估过的序列化格式,重新梳理了一遍。不是那些在技术大会上听起来很厉害的名字,而是确实能在技术栈里找到位置的工具。

如果你只想先看结论,记住这三层就够了。每一层,对格式的需求都不一样:

  1. 对外接口层:人需要调试和查看数据,JSON 很合适。
  2. 服务间通信层:主要是机器互相交流,二进制格式加 schema,也就是数据结构定义,更值得考虑,比如通过 gRPC 使用 Protobuf。
  3. 流处理与缓存层:更关注结构演进和处理效率,Kafka 可以考虑 Avro,缓存可以考虑 MessagePack 或 CBOR。

JSON 是默认选项,却不一定最快。让格式匹配它所在的系统层级,才是重点。

一个很香的 AI 平台:GPT-5.6 低倍率且不降智 和 Claude Code 4.8 只要 0.25倍率,包含 image-2生图。重点是 首字请求都在 5s 内。入口:https://ai.aiyuhub.com

第一部分:我到底想错了什么?

以前,我理解的“快”,只有一件事:数据在服务之间传得有多快。

但这个问题,问得还不够完整。

因为传输数据,只是成本的一部分。

一份消息还要经历构建、发送、接收,最后再转换成应用能够使用的数据。

而在某些系统里,真正昂贵的环节并不是网络。

是解析。

JSON为什么可能慢?这也不能全怪它

JSON 是一种自描述格式。每次传输时,字段名都会以字符串的形式,跟着数据一起发送。

也正因为如此,JSON 很容易使用。

无论在浏览器、Postman、日志文件,还是终端里打开一段 JSON,我通常一眼就能看懂它在表达什么。

比如:

{
  "userId": 12345,
  "name": "Tushar",
  "email": "tushar@example.com",
  "isActive": true
}

这恰恰是 JSON 成为 API 默认格式的重要原因。

不过,这份便利也藏着成本。

每发送一次消息,字段名也要再发送一次。

userId、name、email、isActive。

现在想象,一个服务需要处理这样的消息几百万次。

这些名字,也就被反复写入、传输、解析了几百万次。

这并不意味着 JSON 不好。

只是为了让人读懂数据,JSON 携带了额外的信息,也因此需要完成更多工作。

而 Protobuf、Avro、FlatBuffers 这类基于 schema 的二进制格式,会提前约定数据结构,因此不必在每条消息里重复完整的字段名,主要传输字段值及必要的编码信息。

自描述格式会重复携带字段名;基于 schema 的格式,可以依据预先约定的结构解释数据。

放到真实业务里,这个问题就更明显了

想象一个电商系统。

用户下了一笔订单。看起来,好像只是一次 API 请求。

但在系统内部,这个动作可能触发一串消息:

  • 订单服务校验订单。
  • 库存服务检查库存。
  • 定价服务确认优惠。
  • 支付服务处理付款。
  • 通知服务准备邮件。
  • 分析服务记录事件。

如果这些服务频繁通信,系统每秒可能处理成千上万份小消息。

这时候,问题就变了。

你不该只问:

“JSON快不快?”

更该问的是:

“在系统的这个位置,JSON解析已经成为一项明显的成本了吗?”

我真希望自己一开始问的就是这句话。

一句话说清楚这笔交换

你放弃的是:直接阅读数据的便利。

你换来的是:更紧凑的编码,以及可能更高的处理效率。

这笔交换划不划算,取决于它发生在技术栈的哪一层。

这也是整篇文章的核心。下面的内容,就是把这张地图补完整。

第二部分:关于性能数字

我没有亲自做一套实验室级别的基准测试,而是参考了公开测试。核对这些结果时,我学到了这次梳理中最重要的一点:

性能差距,很大程度上取决于你使用的语言。

二进制格式通常具有解析优势,但差距大小取决于语言、实现和 JSON 库。

MessagePack与JSON

MessagePack 经常被描述为“二进制版 JSON”。

从技术上讲,这句话并没有说完所有区别,但拿来建立初步理解,确实方便。

你原本可能发送这样一段内容:

{
  "userId": 123,
  "name": "Alex",
  "active": true
}

MessagePack 则用二进制形式编码同样的数据结构。

通常,这意味着更少的字节,以及更少的文本解析工作。

不过,对于下面这种说法,我会保持谨慎:

“MessagePack永远比JSON快4倍。”

因为它并不是在所有环境中都成立。

  • 参考的公开对比中,MessagePack 在不少运行时里的解析速度约为 JSON 的 2—4倍,可查看详细比较。
  • 在 Python 中,相对标准库 json,部分测试能达到 3—5倍。
  • 但换成 orjson 这样的高性能 JSON 库后,差距可能缩小到 1.2—1.5倍。
  • 在 Go 中,收益也取决于具体实现和数据,不能照搬其他语言的结果。这里有一份 Go测试示例。

FlatBuffers

到了 FlatBuffers,某些性能图看起来甚至有点“不公平”。

它最大的优势,是不需要按传统方式完成反序列化。

应用不必先读完整条消息,再构建一套新的内存对象,而是可以直接从二进制缓冲区访问数据。

对于以读取为主的工作,这种设计可能非常快。

  • 在其官方基准测试中,反序列化相关指标有明显优势。
  • 原因是,它不需要先把整条消息解析成对象,而是直接从缓冲区读取字段。

说实话,我看着还是有点像“作弊”。

想象一个持续接收状态更新的游戏引擎。

它可能需要反复读取:

  • 玩家位置
  • 生命值
  • 背包内容
  • 对象状态
  • 物理数据

一遍又一遍。

如果解析数据、分配对象已经很贵,那么专门支持直接访问缓冲区的格式,就有了价值。

但换成一个普通的 CRUD,也就是增删改查 API 呢?

只是为了返回一次用户资料,却要编写 FlatBuffers schema、生成代码、维护工具链,再教所有开发者怎样查看二进制消息。

这很可能是在解决一个你根本没有的问题。

Protobuf

Protobuf 有意思的地方,是我并不把它看作某个单项指标上的绝对冠军。

我更愿意把它理解成一个综合表现很均衡的方案。

它提供了:

  • 紧凑的二进制消息
  • 自动生成的代码
  • 明确的数据定义
  • 跨语言支持
  • schema 演进能力
  • 良好的性能

说实话,这种均衡,可能正是它被广泛使用的原因。

  • 不必指望它在每个单项上都最快。
  • 它的价值,是体积、速度和工具生态之间的整体平衡,详见官方文档。

也正因为这种平衡,它才出现在那么多系统里。

一个典型场景,是公司内部的服务由不同语言编写。

比如:

  • API 服务使用 Go。
  • 推荐服务使用 Python。
  • 支付服务使用 Java。
  • 后台任务使用 Node.js。

这里当然可以用 JSON。

但 Protobuf 能让各个团队共享同一份消息定义。

每个服务不必分别维护自己理解的 Order 结构,而是根据同一份 schema,生成对应语言的代码。

到了这一步,它的价值就不只是速度。

数据契约,成了系统的一部分。

这种收益,很难靠一张性能柱状图衡量。

性能测试里,最容易被忽略的事

  • 迁移之前,先用自己的数据,在自己的语言环境里测试。
  • 优先试试适合当前技术栈的高性能 JSON 库。
  • 有时候,换格式还不如换解析器。后者可能只需要很小的代码调整,而前者需要引入一整套 schema 流程。

第三部分:每种格式,到底该放在哪里?

我最初的想法是:“找出最快的格式,然后到处都用它。”

真实团队通常不会这么做。至少,一个合理的系统不该这么选。

看过更多实际架构之后,我越来越清楚地发现:

不同层级选择不同的序列化格式,是因为它们要解决的问题不同。

一种格式在某一层非常合适,换个位置,却可能多余,甚至让人头疼。

现在,我会参考这样的地图:

flowchart TD
    Client["客户端:浏览器或手机"] -->|"REST/HTTP + JSON"| Gateway["API网关"]
    Gateway -->|"gRPC + Protobuf"| A["服务A"]
    A --> B["服务B"]
    B --> C["服务C"]
    A -->|"Avro"| Kafka["Kafka / Redpanda + Schema Registry"]
    C -->|"MessagePack / CBOR"| Cache["Redis / 缓存"]

一个简单的判断原则:人经常需要查看的数据,优先考虑 JSON;主要由机器处理的数据,可以考虑二进制格式。

gRPC

按层选择格式:对外接口使用 JSON,服务间通信使用 Protobuf,Kafka 消息考虑 Avro,缓存考虑 MessagePack。

Protobuf:很多时候,是跟着gRPC一起出现的

大多数开发者不会某天醒来,突然决定:

“今天我要采用Protocol Buffers。”

他们通常是先选择了 gRPC,才接触到 Protobuf。

对我来说,这个区别很重要。

刚开始比较格式时,我主要把 Protobuf 看作 JSON 的高速替代品。

但在真实系统里,它往往属于一个更大的架构决策。

你选择用 gRPC 处理服务间通信。

然后,Protobuf 成为这些服务共同描述消息的语言。

Avro:适合Kafka,是有具体原因的

当我不再只盯着单次 API 请求时,才真正理解 Avro 的价值。

Kafka 的情况不一样。

今天产生的消息,可能明天才被消费。

也可能下周才被读取,甚至被一个今天还不存在的服务使用。

因此,你要解决的,不只是:

“这条消息能解析得多快?”

更大的问题往往是:

“这条消息的数据结构,能不能安全演进,而不破坏依赖它的消费者?”

这正是 Avro 值得考虑的地方。

Avro 通过 schema 描述数据,相关系统还可以使用 Schema Registry,也就是模式注册中心。

生产者和消费者依据 schema 编码、解释消息,而不是在每条消息里重复全部字段名。

在使用 Schema Registry 的系统中,消息可以引用相应的 schema,不必每次都携带完整定义。

FlatBuffers:在少数场景里,它的复杂度才划算

  • 适合:游戏状态、物联网遥测,以及每秒处理大量小消息、解析 CPU 已成为瓶颈的场景。
  • 不太适合:普通 CRUD API。对于这类需求,schema 和代码生成带来的额外工作,未必值得。

CBOR:一个经常被忘掉的选项

  • 可以把 CBOR 理解为 MessagePack 的近亲,它由 IETF 标准化,规范是 RFC 8949。
  • 它是二进制、自描述格式,不要求预先定义 schema。
  • 想采用二进制编码,又不想维护完整 schema 流程时,可以考虑它。更多介绍见 cbor.io。

第四部分: 其它格式

Cap’n Proto

Cap’n Proto 的创建者是 Kenton Varda,他此前参与过 Protocol Buffers 的开发。

它的核心思路,和 FlatBuffers 吸引人的地方有些相似:

序列化后的数据,本身就被设计成可以直接访问。

接收方不必先把整条消息解包成另一套对象结构,才能读取内容。

这意味着,传统解析工作可以很少。

它采用类似 FlatBuffers 的零拷贝思路:数据编码布局支持直接在内存中访问,因此可以显著减少解析过程。

适合需要大量 RPC 调用的系统,不过生态规模比 Protobuf 小。

Apache Thrift

  • 来自 Facebook,是一个资历很深的序列化与 RPC 方案,见 thrift.apache.org。
  • 提供 schema 文件、代码生成,以及配套的 RPC 能力。
  • 方案成熟,但新项目也常会因为社区和生态,选择 gRPC 加 Protobuf。

BSON

  • MongoDB 内部使用的二进制格式,见BSON规范。
  • 一个容易让人意外的事实:它不一定比 JSON 小。它会存储长度前缀,方便快速跳过字段。
  • 它更关注数据库中的数据访问,而不是一味追求传输体积。别只因为它是二进制,就把它选作 API 格式。

NDJSON

  • 它不是二进制格式,而是每行一个 JSON 对象,见格式规范。
  • 最大优势是流式处理。面对大文件,可以逐行读取,不必把一个巨大的数组全部装进内存。
  • 常见用途是日志和数据导出。

Parquet

Parquet 是列式存储格式,不是消息传输格式。它属于另一层问题。

拿来做普通 API 调用,工具用错了;用来存放分析数据文件,就很合适。

第五部分:schema演进,才是真正容易出事的地方

很多开发者理解 schema 演进,是因为经历了一次生产事故。

而不是因为认真看过文档。

我真希望事情不是这样。

毕竟,在服务之间传递结构化数据,并不难。

难的是,后来还要修改这些数据结构。

在相应兼容规则下,增加带默认值的字段通常更稳妥;随意修改字段类型,则可能让周五上线变成消费者故障现场。

现在,我遵循这些Protobuf规则

  1. 优先采用增量修改。尽量不直接改变现有字段的含义或定义,而是增加新字段,再逐步弃用旧字段。
  2. 绝不复用已经删除的字段编号。旧消息里可能还保留着这个编号,复用后可能导致数据被悄悄错误解释。删除后应使用 reserved 保留编号。这条规则尤其容易让人踩坑,见官方指南。
  3. 不靠记住类型变更例外来保证安全。某些变化在特定条件下具有线格式兼容性,比如 int32 与 int64,但其中仍有取值范围等限制。更稳妥的习惯是:别随意改类型,增加新字段。

Avro规则:这些地方,我一开始也理解错了

  1. 以 Confluent Schema Registry 为例,默认兼容模式通常是向后兼容:新 schema 必须能够读取旧数据,见兼容性文档。
  2. 在这种模式下,你通常可以删除字段,也可以增加带默认值的字段。
  3. 你通常不能增加没有默认值的字段,也不能随意修改类型;少数允许的类型提升除外,比如 int → long。

第六部分:压缩,会改变你对体积的判断

Gzip会改变消息大小的比较结果。

  • 未压缩时,MessagePack 在部分测试中通常比 JSON 小 30%—40%。
  • 两者都经过 gzip 后,差距可能缩小到 10%—15%,因为 JSON 文本中的重复内容很容易被压缩。这里有一份体积与gzip对比。

经过 gzip,JSON 和 MessagePack 的体积可能接近,但二进制格式仍可能减少解析 CPU 开销。

放到实际工程里,这意味着:

  1. 如果问题在带宽,先试试 gzip。你未必需要更换格式。
  2. 如果问题在CPU,就要继续比较解析成本。压缩不会自动消除解压后的解析差异。
  3. 我遇到的 Kafka 问题是 CPU,而不是带宽。因此,单靠压缩解决不了它。

先弄清楚哪里出了问题,再决定用什么办法。

所以,我以前错了吗?

算是吧。

  • 对于需要人在 Postman 里调试的公共 REST API,JSON 的速度往往不是值得优先担心的问题。
  • 但在我当时没认真考虑的内部通信层,每秒发生几千次调用,没人直接阅读数据,机器却要不停解析它。这时候,成本就可能变得明显。

真正该记住的,不是“赶紧换成 Protobuf”,而是:

格式应该匹配系统层级,而不是跟着热度走。
  • 对外接口优先考虑 JSON,因为方便调试确实有价值。
  • 高频机器通信,则认真评估二进制格式和 schema 的收益。

面向客户端的数据,我仍然默认用 JSON。只是现在,当系统内部某条 CPU 曲线告诉我这个选择不合适时,我不会再觉得意外了。

更换格式之前,我会先问这几个问题

准备替换 JSON,或者引入另一种序列化格式时,我会先确认:

  1. 序列化或反序列化,真的是瓶颈吗?
    不知道,就先做性能分析。
  2. 问题在带宽,还是CPU?
    这两种问题,可能对应完全不同的解决方案。
  3. 压缩能解决体积问题吗?
    如果能,换格式可能没有必要。
  4. 换一个更快的JSON库,能解决CPU问题吗?
    如果能,这可能是成本最低的一次优化。
  5. 我需要严格管理schema演进吗?
    如果需要,基于 schema 的方案,可能值得额外的复杂度。
  6. 人会经常直接查看这些消息吗?
    如果会,JSON 的可读性就是实际收益。
  7. 工程成本有多大?
    新格式可能带来 schema、代码生成、新调试工具、兼容规则、迁移工作,以及团队培训。

性能提升,当然有价值。

但复杂度,也一样要付账。

常见问题

1. Protobuf真的比JSON快吗?

在很多场景下,Protobuf 的消息更紧凑,解析也更快。它不必重复传输完整字段名,还可以使用生成的代码解码。但编码性能更依赖语言和具体实现,有些运行时拥有很快的原生 JSON 编码器。最终,还是要在自己的技术栈里测。

2. 什么时候应该用Avro代替JSON?

当你使用 Kafka,并且需要管理消息结构的兼容演进时,Avro 值得考虑。Avro 配合 Schema Registry,可以在结构变化时执行兼容性检查。单纯使用 JSON,本身并没有内置这套约束机制。

3. MessagePack和Protobuf有什么区别?

MessagePack 不要求预先共享 schema,可以近似理解为用二进制表达 JSON 风格的数据结构,因此接入工作通常较少。Protobuf 则需要共享 schema 文件,并进行代码生成。前期工作更多,但可以换来更明确的数据契约、类型定义,以及通常更紧凑的消息编码。

4. 开了gzip,还需要二进制格式吗?

如果瓶颈在带宽,未必需要,压缩后的 JSON 可能已经足够接近。如果瓶颈在 CPU,还得比较实际解析成本,二进制格式可能仍有优势。先确定瓶颈,再选方案。

扩展一下业务,Gpt官方卡充:
🔄  GPT PLUS 秒冲 130R
🔄  GPT 5X PRO 秒冲680R
🔄  GPT 20X PRO 秒冲1100R
批量接企业订单 价格优惠 50起1080  100起1050需要的可以找我(vx: qq449245884)


王大冶
68.3k 声望105k 粉丝