有一次,我看着一个 Kafka 消费者的 CPU 占用连续两天往上爬。那时候,我以为该换更大的机器了。
后来发现,根本不是机器不够。我需要的是性能分析工具,以及接受一个不太舒服的事实:吃掉 CPU 时间的,是 JSON 解析,不是业务逻辑。
这件事让我明白了一个道理,而第一次开发 API 时,几乎没人会提醒你。
JSON 并不是天然的“高速选项”。它只是默认选项。大家一直沿用默认方案,通常是因为没人觉得有问题——直到系统每秒开始处理几千条消息。
于是,我把自己真正用过,或者为实际项目评估过的序列化格式,重新梳理了一遍。不是那些在技术大会上听起来很厉害的名字,而是确实能在技术栈里找到位置的工具。
如果你只想先看结论,记住这三层就够了。每一层,对格式的需求都不一样:
- 对外接口层:人需要调试和查看数据,JSON 很合适。
- 服务间通信层:主要是机器互相交流,二进制格式加 schema,也就是数据结构定义,更值得考虑,比如通过 gRPC 使用 Protobuf。
- 流处理与缓存层:更关注结构演进和处理效率,Kafka 可以考虑 Avro,缓存可以考虑 MessagePack 或 CBOR。
JSON 是默认选项,却不一定最快。让格式匹配它所在的系统层级,才是重点。
一个很香的 AI 平台:GPT-5.6 低倍率且不降智 和 Claude Code 4.8 只要 0.25倍率,包含 image-2生图。重点是 首字请求都在 5s 内。入口:https://ai.aiyuhub.com
第一部分:我到底想错了什么?
以前,我理解的“快”,只有一件事:数据在服务之间传得有多快。
但这个问题,问得还不够完整。
因为传输数据,只是成本的一部分。
一份消息还要经历构建、发送、接收,最后再转换成应用能够使用的数据。
而在某些系统里,真正昂贵的环节并不是网络。
是解析。
JSON为什么可能慢?这也不能全怪它
JSON 是一种自描述格式。每次传输时,字段名都会以字符串的形式,跟着数据一起发送。
也正因为如此,JSON 很容易使用。
无论在浏览器、Postman、日志文件,还是终端里打开一段 JSON,我通常一眼就能看懂它在表达什么。
比如:
{
"userId": 12345,
"name": "Tushar",
"email": "tushar@example.com",
"isActive": true
}这恰恰是 JSON 成为 API 默认格式的重要原因。
不过,这份便利也藏着成本。
每发送一次消息,字段名也要再发送一次。
userId、name、email、isActive。
现在想象,一个服务需要处理这样的消息几百万次。
这些名字,也就被反复写入、传输、解析了几百万次。
这并不意味着 JSON 不好。
只是为了让人读懂数据,JSON 携带了额外的信息,也因此需要完成更多工作。
而 Protobuf、Avro、FlatBuffers 这类基于 schema 的二进制格式,会提前约定数据结构,因此不必在每条消息里重复完整的字段名,主要传输字段值及必要的编码信息。
自描述格式会重复携带字段名;基于 schema 的格式,可以依据预先约定的结构解释数据。
放到真实业务里,这个问题就更明显了
想象一个电商系统。
用户下了一笔订单。看起来,好像只是一次 API 请求。
但在系统内部,这个动作可能触发一串消息:
- 订单服务校验订单。
- 库存服务检查库存。
- 定价服务确认优惠。
- 支付服务处理付款。
- 通知服务准备邮件。
- 分析服务记录事件。
如果这些服务频繁通信,系统每秒可能处理成千上万份小消息。
这时候,问题就变了。
你不该只问:
“JSON快不快?”
更该问的是:
“在系统的这个位置,JSON解析已经成为一项明显的成本了吗?”
我真希望自己一开始问的就是这句话。
一句话说清楚这笔交换
你放弃的是:直接阅读数据的便利。
你换来的是:更紧凑的编码,以及可能更高的处理效率。
这笔交换划不划算,取决于它发生在技术栈的哪一层。
这也是整篇文章的核心。下面的内容,就是把这张地图补完整。
第二部分:关于性能数字
我没有亲自做一套实验室级别的基准测试,而是参考了公开测试。核对这些结果时,我学到了这次梳理中最重要的一点:
性能差距,很大程度上取决于你使用的语言。
二进制格式通常具有解析优势,但差距大小取决于语言、实现和 JSON 库。
MessagePack与JSON
MessagePack 经常被描述为“二进制版 JSON”。
从技术上讲,这句话并没有说完所有区别,但拿来建立初步理解,确实方便。
你原本可能发送这样一段内容:
{
"userId": 123,
"name": "Alex",
"active": true
}MessagePack 则用二进制形式编码同样的数据结构。
通常,这意味着更少的字节,以及更少的文本解析工作。
不过,对于下面这种说法,我会保持谨慎:
“MessagePack永远比JSON快4倍。”
因为它并不是在所有环境中都成立。
- 参考的公开对比中,MessagePack 在不少运行时里的解析速度约为 JSON 的 2—4倍,可查看详细比较。
- 在 Python 中,相对标准库
json,部分测试能达到 3—5倍。 - 但换成 orjson 这样的高性能 JSON 库后,差距可能缩小到 1.2—1.5倍。
- 在 Go 中,收益也取决于具体实现和数据,不能照搬其他语言的结果。这里有一份 Go测试示例。
FlatBuffers
到了 FlatBuffers,某些性能图看起来甚至有点“不公平”。
它最大的优势,是不需要按传统方式完成反序列化。
应用不必先读完整条消息,再构建一套新的内存对象,而是可以直接从二进制缓冲区访问数据。
对于以读取为主的工作,这种设计可能非常快。
- 在其官方基准测试中,反序列化相关指标有明显优势。
- 原因是,它不需要先把整条消息解析成对象,而是直接从缓冲区读取字段。
说实话,我看着还是有点像“作弊”。
想象一个持续接收状态更新的游戏引擎。
它可能需要反复读取:
- 玩家位置
- 生命值
- 背包内容
- 对象状态
- 物理数据
一遍又一遍。
如果解析数据、分配对象已经很贵,那么专门支持直接访问缓冲区的格式,就有了价值。
但换成一个普通的 CRUD,也就是增删改查 API 呢?
只是为了返回一次用户资料,却要编写 FlatBuffers schema、生成代码、维护工具链,再教所有开发者怎样查看二进制消息。
这很可能是在解决一个你根本没有的问题。
Protobuf
Protobuf 有意思的地方,是我并不把它看作某个单项指标上的绝对冠军。
我更愿意把它理解成一个综合表现很均衡的方案。
它提供了:
- 紧凑的二进制消息
- 自动生成的代码
- 明确的数据定义
- 跨语言支持
- schema 演进能力
- 良好的性能
说实话,这种均衡,可能正是它被广泛使用的原因。
- 不必指望它在每个单项上都最快。
- 它的价值,是体积、速度和工具生态之间的整体平衡,详见官方文档。
也正因为这种平衡,它才出现在那么多系统里。
一个典型场景,是公司内部的服务由不同语言编写。
比如:
- API 服务使用 Go。
- 推荐服务使用 Python。
- 支付服务使用 Java。
- 后台任务使用 Node.js。
这里当然可以用 JSON。
但 Protobuf 能让各个团队共享同一份消息定义。
每个服务不必分别维护自己理解的 Order 结构,而是根据同一份 schema,生成对应语言的代码。
到了这一步,它的价值就不只是速度。
数据契约,成了系统的一部分。
这种收益,很难靠一张性能柱状图衡量。
性能测试里,最容易被忽略的事
- 迁移之前,先用自己的数据,在自己的语言环境里测试。
- 优先试试适合当前技术栈的高性能 JSON 库。
- 有时候,换格式还不如换解析器。后者可能只需要很小的代码调整,而前者需要引入一整套 schema 流程。
第三部分:每种格式,到底该放在哪里?
我最初的想法是:“找出最快的格式,然后到处都用它。”
真实团队通常不会这么做。至少,一个合理的系统不该这么选。
看过更多实际架构之后,我越来越清楚地发现:
不同层级选择不同的序列化格式,是因为它们要解决的问题不同。
一种格式在某一层非常合适,换个位置,却可能多余,甚至让人头疼。
现在,我会参考这样的地图:
一个简单的判断原则:人经常需要查看的数据,优先考虑 JSON;主要由机器处理的数据,可以考虑二进制格式。
gRPC
按层选择格式:对外接口使用 JSON,服务间通信使用 Protobuf,Kafka 消息考虑 Avro,缓存考虑 MessagePack。
Protobuf:很多时候,是跟着gRPC一起出现的
大多数开发者不会某天醒来,突然决定:
“今天我要采用Protocol Buffers。”
他们通常是先选择了 gRPC,才接触到 Protobuf。
对我来说,这个区别很重要。
刚开始比较格式时,我主要把 Protobuf 看作 JSON 的高速替代品。
但在真实系统里,它往往属于一个更大的架构决策。
你选择用 gRPC 处理服务间通信。
然后,Protobuf 成为这些服务共同描述消息的语言。
Avro:适合Kafka,是有具体原因的
当我不再只盯着单次 API 请求时,才真正理解 Avro 的价值。
Kafka 的情况不一样。
今天产生的消息,可能明天才被消费。
也可能下周才被读取,甚至被一个今天还不存在的服务使用。
因此,你要解决的,不只是:
“这条消息能解析得多快?”
更大的问题往往是:
“这条消息的数据结构,能不能安全演进,而不破坏依赖它的消费者?”
这正是 Avro 值得考虑的地方。
Avro 通过 schema 描述数据,相关系统还可以使用 Schema Registry,也就是模式注册中心。
生产者和消费者依据 schema 编码、解释消息,而不是在每条消息里重复全部字段名。
在使用 Schema Registry 的系统中,消息可以引用相应的 schema,不必每次都携带完整定义。
FlatBuffers:在少数场景里,它的复杂度才划算
- 适合:游戏状态、物联网遥测,以及每秒处理大量小消息、解析 CPU 已成为瓶颈的场景。
- 不太适合:普通 CRUD API。对于这类需求,schema 和代码生成带来的额外工作,未必值得。
CBOR:一个经常被忘掉的选项
- 可以把 CBOR 理解为 MessagePack 的近亲,它由 IETF 标准化,规范是 RFC 8949。
- 它是二进制、自描述格式,不要求预先定义 schema。
- 想采用二进制编码,又不想维护完整 schema 流程时,可以考虑它。更多介绍见 cbor.io。
第四部分: 其它格式
Cap’n Proto
Cap’n Proto 的创建者是 Kenton Varda,他此前参与过 Protocol Buffers 的开发。
它的核心思路,和 FlatBuffers 吸引人的地方有些相似:
序列化后的数据,本身就被设计成可以直接访问。
接收方不必先把整条消息解包成另一套对象结构,才能读取内容。
这意味着,传统解析工作可以很少。
它采用类似 FlatBuffers 的零拷贝思路:数据编码布局支持直接在内存中访问,因此可以显著减少解析过程。
适合需要大量 RPC 调用的系统,不过生态规模比 Protobuf 小。
Apache Thrift
- 来自 Facebook,是一个资历很深的序列化与 RPC 方案,见 thrift.apache.org。
- 提供 schema 文件、代码生成,以及配套的 RPC 能力。
- 方案成熟,但新项目也常会因为社区和生态,选择 gRPC 加 Protobuf。
BSON
- MongoDB 内部使用的二进制格式,见BSON规范。
- 一个容易让人意外的事实:它不一定比 JSON 小。它会存储长度前缀,方便快速跳过字段。
- 它更关注数据库中的数据访问,而不是一味追求传输体积。别只因为它是二进制,就把它选作 API 格式。
NDJSON
- 它不是二进制格式,而是每行一个 JSON 对象,见格式规范。
- 最大优势是流式处理。面对大文件,可以逐行读取,不必把一个巨大的数组全部装进内存。
- 常见用途是日志和数据导出。
Parquet
Parquet 是列式存储格式,不是消息传输格式。它属于另一层问题。
拿来做普通 API 调用,工具用错了;用来存放分析数据文件,就很合适。
第五部分:schema演进,才是真正容易出事的地方
很多开发者理解 schema 演进,是因为经历了一次生产事故。
而不是因为认真看过文档。
我真希望事情不是这样。
毕竟,在服务之间传递结构化数据,并不难。
难的是,后来还要修改这些数据结构。
在相应兼容规则下,增加带默认值的字段通常更稳妥;随意修改字段类型,则可能让周五上线变成消费者故障现场。
现在,我遵循这些Protobuf规则
- 优先采用增量修改。尽量不直接改变现有字段的含义或定义,而是增加新字段,再逐步弃用旧字段。
- 绝不复用已经删除的字段编号。旧消息里可能还保留着这个编号,复用后可能导致数据被悄悄错误解释。删除后应使用
reserved保留编号。这条规则尤其容易让人踩坑,见官方指南。 - 不靠记住类型变更例外来保证安全。某些变化在特定条件下具有线格式兼容性,比如
int32与int64,但其中仍有取值范围等限制。更稳妥的习惯是:别随意改类型,增加新字段。
Avro规则:这些地方,我一开始也理解错了
- 以 Confluent Schema Registry 为例,默认兼容模式通常是向后兼容:新 schema 必须能够读取旧数据,见兼容性文档。
- 在这种模式下,你通常可以删除字段,也可以增加带默认值的字段。
- 你通常不能增加没有默认值的字段,也不能随意修改类型;少数允许的类型提升除外,比如
int → long。
第六部分:压缩,会改变你对体积的判断
Gzip会改变消息大小的比较结果。
- 未压缩时,MessagePack 在部分测试中通常比 JSON 小 30%—40%。
- 两者都经过 gzip 后,差距可能缩小到 10%—15%,因为 JSON 文本中的重复内容很容易被压缩。这里有一份体积与gzip对比。
经过 gzip,JSON 和 MessagePack 的体积可能接近,但二进制格式仍可能减少解析 CPU 开销。
放到实际工程里,这意味着:
- 如果问题在带宽,先试试 gzip。你未必需要更换格式。
- 如果问题在CPU,就要继续比较解析成本。压缩不会自动消除解压后的解析差异。
- 我遇到的 Kafka 问题是 CPU,而不是带宽。因此,单靠压缩解决不了它。
先弄清楚哪里出了问题,再决定用什么办法。
所以,我以前错了吗?
算是吧。
- 对于需要人在 Postman 里调试的公共 REST API,JSON 的速度往往不是值得优先担心的问题。
- 但在我当时没认真考虑的内部通信层,每秒发生几千次调用,没人直接阅读数据,机器却要不停解析它。这时候,成本就可能变得明显。
真正该记住的,不是“赶紧换成 Protobuf”,而是:
格式应该匹配系统层级,而不是跟着热度走。
- 对外接口优先考虑 JSON,因为方便调试确实有价值。
- 高频机器通信,则认真评估二进制格式和 schema 的收益。
面向客户端的数据,我仍然默认用 JSON。只是现在,当系统内部某条 CPU 曲线告诉我这个选择不合适时,我不会再觉得意外了。
更换格式之前,我会先问这几个问题
准备替换 JSON,或者引入另一种序列化格式时,我会先确认:
- 序列化或反序列化,真的是瓶颈吗?
不知道,就先做性能分析。 - 问题在带宽,还是CPU?
这两种问题,可能对应完全不同的解决方案。 - 压缩能解决体积问题吗?
如果能,换格式可能没有必要。 - 换一个更快的JSON库,能解决CPU问题吗?
如果能,这可能是成本最低的一次优化。 - 我需要严格管理schema演进吗?
如果需要,基于 schema 的方案,可能值得额外的复杂度。 - 人会经常直接查看这些消息吗?
如果会,JSON 的可读性就是实际收益。 - 工程成本有多大?
新格式可能带来 schema、代码生成、新调试工具、兼容规则、迁移工作,以及团队培训。
性能提升,当然有价值。
但复杂度,也一样要付账。
常见问题
1. Protobuf真的比JSON快吗?
在很多场景下,Protobuf 的消息更紧凑,解析也更快。它不必重复传输完整字段名,还可以使用生成的代码解码。但编码性能更依赖语言和具体实现,有些运行时拥有很快的原生 JSON 编码器。最终,还是要在自己的技术栈里测。
2. 什么时候应该用Avro代替JSON?
当你使用 Kafka,并且需要管理消息结构的兼容演进时,Avro 值得考虑。Avro 配合 Schema Registry,可以在结构变化时执行兼容性检查。单纯使用 JSON,本身并没有内置这套约束机制。
3. MessagePack和Protobuf有什么区别?
MessagePack 不要求预先共享 schema,可以近似理解为用二进制表达 JSON 风格的数据结构,因此接入工作通常较少。Protobuf 则需要共享 schema 文件,并进行代码生成。前期工作更多,但可以换来更明确的数据契约、类型定义,以及通常更紧凑的消息编码。
4. 开了gzip,还需要二进制格式吗?
如果瓶颈在带宽,未必需要,压缩后的 JSON 可能已经足够接近。如果瓶颈在 CPU,还得比较实际解析成本,二进制格式可能仍有优势。先确定瓶颈,再选方案。
扩展一下业务,Gpt官方卡充:
🔄 GPT PLUS 秒冲 130R
🔄 GPT 5X PRO 秒冲680R
🔄 GPT 20X PRO 秒冲1100R
批量接企业订单 价格优惠 50起1080 100起1050需要的可以找我(vx: qq449245884)
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用。你还可以使用@来通知其他用户。