落地 eBPF 可观测性之 DeepFlow Agent 性能揭秘

DeepFlow 基于 eBPF 实现了零插桩（Zero Code）的云原生应用可观测性，能够在不改代码、不改启动参数、不重启进程的前提下实现分布式追踪。这是一种全新的技术手段，因此不少用户在选型和落地 DeepFlow 的过程中会对它的性能开销存在疑问。到底 Agent 的运行会对业务造成什么样的影响？而 Agent 自身的资源开销又如何？这些问题我们在 SIGCOMM 2023 论文《Network-Centric Distributed Tracing with DeepFlow: Troubleshooting Your Microservices in Zero Code》中都有体系化的回答，论文将于九月份正式公开。

也欢迎报名参加由蓝鲸智云和 DeepFlow社区联合主办的《基于 eBPF 的可观测性实践》可观测性 Meetup ，活动将于 6月10日（周六）下午13:00～18:00 在 深圳·腾讯大厦二楼报告厅 举办，DeepFlow 的研发负责人向阳，将会在沙龙上首次向公众披露论文细节。

在此之前，为了尽快帮助大家扫清落地 eBPF 可观测性的最后障碍，最近我们也将 DeepFlow Agent 的自动化测试结果放到了线上 Demo 页面中，本文将结合 Agent Daily Build 的测试数据，系统性的阐述我们的测试方法和测试结果，揭示 Agent 的业务影响和资源开销，帮助大家扫清落地 eBPF 可观测性的最后障碍。

通过分析 Agent 的处理流程，我们设计了六个场景进行全方位的评测。

测试结果表明 Agent 对典型高负载生产业务的 TPS 无任何影响、CPU 增长仅 0.46%、平均单个调用的 RT 增长小于 1ms。Agent 对 HTTP 流量的处理性能不低于 Nginx，通过 eBPF uprobe 采集 Golang 协程信息的性能为 Pixie 方案的 2.5 倍。Agent 在 1 核 1GB 内存限制下可采集 90K RPS HTTP 流量，或 122K CPS 并发的 TCP 流量，或 20+Gbps（未到极限） TCP Flood 流量，或 1.28Mpps UDP Flood 流量。

详细的测试方法和测试数据见正文，详细的总结见文末章节。

Agent 处理流程

为了确定性能测试的方法，我们首先需要对 Agent 的处理流程有一定了解，做到有的放矢。如下图所示，Agent 主要从三个 eBPF 接口获取数据，自下而上依次是：

• 通过 AF_PACKET 结合 BPF 过滤程序，获取应用的网络包数据，用于采集 NET Span
• 通过 kprobe 和 tracepoint 接口，获取应用的系统调用数据，用于采集 SYS Span，以及每个调用生命周期内的慢文件 IO 事件
• 通过 uprobe 接口，获取应用程序的函数调用数据，用于实现 Golang 等协程语言的零插桩分布式追踪，也用于采集 HTTP2/HTTPS 协议的 SYS Span

（DeepFlow Agent 处理流程）

当获取到 Packet/Socket/Function 数据之后，DeepFlow Agent 需要解析数据中的应用协议，获取 Span，并关联、聚合形成 Trace、Metrics、Logs 数据。特别的，对于 Packet 数据，Agent 还需要基于包聚合生成 TCP/UDP Flow，用于生成流日志，并计算网络层的吞吐、时延、异常等性能指标。

理解 Agent 处理流程以后，我们希望设计一组测试例，通过他们我们希望能评估：

1. Agent 的运行对业务性能有什么样的影响？

   • 业务的 TPS（Transactions Per Second）降低了多少？
   • 业务的 RT（Response Time）升高了多少？
   • 业务的 CPU/MEM 消耗升高了多少？

2. Agent 自身的处理性能如何？

   • 特定压力下 Agent 的 CPU/MEM 消耗如何？
   • Agent 采集应用数据的 RPS 能力如何？
   • Agent 采集网络数据的 CPS/BPS/PPS 能力如何？

测试方法和目的

首先，为了评估 Agent 对业务性能的影响，我们希望设计典型的业务场景来进行评估，并希望能覆盖到 Agent 处理流程中的所有重要环节。我们一共设计了三个场景，如下图所示：

（通过典型业务场景评估 Agent 对业务性能的影响）

场景 A - 典型云原生微服务：
DeepFlow 面向云原生场景，我们首先找到了 Istio Bookinfo Demo。Istio 是一种流行的服务网格解决方案，在 GitHub 上拥有 32.9K Star。这个 Demo 的应用拓扑见上图，我们可以看到它由 Python、Java、Ruby、Node.JS 实现的四个微服务组成，每个微服务所在的 Pod 中运行着 Envoy 代理。这个 Demo 中的一个事务对应着访问 4 个微服务的 4 个调用。特别值得我们关注的是，由于 Envoy 的存在实际调用链深度会被拉长两倍。

场景 B - 极高性能极简业务：
除了常规业务微服务以外，DeepFlow 还能采集并追踪基础设施服务。因此我们计划测试一个极致高性能、极简业务逻辑的中间件服务。我们选择了 Nginx，我们知道它以性能强悍著称，它用 C 语言实现，而且我们在测试中让他只是简单的回复一个默认静态页。我们相信这个 Nginx Demo 自身的性能表现远超过任何一个实际的生产环境，我们希望使用这个 Demo 来说明 DeepFlow Agent 的采集对极端高性能的中间件影响如何。

场景 C - 用 uprobe 追踪 Golang：
我们知道 eBPF 中 uprobe 的性能要明显低于 kprobe/tracepoint，Brendan Gregg 在他的著作《BPF 之巅 - 洞悉 Linux 系统和应用性能》中给出的参考数据中 uprobe 开销大约为 tracepoint 的 14-20 倍。虽然 DeepFlow 中大量的 Probe 都在使用最高性能的 tracepoint，并辅以 kprobe，但我们还是希望能有一个场景专注于对 uprobe 性能影响的评估，看看实际业务场景下 DeepFlow Agent 的表现。因此我们编写了一个 Golang Service 的 Demo，它对外提供一个 API，并会在 API 实现逻辑中调用上游的 Redis、MySQL、Nginx 三个服务。DeepFlow Agent 使用 uprobe 来 Hook Golang 服务的 runtime.execute 函数调用，用以跟踪协程的创建，因此这个服务每次响应 API 的 4 个调用都会触发一次 Hook。

所有上述三个场景，我们均会分别测试停用 deepflow-agent（基线）、运行 deepflow-agent两种情况，通过对比得出 Agent 对业务性能的影响。另外，我们也会注入不同 TPS 的压力，直至达到业务极限处理能力，以评估不同压力下的影响是否存在差异。

另一方面，对于 Agent 自身处理性能的评估，我们会记录场景 A-C 中 deepflow-agent 进程的 CPU/MEM 开销。除此之外，我们也希望设计一些更极端的场景，用来评估 Agent 在资源受限情况下的 RPS/CPS/BPS/PPS 极限处理能力。

（评估 Agent 自身的处理性能）

场景 B - 压测 RPS：我们复用了 Nginx Demo，向他注入极限 RPS 压力，并评估 Agent 在消耗一个逻辑核的场景下能处理多大 RPS 的 HTTP 流量。

场景 D - 压测 CPS：我们编写了一个高并发 Flow 的流量生成器。这个生成器会在 tcp_client 和 tcp_server 两个进程之间构建超过 100K CPS 的活跃并发连接，用以压测 Agent 中的 flow_map 模块，构造高内存压力。

场景 E - 压测 BPS：我们使用 iperf3 构造超过 20Gbps 的大流量，用以评估 Agent 对大吞吐流量的处理性能。

场景 F - 压测 PPS：我们编写了一个 UDP Flood 流量生成器。这个生成器会从 udp_flood 进程发出超过 1Mpps 的流量，用以压测 Agent 对高频 Packet Data 的处理性能。

上述四个场景，我们均会注入最高的压力，使得 Agent 的 CPU/MEM 之一达到 1C/1GB 的高水位。

接下来，我们将会对所有上述六个场景的测试方法和结果进行详细的阐述，测试过程中 DeepFlow Agent 全部使用默认配置，没有进行任何调优。自动化测试流程每天都会执行本文介绍的测试例，并将测试结果与 Git Branch、CommitID 关联，以帮助开发者评估新功能对 Agent 的性能影响。

Agent 对业务的影响

（不同业务场景下 Agent 采集的 Span 数量）

场景 A - 典型云原生微服务 Istio Bookinfo：我们使用 wrk2 来注入稳定的 TPS 负载，wrk2 会直接请求 Productpage 服务。所有的服务（包括 wrk2）部署在一个 8C16GB 的 K8s 节点上（CentOS 7、Kernel 4.19），我们在该节点上部署 deepflow-agent Daemonset 来对所有调用进行采集，测试过程中限制了 deepflow-agent 资源消耗为 1C768MB。

基线场景下我们为 Bookinfo 注入了消耗整机 52.61% CPU（相当于 4.2 个逻辑核）的高负载请求，可以看到这是一个非常繁忙的业务场景，为了达到该负载我们甚至特意增加了其中两个瓶颈服务的副本数：将 Productpage 调整为 4 副本、将 Details 调整为 2 副本。在这样的高负载下：

• 运行 deepflow-agent 前后，TPS 没有任何影响，均为 300/s
• 运行 deepflow-agent 前后，CPU 仅有 0.46% 的增长，几乎感知不到，可以认为是统计误差

• P50/P90 RT 分别有约 10ms 的增长，增长比例约为 12%

  • 对于每个事务，DeepFlow 采集了 37 个 Span，因此 300 TPS 负载下的 Span 采集速率为 11,100/s
  • 每个事务包括 26 个 SYS Span（eBPF）和 11 个 NET Span（cBPF）
  • 每个事物共采集了 13 个 Server-side SYS Span，因此平均每个调用仅引入了 0.8ms 的 RT 增长

DeepFlow 通过 eBPF 采集这些 Span，基于创新的关联算法实现了零插桩的分布式追踪，Span 之间的关联信息也是由 Agent 实时计算得到的：

（DeepFlow 零插桩分布式追踪 - Istio Bookinfo）

该场景下的部分测试数据如下（更多测试数据请查看 DeepFlow 在线 Demo 中的 Grafana Dashboard）：

	TPS	Bookinfo CPU	P50 RT	P90 RT
无 Agent	300	52.61%	69.76ms	87.81ms
有 Agent	300	52.85%	80.06ms	98.56ms
变化幅度	0	+ 0.24%	+ 10.30ms	+ 10.75ms
变化比例	0	+ 0.46%	+ 14.76%	+ 12.24%

场景 B - 极高性能极简业务 Nginx：我们依然使用 wrk2 来注入稳定的 TPS 负载，wrk2 会直接请求 Nginx 提供的 Default Page 服务。为了减少其他业务的干扰，我们将 Nginx 和 wrk2 部署在两个单独的虚拟机上（8C16GB、CentOS 7、Kernel 4.19），将 Nginx 的 worker 数量固定为 1 个。我们在 Nginx 所在虚拟机上部署了 deepflow-agent，测试过程中限制了 deepflow-agent 资源消耗为 1C768MB。

基线场景下我们为 Nginx 注入了消耗单核 56.50% CPU 的高负载请求，可以看到这是一个非常繁忙的业务场景。在这样的极端高性能和高负载下：

• 运行 deepflow-agent 前后，TPS 没有任何影响，均为 40,000/s

• 运行 deepflow-agent 前后，Nginx CPU 增长了 26.60%，另外 deepflow-agent 消耗了 86.17% CPU

  • 每次调用，deepflow-agent 会采集两个 Span，即 Span 采集速率为 80,000/s
  • 这意味着 deepflow-agent 处理两倍调用消耗的 CPU = 86.17+26.6 = 112.77 = 2 倍 Nginx 基线状态下的 CPU 消耗
  • 也就是说，deepflow-agent 的处理性能与 Nginx 相同
• P50/P90 RT 分别仅有 0.13ms/0.22ms 的增长，增长比例约为 12%

该场景下的部分测试数据如下（更多测试数据请查看 DeepFlow 在线 Demo 中的 Grafana Dashboard）：

	TPS	Nginx CPU	P50 RT	P90 RT	Agent CPU
无 Agent	40,000	56.50%	1.02ms	1.68ms	--
有 Agent	40,000	83.10%	1.15ms	1.90ms	86.17%
变化幅度	0	+ 26.60%	+ 0.13ms	+ 0.22ms	--
变化比例	0	+ 47.08%	+ 12.75%	+ 13.10%	--

上述测试结果是在 Agent 默认配置下测得的。实际上由于 Agent 在全栈路径上不同位置采集到的 Span 中 request_domain、request_resource、response_result 等字段不会有变化，因此我们可以开启 Agent 的浅层解析采集模式，针对 HTTP 流量仅解析首行判断协议类型和响应码。所有调用日志均开启浅层解析后，Agent 的性能表现为：

• 对 Nginx P50/P90 RT 的影响降低到 7.27%

• deepflow-agent 自身 CPU 消耗降低到 66.5%

  • 采集 80K RPS HTTP 数据消耗 66.5%，加上 Nginx CPU 增长的 25.50% CPU，总消耗为 92%
  • 即 DeepFlow Agent 浅层解析时的处理能力为 Nginx 基线能力的 1.2 倍

浅层解析时的部分测试数据如下：

	TPS	Nginx CPU	P50 RT	P90 RT	Agent CPU
有 Agent（浅层解析）	40,000	82.00%	1.10ms	1.80ms	66.5%
变化幅度	0	+ 25.50%	+ 0.08ms	+ 0.12ms	--
变化比例	0	+ 45.13%	+ 7.27%	+ 7.27%	--

场景 C - 用 uprobe 追踪 Golang：我们使用 wrk2 来注入稳定的 TPS 负载，wrk2 会直接请求 go-server 提供的服务。我们将 wrk2 和所有服务部署在一个虚拟机上（8C16GB、CentOS 7、Kernel 4.19），除了 wrk2 以外所有服务均使用 docker-compose 部署在 container 中。同样这台虚拟机上也部署了 deepflow-agent。测试过程中限制了 deepflow-agent 资源消耗为 1C768MB。

DeepFlow 中通过 eBPF uprobe 跟踪 Golang 协程的创建来实现零插桩的分布式追踪。为了无差异的让 uprobe 覆盖到每一个调用（HTTP、MySQL、Redis），本 Demo 中我们没有注入 HTTP2/HTTPS 流量。

基线场景下我们为 go-server 注入了消耗单核 35.22% CPU 的请求负载。在这样的负载下：

• 运行 deepflow-agent 前后，TPS 没有任何影响，均为 140/s

  • 每个事务采集了 15 个 Span，因此 140 TPS 负载下的 Span 采集速率为 2100/s

• 相比其他场景，运行 deepflow-agent 后 CPU 和 RT 增长略大

  • 运行 deepflow-agent 前后，业务 CPU 增长了 9.58%，增长比例为 27.20%
  • 运行 deepflow-agent 前后，业务 P50/P90 RT 分别有约 0.6ms 的增长，增长比例约为 17%

我们看到 uprobe 的性能开销确实要略高于前两个场景（仅使用了 tracepoint/kprobe/AF_PACKET）。实际上每一次 uprobe Hook 触发会引起两次用户态和内核态间的上下文切换，每个事务中我们 Hook 的 golang 函数触发了 4 次，因此会导致每个事务中增加 8 次上下文切换。

但值得提到的是，DeepFlow Hook 的 Golang 函数是经过深思熟虑的。我们使用 runtime.execute 来跟踪协程和线程之间的关系，这是我们目前能找到的性能影响最低的途经。作为对比 Pixie Hook 了 runtime.casgstatus 函数（未用于分布式追踪，仅用来获取协程 ID），它的调用频率会明显高于 runtime.execute。在对比测试中我们发现，如果使用 Pixie 的方案，在当前场景下将会造成业务服务高达 67% 的 CPU 增长、高达 45% 的 RT 增长，对业务的影响是 DeepFlow 的 2.5 倍。

该场景下的部分测试数据如下（更多测试数据请查看 DeepFlow 在线 Demo 中的 Grafana Dashboard）：

	TPS	Nginx CPU	P50 RT	P90 RT
无 Agent	140	35.22%	3.56ms	3.95ms
有 Agent	140	44.80%	4.18ms	4.60ms
变化幅度	0	+ 9.58%	+ 0.62ms	+ 0.65ms
变化比例	0	+ 27.20%	+ 17.42%	+ 16.46%

测试过程中我们也对业务的内存开销进行了监控，但未观察到任何影响，考虑到 DeepFlow 从原理上来讲不会增加业务进程的内存开销，因此我们没有呈现内存消耗数据。

Agent 自身处理性能

在前一个章节的场景 A-C 中，我们同时也记录了 Agent 在高负载下的资源消耗，见下表（其中场景 A 的 CPU 消耗为整机百分比，共 8 核，其他场景为单核百分比）：

场景	业务 TPS	业务基线 CPU	Span 采集速率	Agent CPU	Agent 内存
A - Istio	300	52.61%	11,100	3.40%	46.76 MB
B - Nginx	40,000	56.50%	80,000	86.17%	15.36 MB
B - Nginx（浅层解析）	40,000	56.50%	80,000	66.50%	15.36 MB
C - uprobe	140	35.22%	2,100	10.20%	43.26 MB

从上表可以看到：

• 场景 A：Agent 自身的 CPU 消耗仅为整机的 3.4%（相当于单核的 27%），相比业务消耗微乎其微
• 场景 B：Agent 运行引发的额外 CPU 消耗与 Nginx 的基线 CPU 消耗相当（归一化至处理同样 RPS 数据之后），浅层解析下 Agent 的处理能力是 Nginx 的 1.2 倍
• 场景 C：Agent 自身的 CPU 消耗仅为单核的 10.20%
• 各个场景下的内存开销极低

除了评估 Agent 在业务高负载情况下的资源消耗，我们也通过如下四个场景来评估 Agent 在 1C1G 资源限制下的极限处理能力。

场景 B - 使用 Nginx 压测 RPS：我们通过 wrk2 注入了极端的 45K/s TPS 压力，此时 Nginx 的基线 CPU 消耗已高达 62.39%，可以看到这是一个非常极端的场景。在这样的场景下我们得到了 Agent 在 1C 限制下的 HTTP 流量极限采集能力 —— 90K/s。

该场景下的部分测试数据如下（更多测试数据请查看 DeepFlow 在线 Demo 中的 Grafana Dashboard）：

TPS	采集 Span/s	Agent CPU	Agent CPU（浅层解析）	Agent MEM
45,000	90,000	98%	77%	15MB
40,000	80,000	86%	67%	15MB
35,000	70,000	75%	58%	15MB
30,000	60,000	63%	50%	15MB

场景 D - 使用 TCP client/server 压测 CPS：我们使用 tcp_client 产生了 122K 个 IP-Port 五元组不同的、持续活跃的 Flow，新建连接速率约为 1K/s。此时 Agent 的内存消耗已达到 1GB，具体性能数据见下表。

Agent CPU	Agent 内存	流量 BPS	流量 PPS	流量 CPS
35.00%	1079.77 MB	23.43Mbps	40.66Kpps	121,771

场景 E - 使用 iperf3 压测 BPS：我们使用 iperf3 产生了 20Gbps 的流量。这个场景下我们并没有压到 Agent 的极限，20Gbps 已经是我们能在测试虚拟机中构造出的最大流量了。具体性能数据见下表。

Agent CPU	Agent 内存	流量 BPS	流量 PPS
10.54%	124.03 MB	20.08Gbps	114.51Kpps

场景 F - 使用 udp_flood 压测 PPS：我们使用 udp_flood 产生了 1.28Mpps 的流量。这个场景下将 Agent CPU 压到了单核的 95%。具体性能数据见下表。

Agent CPU	Agent 内存	流量 BPS	流量 PPS
95.86%	122.97M	1.04Gbps	1.28Mpps

总结

通过六个场景的全方位评测，我们对 Agent 的性能有了完整的了解，希望能够帮助大家尽快落地基于 eBPF 的可观测性。简要结论总结如下：

• 对于一个典型的微服务架构的云原生业务，在注入整机 52% 高负载的压力下：

  • Agent 对业务 TPS 没有任何影响
  • Agent 使得业务 P50 RT 仅增加了 10.30ms（+14.76%），平均每个调用的 RT 仅增加 0.8ms
  • Agent 使得业务 CPU 仅增长 0.24%（+0.46%），几乎感知不到
  • Agent 自身仅消耗 3.4% CPU、47 MB 内存

• 对于一个极致性能的极简业务（Nginx Default Page），在注入单核 56% 高负载的压力下：

  • Agent 对业务 TPS 没有任何影响

  • Agent 使得业务 P50 RT 仅增加了 0.13ms（+12.75%）

    • 浅层解析时，业务 P50 RT 仅增加 0.08ms (+7.27%)

  • Agent 的处理性能等于 Nginx，处理等量 HTTP 调用的资源开销与 Nginx 相同

    • 浅层解析时，Agent 处理性能可高达 Nginx 的 1.2 倍

• 对于需要使用 eBPF uprobe 的业务场景（Golang 协程跟踪），在注入单核 35% 负载的压力下：

  • Agent 对业务 TPS 没有任何影响
  • Agent 使得业务 P50 RT 仅增加了 0.62ms（+17.42%）
  • Agent 使得业务 CPU 增长了 9.58%（+27.20%），主要由 uprobe 的内核态-用户态上下文切换引入
  • 对比：此场景下 DeepFlow 的性能为 Pixie 方案的 2.5 倍

• 在资源受限为 1核 CPU 1GB 内存的情况下，Agent 的极限处理性能如下

  • RPS：HTTP 采集性能 90K RPS，此时 Agent 消耗单核的 98% CPU
  • CPS：采集 并发 122K CPS、新建 1K CPS 的 TCP Flood 流量，Agent 消耗 1GB 内存
  • BPS：采集 20Gbps TCP Flood 流量，Agent 仅消耗单核的 10% CPU，仅消耗 124MB 内存
  • PPS：采集 1.28Mpps UDP Flood 流量，Agent 消耗单核的 96% CPU

最后，本文所有测试数据（除浅层解析外）均是在 Agent 默认配置下测得的。实际业务环境中对于每一个调用，Agent 通常会在进程、Pod 网卡、Node 网卡三个位置采集到三个 Span，你可以按需关闭某些位置的数据采集，以获得更好的性能表现。理论上当仅采集其中一份数据时，你可以获得 3 倍于本文的性能表现。我们也期待社区小伙伴的更多评测。Enjoy DeepFlow！Enjoy Zero Code Observability！

原文地址，请访问DeepFlow官方博客

深圳·可观测性Meetup报名及预约：

什么是 DeepFlow

DeepFlow开源项目旨在为复杂的云原生应用提供深度可观测性。DeepFlow 基于 eBPF 实现了零插桩（Zero Code）、全覆盖（Full Stack）的指标、追踪、日志采集，并通过智能标签技术实现了所有观测数据的全关联（Universal Tagging）和高效存取。使用 DeepFlow，可以让云原生应用自动具有深度可观测性，从而消除开发者不断插桩的沉重负担，并为 DevOps/SRE 团队提供从代码到基础设施的监控及诊断能力。

GitHub 地址：https://github.com/deepflowio/deepflow

访问 DeepFlow Demo，体验零插桩、全覆盖、全关联的可观测性。