头图

什么?Coolbpf 不仅可以远程编译,还可以发现网络抖动! | 龙蜥技术

近日,在 2022 云栖大会龙蜥峰会 eBPF & Linux 稳定性专场上,来自 eBPF 技术探索 SIG Maintainer 的毛文安分享了《Coolbpf 的应用实践》技术演讲,以下为本次演讲内容:

一、为什么要支持可移植?

随着 BPF 技术的发展,开发一个 BPF 程序变得越来越简单,尽管 BPF 提升了便利性,但 BPF 也一直在追求另一个方面:可移植性。BPF 可移植性被定义为成功编写并通过内核验证的一个 BPF 程序,能运行在不同内核版本。

进行 BPF 的移植有两个挑战:

  1. 不同内核版本数据的内存布局不同。
  2. 内核类型和数据结构不断变化,结构体字段可能被移除或重命名。

BPF CO-RE(Compile Once - Run Everywhere)是实现可移植性的一个手段。

为了支持 CORE,提供了以下组件:

  • BTF:描述内核镜像,获取内核及BPF程序类型和代码的关键信息
  • Clang 释放 bpf 程序重定位信息到.btf 段
  • Libbpf CO-RE 根据.btf 段重定位 bpf 程序

需要进行重定位的信息主要有三类:

  1. 结构体相关重定位,这部分和BTF息息相关。Clang通过__builtin_preserve_access_index()记录成员偏移量。
  2. map fd 、全局变量(data、bss、rodata)、extern 的变量重定位,主要依赖于 ELF 的重定位机制,来更新 eBPF 指令的 imm 字段。
  3. 子函数重定位,是为了将 eBPF 程序调用的子函数同主函数放在一起,便于一起加载到内核。

使用 libbpf 进行 BPF CORE 的开发步骤如下:

1.生成带所有内核类型的头文件 vmlinux.h,通过 bpftool 生成。

  1. 使用 Clang(版本10 或更新版本)将 BPF 程序的源代码编译为 .o 对象文件;
  2. 从编译好的 BPF 对象文件中生成 BPF skeleton 头文件 bpftool gen 命令生成;
  3. 在用户空间代码中包含生成的 BPF skeleton 头文件;
  4. 编译用户空间代码,则嵌入 BPF 对象代码无需发布单独的文件。

大致有如下的函数调用:

<name>__open() :创建并打开 BPF 应用,之后可以设置 skel->rodata 变量。

<name>__load() :初始化,加载和校验 BPF 应用部分。

<name>__attach() :附加所有可以自动附加的 BPF 程序。有事件和网络运行报文到达时,会触发运行 bpf 程序。

<name>__destroy():分离所有的 BPF 程序并使用其使用的所有资源。

eBPF 程序的主要开发方式有三种,它们各有优缺点,见下:

1、内核自带示例代码:基于内核 samples/bpf 示例代码,无 CORE。该方式没有任何基于第三方的开源项目,资源占用量低。但缺点是需要自己完全重新搭建工程,效率较低,且版本兼容性较差。

2、BPF CORE:基于 libbpf 自己编写的 bpf_core_read 代码,开发机生成对应目标机的二进制程序。该方式不依赖在环境中部署 Clang/LLVM ,资源占用少。但是需要搭建编译工程,部分代码相对固定,无法动态配置。

3、BCC:基于应用最广的开源项目,开发效率较高。但是每一次运行都要执行 Clang/LLVM 编译,存在内存、CPU 等资源的争抢;目标环境依赖对应内核头文件。

二、Coolbpf 的功能和架构

Coolbpf 提供了远程编译(云编译)。其中远程编译指运行程序的目标机器与编译程序不在同一个机器上,能够解决资源占用问题;提供了本地编译和基础库封装,方便用户调用基础库进行编写;提供了低版本内核的支持;提供了 BTF 的自动生成和发布,用户无需手动适配,下载即可直接使用;提供了自动化测试以及支持 Python/Go/Rust 等高级语言进行应用开发。

Coolbpf 天然支持 BPF 的 CORE 能力,它解决了编译和资源消耗的问题,同时,前面介绍的复杂的 libbpf 开发步骤完全被简化了。用户只需要专注自己的功能开发,不用关注环境搭建和冗余代码开发。

Coolbpf 提供了标准化的 bpf 编译服务。首先将 bpf.c 提交到远程编译服务器时,服务器会根据的内核版本针对不同的语言返回点 bpf.so 或 bpf.o 为高级的应用程序提供服务。因此在你的高级语言代码中,只需加载 bpf.so 即可运行程序,无需再手动触发 Libbpf 的 open()、load()、attach()等函数,而是由高级语言程序的 init()自动完成,这样用户可以快速搭建和部署工程,只需专注于数据输出之后的处理。

Coolbpf 还支持在没有 eBPF 特性的低内核版本上,通过我们提供的 eBPF 驱动,帮助它安全的在低版本上运行。我们将高版本上 eBPF verifier 校验部分实现在一个驱动里,它会进行各种安全校验,保证 eBPF 对比于内核模块的安全性。另外,我们把原来基于 libbpf 的调用都转换为 IOCTL 的系统调用。

之前支持的 helper 函数、创建 map 、加载 program 都会转化成低版本上的 kprobe 或 tracepoint 的实现,另外还支持 perf event 和 jit。这样就使得同一个用户程序,加载这样一个驱动,就能不修改 eBPF 程序代码而安全的运行在低版本内核上。

三、Coolbpf 的网络应用实践

Raptor 是基于 Coolbpf 的系统可观测工具,能够运行在低版本内核如 alios、CentOS 3.10 等。它可以作为一个 SDK,提供给第三方使用,进行数据采集。

在这个网络应用观测中,通过监控系统调用中的数据交互、请求和回复等信息,来确定交互的数据内容和五元组等信息,通过 map 的交互方式发送给用户态,做到了无侵入的方式做观测,最终呈现比如流量统计、请求时延等观测结果。

我们来看一个具体的问题,了解 Coolbpf 是如何发现收包阶段的网络抖动问题。我们知道网络收包分为两个阶段:

阶段 1:OS 通过软中断将数据包送到应用的收包队列并通知进程,完成协议栈的收包工作。

阶段 2:应用得到通知后从收包队列取数据。

我们在 Coolbpf 里写一段 BPF 程序,只需监控两个 tracepoint:tcp_probe,tcp_rcv_space_adjust 就能查询到阶段 2 的延迟问题。

在这个案例中,某业务应用收包慢,发现内核侧已经收到了 tcp 包,但是应用侧将近 1s 后才收到。

观测方法:部署 eBPF agent,发现阶段 2“收包延迟时间”将近 1 秒。

确定原因:每次发生延迟时间都在某时刻的大致 42 秒处,怀疑跟业务某定时任务相关造成应用自身延时,最终排查到业务有某个任务会定时收集 jvm 的参数,对该业务有 stop 的操作。

解决方法:停掉该任务后,消除了抖动问题。

相关链接:
eBPF技术探索 SIG 地址:https://openanolis.cn/sig/ebp...

关于龙蜥峰会 eBPF & Linux 稳定性专场课件获取方式:

【PPT 课件获取】:关注微信公众号(OpenAnolis),回复“龙蜥课件” 即可获取。有任何疑问请随时咨询龙蜥助手—小龙(微信:openanolis_assis)。

【视频回放】:视频回放可前往龙蜥官网查看。

—— 完 ——


OpenAnolis龙蜥社区
OpenAnolis龙蜥社区 由国内外头部企业联合建立的操作系统开源社区。加入我们,一起打造面向未来的开源操...

OpenAnolis龙蜥社区由国内外头部企业联合建立的操作系统开源社区。

29 声望
8 粉丝
0 条评论
推荐阅读
系统运维 SysOM profiling 在云上环境的应用观测实践 | 龙蜥技术
云上环境,ECS 用户一般都会布置一些常规监控观察系统指标或者业务指标,虽然通过这些指标能监控到系统或者应用的异常,但却不能完全了解系统/应用正在做什么导致的指标异常。常见的如:看到系统 CPU 偶尔飙高却...

龙蜥社区

封面图
三年前端的2022,如果创造比卷更有趣,那为何创造不能成为主旋律?
up主2019年毕业,找了一份前端工作,一直干到现在。2019年末出现疫情,三年的时间,也差不多与我的职业生涯完全重合了。刚过去的2022年,我也没有避开阳的命运(这病毒是真的强),就12月这一个月时间,几乎全公...

Gomi9阅读 1.5k

封面图
个人/团队/公司开源,Joyqi 谈贡献开源的「不同姿势」
前不久,Answer.dev 创始人 @Joyqi 受到邀请,在刚刚结束的 GitHub Universe 的 Local Party 上做了题为「用 GitHub 构建开源项目的各种姿势」的主题分享。以下为他的分享实录。

AnswerDev7阅读 1.5k评论 2

「 2022-年度总结 」我的Vue.js生态开源之旅
大家好,转眼又到一年的尾巴了。好久没写文章了,因为今年工作之余更多的是活跃在开源社区,借着年底思考怀疑人生(偷懒)的空闲时间想跟大家分享今年我在Vue.js生态的做的事情和对开源的看法,也算是「2021」我给V...

null仔4阅读 1.1k

封面图
Bash 常用脚本片段
这段脚本非常有用,你只要在你的脚本开头加上下面的内容,就能以 --param value 的格式解析参数。由于这段脚本尽可能写的短小不占空间,所以格式方面会要求所有的参数都有值,例如不接受无参数的 --daemon,而必...

捏造的信仰5阅读 1.7k评论 1

张晋涛:我的 2022 总结
大家好,我是张晋涛。2022 年已经结束,我每年都会惯例的做个小回顾,今年因为阳了在恢复身体,一直拖到了今天才写。生活在 2022 年初做回顾的时候,觉得 2021 是魔幻的一年,但现在看来 2022 年其实更加魔幻。一...

张晋涛6阅读 698评论 2

封面图
ebpf 月报 - 2023 年 1 月
Merbridge 是一个旨在通过 ebpf 代替 iptables,给 service mesh 加速的项目。作为成立刚满一周年的新项目,Merbridge 已经应用到 kuma 的官方版本当中。最近 Merbridge 又达到了另外一个里程碑 —— Merbridge 正...

spacewander6阅读 2.2k评论 1

OpenAnolis龙蜥社区由国内外头部企业联合建立的操作系统开源社区。

29 声望
8 粉丝
宣传栏