从零开始写 Docker(十九)---增加 cgroup v2 支持

头像头饰
探索云原生
     重庆
    阅读 9 分钟

    feat-cgroup-v2.png

    本文为从零开始写 Docker 系列第十九篇，添加对 cgroup v2 的支持。

    <!--more-->

    完整代码见：https://github.com/lixd/mydocker
    欢迎 Star

    推荐阅读以下文章对 docker 基本实现有一个大致认识：

    开发环境如下：

    root@mydocker:~# lsb_release -a
No LSB modules are available.
Distributor ID:    Ubuntu
Description:    Ubuntu 20.04.2 LTS
Release:    20.04
Codename:    focal
root@mydocker:~# uname -r
5.4.0-74-generic
    注意：需要使用 root 用户

    1. 概述

    本篇主要添加对 cgroup v2 的支持,自动识别当前系统 cgroup 版本。

    2. 实现

    判断 cgroup 版本

    通过下面这条命令来查看当前系统使用的 Cgroups V1 还是 V2

    stat -fc %T /sys/fs/cgroup/

    如果输出是cgroup2fs 那就是 V2，就像这样

    root@tezn:~# stat -fc %T /sys/fs/cgroup/
cgroup2fs

    如果输出是tmpfs 那就是 V1，就像这样

    [root@docker cgroup]# stat -fc %T /sys/fs/cgroup/
tmpfs

    Go 实现如下：

    const (
    unifiedMountpoint = "/sys/fs/cgroup"
)

var (
    isUnifiedOnce sync.Once
    isUnified     bool
)

// IsCgroup2UnifiedMode returns whether we are running in cgroup v2 unified mode.
func IsCgroup2UnifiedMode() bool {
    isUnifiedOnce.Do(func() {
        var st unix.Statfs_t
        err := unix.Statfs(unifiedMountpoint, &st)
        if err != nil && os.IsNotExist(err) {
            // For rootless containers, sweep it under the rug.
            isUnified = false
            return
        }
        isUnified = st.Type == unix.CGROUP2_SUPER_MAGIC
    })
    return isUnified
}

    cgroup v2 支持

    使用 cgroup v2 过程和 v1 基本一致

    • 1）创建子 cgroup
    • 2）配置 cpu、memory 等 Subsystem
    • 3）配置需要限制的进程

    创建子 cgroup

    创建子 cgroup,则是在 cgroup 根目录下创建子目录即可，对 cgroup v2 来说，根目录就是 /sys/fs/cgroup

    const UnifiedMountpoint = "/sys/fs/cgroup"

// getCgroupPath 找到cgroup在文件系统中的绝对路径
/*
实际就是将根目录和cgroup名称拼接成一个路径。
如果指定了自动创建，就先检测一下是否存在，如果对应的目录不存在，则说明cgroup不存在，这里就给创建一个
*/
func getCgroupPath(cgroupPath string, autoCreate bool) (string, error) {
    // 不需要自动创建就直接返回
    cgroupRoot := UnifiedMountpoint
    absPath := path.Join(cgroupRoot, cgroupPath)
    if !autoCreate {
        return absPath, nil
    }
    // 指定自动创建时才判断是否存在
    _, err := os.Stat(absPath)
    // 只有不存在才创建
    if err != nil && os.IsNotExist(err) {
        err = os.Mkdir(absPath, constant.Perm0755)
        return absPath, err
    }
    return absPath, errors.Wrap(err, "create cgroup")
}

    配置 Subsystem

    以 cpu 为例，只需要在 cpu.max 中添加具体限制即可，就像这样：

    echo 5000 10000 > cpu.max

    含义是在10000的CPU时间周期内，有5000是分配给本cgroup的，也就是本cgroup管理的进程在单核CPU上的使用率不会超过50%

    具体实现如下：

    func (s *CpuSubSystem) Set(cgroupPath string, res *resource.ResourceConfig) error {
    if res.CpuCfsQuota == 0 {
        return nil
    }
    subCgroupPath, err := getCgroupPath(cgroupPath, true)
    if err != nil {
        return err
    }

    // cpu.cfs_period_us & cpu.cfs_quota_us 控制的是CPU使用时间，单位是微秒，比如每1秒钟，这个进程只能使用200ms，相当于只能用20%的CPU
    // v2 中直接将 cpu.cfs_period_us & cpu.cfs_quota_us 统一记录到 cpu.max 中，比如 5000 10000 这样就是限制使用 50% cpu
    if res.CpuCfsQuota != 0 {
        // cpu.cfs_quota_us 则根据用户传递的参数来控制，比如参数为20，就是限制为20%CPU，所以把cpu.cfs_quota_us设置为cpu.cfs_period_us的20%就行
        // 这里只是简单的计算了下，并没有处理一些特殊情况，比如负数什么的
        if err = os.WriteFile(path.Join(subCgroupPath, "cpu.max"), []byte(fmt.Sprintf("%s %s", strconv.Itoa(PeriodDefault/Percent*res.CpuCfsQuota), PeriodDefault)), constant.Perm0644); err != nil {
            return fmt.Errorf("set cgroup cpu share fail %v", err)
        }
    }
    return nil
}

    配置需要限制的进程

    只需要将 pid 写入 cgroup.procs 即可

    echo 1033 > cgroup.procs

    Go 实现如下：

    func (s *CpuSubSystem) Apply(cgroupPath string, pid int) error {
    return applyCgroup(pid, cgroupPath)
}

func applyCgroup(pid int, cgroupPath string) error {
    subCgroupPath, err := getCgroupPath(cgroupPath, true)
    if err != nil {
        return errors.Wrapf(err, "get cgroup %s", cgroupPath)
    }
    if err = os.WriteFile(path.Join(subCgroupPath, "cgroup.procs"), []byte(strconv.Itoa(pid)),
        constant.Perm0644); err != nil {
        return fmt.Errorf("set cgroup proc fail %v", err)
    }
    return nil
}

    移除

    删除 cgroup 下的子目录即可移除

    func (s *CpuSubSystem) Remove(cgroupPath string) error {
    subCgroupPath, err := getCgroupPath(cgroupPath, false)
    if err != nil {
        return err
    }
    return os.RemoveAll(subCgroupPath)
}

    兼容V1和V2

    只需要在创建 CgroupManager 时判断当前系统 cgroup 版本即可

    func NewCgroupManager(path string) CgroupManager {
    if IsCgroup2UnifiedMode() {
        log.Infof("use cgroup v2")
        return NewCgroupManagerV2(path)
    }
    log.Infof("use cgroup v1")
    return NewCgroupManagerV1(path)
}

    3. 测试

    cgroup v1

    到 cgroup v1 环境进行测试

    root@mydocker:~/mydocker# ./mydocker run -mem 10m -cpu 10 -it -name cgroupv1 busybox /bin/sh
{"level":"info","msg":"createTty true","time":"2024-04-14T13:23:19+08:00"}
{"level":"info","msg":"resConf:\u0026{10m 10 }","time":"2024-04-14T13:23:19+08:00"}
{"level":"info","msg":"lower:/var/lib/mydocker/overlay2/3845479957/lower image.tar:/var/lib/mydocker/image/busybox.tar","time":"2024-04-14T13:23:19+08:00"}
{"level":"info","msg":"mount overlayfs: [/usr/bin/mount -t overlay overlay -o lowerdir=/var/lib/mydocker/overlay2/3845479957/lower,upperdir=/var/lib/mydocker/overlay2/3845479957/upper,workdir=/var/lib/mydocker/overlay2/3845479957/work /var/lib/mydocker/overlay2/3845479957/merged]","time":"2024-04-14T13:23:19+08:00"}
{"level":"info","msg":"use cgroup v1","time":"2024-04-14T13:23:19+08:00"}
{"level":"error","msg":"apply subsystem:cpuset err:set cgroup proc fail write /sys/fs/cgroup/cpuset/mydocker-cgroup/tasks: no space left on device","time":"2024-04-14T13:23:19+08:00"}
{"level":"info","msg":"command all is /bin/sh","time":"2024-04-14T13:23:19+08:00"}
{"level":"info","msg":"init come on","time":"2024-04-14T13:23:19+08:00"}
{"level":"info","msg":"Current location is /var/lib/mydocker/overlay2/3845479957/merged","time":"2024-04-14T13:23:19+08:00"}
{"level":"info","msg":"Find path /bin/sh","time":"2024-04-14T13:23:19+08:00"}

    根据日志可知，当前使用的时 cgroup v1

    {"level":"info","msg":"use cgroup v1","time":"2024-04-14T13:23:19+08:00"}

    执行以下命令测试memory分配

    yes > /dev/null

    可以看到，过会就被 OOM Kill 了

    / # yes > /dev/null
Killed

    执行以下命令 跑满 cpu

    while : ; do : ; done &

    确实被限制到 10%了

    PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND              
1212 root      20   0    1332     68      4 R   9.9   0.0   0:02.30 sh

    cgroup v2

    到 cgroup v2 环境进行测试，或者参考以下步骤切换到 v2 版本。

    切换到 cgroup v2

    你还可以通过修改内核 cmdline 引导参数在你的 Linux 发行版上手动启用 cgroup v2。

    如果你的发行版使用 GRUB，则应在 /etc/default/grub 下的 GRUB_CMDLINE_LINUX 中添加 systemd.unified_cgroup_hierarchy=1， 然后执行 sudo update-grub。

    编辑 grub 配置

    vi /etc/default/grub

    内容大概是这样的：

    GRUB_DEFAULT=0
GRUB_TIMEOUT_STYLE=hidden
GRUB_TIMEOUT=0
GRUB_DISTRIBUTOR=`lsb_release -i -s 2> /dev/null || echo Debian`
GRUB_CMDLINE_LINUX_DEFAULT="quiet splash"
GRUB_CMDLINE_LINUX=""

    对最后一行GRUB_CMDLINE_LINUX进行修改

    GRUB_CMDLINE_LINUX="quiet splash systemd.unified_cgroup_hierarchy=1"

    然后执行以下命令更新 GRUB 配置

    sudo update-grub

    最后查看一下启动参数，确认配置修改上了

    cat /boot/grub/grub.cfg | grep "systemd.unified_cgroup_hierarchy=1"

    然后就是重启

    reboot

    重启后查看，不出意外切换到 cgroups v2 了

    root@cgroupv2:~# stat -fc %T /sys/fs/cgroup/
cgroup2fs

    测试

    ./mydocker run -mem 10m -cpu 10 -it -name cgroupv2 busybox /bin/sh
    root@mydocker:~/mydocker# ./mydocker run -mem 10m -cpu 10 -it -name cgroupv2 busybox /bin/sh
{"level":"info","msg":"createTty true","time":"2024-04-14T13:26:32+08:00"}
{"level":"info","msg":"resConf:\u0026{10m 10 }","time":"2024-04-14T13:26:32+08:00"}
{"level":"info","msg":"lower:/var/lib/mydocker/overlay2/3526930704/lower image.tar:/var/lib/mydocker/image/busybox.tar","time":"2024-04-14T13:26:32+08:00"}
{"level":"info","msg":"mount overlayfs: [/usr/bin/mount -t overlay overlay -o lowerdir=/var/lib/mydocker/overlay2/3526930704/lower,upperdir=/var/lib/mydocker/overlay2/3526930704/upper,workdir=/var/lib/mydocker/overlay2/3526930704/work /var/lib/mydocker/overlay2/3526930704/merged]","time":"2024-04-14T13:26:32+08:00"}
{"level":"info","msg":"use cgroup v2","time":"2024-04-14T13:26:32+08:00"}
{"level":"info","msg":"init come on","time":"2024-04-14T13:26:32+08:00"}
{"level":"info","msg":"command all is /bin/sh","time":"2024-04-14T13:26:32+08:00"}
{"level":"info","msg":"Current location is /var/lib/mydocker/overlay2/3526930704/merged","time":"2024-04-14T13:26:32+08:00"}
{"level":"info","msg":"Find path /bin/sh","time":"2024-04-14T13:26:32+08:00"}

    根据日志可知，当前使用的时 cgroup v2

    {"level":"info","msg":"use cgroup v2","time":"2024-04-14T13:26:32+08:00"}

    执行同样的测试，效果一致，说明 cgroup v2 使用正常。

    执行以下命令测试memory分配

    yes > /dev/null

    可以看到，过会就被 OOM Kill 了

    / # yes > /dev/null
Killed

    执行以下命令 跑满 cpu

    while : ; do : ; done &

    确实被限制到 10%了

    PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND              
1212 root      20   0    1332     68      4 R   9.9   0.0   0:02.30 sh

    4. 小结

    本文主要为 mydocker 添加了 cgroup v2 的支持，根据系统 cgroup 版本自适应切换。

    完整代码见：https://github.com/lixd/mydocker
    欢迎关注~

    【从零开始写 Docker 系列】持续更新中，搜索公众号【探索云原生】订阅，阅读更多文章。

    相关代码见 feat-cgroup-v2 分支,测试脚本如下：

    需要提前在 /var/lib/mydocker/image 目录准备好 busybox.tar 文件，具体见第四篇第二节。
    # 克隆代码
git clone -b feat-cgroup-v2 https://github.com/lixd/mydocker.git
cd mydocker
# 拉取依赖并编译
go mod tidy
go build .
# 测试 
./mydocker run -mem 10m -cpu 10 -it -name cgroupv2 busybox /bin/sh
    godockerlinuxcgroupskubernetes
    探索云原生
    11 声望6 粉丝

    一个云原生打工人的探索之路，专注云原生，Go，坚持分享最佳实践、经验干货。

    « 上一篇
    Linux-Cgroup V2 初体验
    下一篇 »
    ArgoWorkflow 教程(一)--DevOps 另一选择？云原生 CICD 初体验

    引用和评论

    推荐阅读
    头像
    在 K8S 中创建 Pod 是如何使用到 GPU 的： nvidia device plugin 源码分析

    探索云原生阅读 38

    头像
    小团队docker hub被墙的终极方案：基于docker打造本地docker仓库镜像

    潘杰赞 5阅读 5.8k

    头像
    解决阿里云ECS服务器拉取不下docker镜像的问题

    kexb赞 3阅读 3.7k评论 2

    头像
    记录修复 cd 系统报错整个过程

    吴季分赞 3阅读 3.7k

    头像
    Go 语言-计算密集型服务 性能优化

    Jesse赞 4阅读 8.6k

    头像
    IO 密集型服务 耗时优化

    Jesse赞 4阅读 7.8k

    头像
    Go 语言 JSON 与 Cache 库 调研与选型

    Jesse赞 2阅读 7.3k

    0 条评论
    得票最新