docker实现原理(一) ns和cgroups

1. 基于linux内核的cgroup namespace以及unionFS等技术，对进程进行封装和隔离
2. 进入docker 也可以使用docker attach，exit后会退出。
3. 将dockerfile打包成镜像 docker build -t x/x{$tag} . docker push x/x:{$tag}

容器标准

1. oci标准
2. Runtime specification 文件系统包如何解压至硬盘，供运行时运行
3. image specification 如何通过构建系统打包，生成镜像清单、文件系统序列化文件、镜像配置

容器的主要的特性

1. 隔离性 namespace，不同的namespace有不同的进程id，网络配置
2. 可配额 cgroup
3. 便携性
4. 安全性

namespace

1. linux namespace是 linux kernel提供的资源隔离方案

   • 系统为不同的进程分配不同的namespace
   • 保证不同的namespace自愿独立分配，进程彼此隔离

   // namespace 实现代码
   struct task_struct {
    struct nsproxy *nsproxy;
   }
   
   struct nsproxy {
    atomic_t count;
    struct uts_namespace *uts_ns;
    struct ipc_namespace *ipc_ns;
    struct mnt_namespace *mnt_ns;
    struct pid_namespace *pid_ns_for_children;
    struct net *net_ns;
   }

linux 对namespace的操作

1. clone，在创建新锦成的系统调用时，通过flags参数指定需要新建的namespace类型

   • int clone(int fn(void ),void child_stack,int flags,void *arg)

2. setns 该系统调用可以让调用的进程加入某个已经存在的namespace

   • int setns(int fd,int nstype)
3. unshare 将调用进程移动到新的namespace下 unshare - run program with some namespaces unshared from parent(使用与父程序不共享的名称空间运行程序) https://blog.csdn.net/qq_3493...

namespace简介

1. pidnamespace ，每个namespace中的pid能够相互隔离
2. net namespace，每个net namespace有独立的network devices，address，ip routing tables。docker采用veth的方式将container中的虚拟网卡同host上的一个docker bridge：docker0连接到一起
3. ipc namespace。包括常见的信号量、消息队列和共享内存
4. mnt namespace。允许不同的namespace可按到文件结构不同，每个namespace中进程看到的文件就隔离了
5. uts namespace。允许每个container拥有独立的hostname和domain name。从而在网络上可以被看作一个独立的节点，而不是一个进程
6. user namespace。每个container可以有不同的user和group id。可以用容器内部的user执行程序而不是host上的用户

关于namespace的常用操作

1. lsns -t <type> 查看当前系统的namespace
2. ls -la /proc/pid/ns/ 查看某个进程的namespace
3. nsenter -t pid -n ip addr 进入某namespace运行命令，和进入容器执行ip addr 返回内容一样

Cgroups

1. 对linux下一个或者一组进程进行资源控制和监控的机制
2. 对cpu、内存、磁盘io等资源限制
3. 针对不同类型的资源限制，只要将限制策略在不同子系统上关联
4. cgroups在不同的系统资源管理子系统汇总以层级树来组织，croups可以包含其他cgroups
5. 每种资源控制是一个子系统

control Croups子系统

1. blkio，对输入输出控制，磁盘、光盘等
2. cpu，限制cpu的访问
3. cpuacct，产生cpu的资源报告，这个cgroup的1
4. cpuset，分配单独的cpu和内存
5. devices，允许或者拒绝cgroup任务对设备的访问

cpu子系统

1. cpu.shares，cpu可使用时长的相对值，在cpu.shares配置文件中配置数值，两个cgroup分配的cpu为这两个数值的比
2. cpu.cfs_period_us 配置时间周期，单位us
3. cpu.cfs_quota_us 在cfs_period_us的时间内能使用cpu的时间数，单位us
4. cpu.stat cgroup内进程使用的cpu时间统计
5. nr_periods 经过cfs_period_us的时间周期数量
6. nr_throttled，在时间周期内，多少进程因为时间耗尽而受到限制不能正常执行
7. throttled_time cgroup中进程被限制使用cpu的中用时

linux 调度器

内核默认提供了5个调度器，linxu内核使用struct sched_class来对调度器进行抽象

1. stop调度器，优先级最高的调度类，可以抢占其他所有进程
2. Deadline调度器，dl_sched_class 使用红黑树，吧进程按照绝对截止期限进行排序，选择最小进程进行调度
3. RT调度器，rt_sched_dlass实时调度器,为每个优先级为何一个队列
4. CFS调度器，cfs_sched_class 完全公平调度器，采用完全公平算法，引入虚拟运行时的概念

5. IDLE-task调度器，每个cpu都有个idle线程，没有其他进程可以调用的使用，调度运行dele线程

   
   在 cgroup cpu 子系统目录中创建目录结构
   cd /sys/fs/cgroup/cpu
   mkdir cpudemo
   cd cpudemo
   • 运行 busyloop
   • 执行 top 查看 CPU 使用情况，CPU 占用 200%
   • 通过 cgroup 限制 cpu
   cd /sys/fs/cgroup/cpu/cpudemo
   • 把进程添加到 cgroup 进程配置组
   echo ps -ef|grep busyloop|grep -v grep|awk '{print $2}' > cgroup.procs
   • 设置 cpuquota
   echo 10000 > cpu.cfs_quota_us
   • 执行 top 查看 CPU 使用情况，CPU 占用变为10%

cpuacct子系统

用于统计cgroup机器子cgroup下进程的cpu使用情况

1. cpuacct.usage 进程使用cpu的时间，单位ns
2. cpuacct.stat cpu使用时间，用户态、内核态时间

memory子系统

1. memory.usage_in_bytes 进程使用的内存
2. memory.max_usage_in_byutes 进程使用的内存最大值
3. memery.limit_in_bytes cgroup下进程最多能使用的内存，默认-1 不限制
4. memory.soft_limit_in_bytes 不会阻止进程使用超过限额的内存，只是在系统内存粗狗时，有限回收超额内存
5. memory.oom_control 设置是否使用oom killer，默认使用，如果croup内进程超过内存，就会被kill

cgroup driver

1. systemd
2. cgroupsfs，默认

3. 存在问题

   • 在systemd作为init system的系统中，默认存在两套group driver
   • 这会使docker和kubelet管理的进程被cgroupfs驱动管，而systemd拉起的由systemd驱动管，
   • kubelet会默认 --cgroup-driver=systemd 若运行时cgroup不一致时，kubelet会报错

   • Memory 子系统练习
   • 在 cgroup memory 子系统目录中创建目录结构
   cd /sys/fs/cgroup/memory
   mkdir memorydemo
   cd memorydemo
   • 运行 malloc（在linux机器make build） • 查看内存使用情况
   watch 'ps -aux|grep malloc|grep -v grep‘
   • 通过 cgroup 限制 memory
   • 把进程添加到cgroup进程配置组
   echo ps -ef|grep malloc |grep -v grep|awk '{print $2}' > cgroup.procs
   • 设置 memory.limit_in_bytes
   echo 104960000 > memory.limit_in_bytes
   • 等待进程被 oom kill