Y 分钟速成 zfs

头像
小X学技术
     北京
    阅读 10 分钟

    源代码下载： LearnZfs-cn.txt

    ZFS
    是重新思考与储存相关技术的结果，它把传统的文件系统和卷管理器集成到一个工具当中.
    ZFS不但有把它和传统存储系统分开来的特有术语，也有很多聚焦于可用性的功能。

    ZFS概念

    虚拟设备（Virtual Devices，VDEV）

    对于操作系统来说，VDEV和传统的RAID阵列卡所呈现的raid设备类似。VDEV有几种不同的类型，每种类型
    都有自己的优势，包括冗余和速度。一般来说，VDEV的可靠性和安全性比阵列卡要好。因此使用ZFS时不
    建议使用阵列卡。让ZFS直接管理磁盘。

    VDEV的类型

    • stripe (条带。单个磁盘，没有冗余)
    • mirror (镜像。支持n-way镜像)

    • raidz

      • raidz1 (一个奇偶校验磁盘, 类似于RAID 5)
      • raidz2 (两个奇偶校验磁盘, 类似于RAID 6)
      • raidz3 (三个奇偶校验磁盘, 没有类似RAID等级)
    • disk （磁盘）
    • file (文件。不推荐在生产环境中使用，因为中间又多了一层不必要的文件系统)

    数据会以条带方式存储于存储池中的所有VDEV上。因此一个存储池中的VDEV越多，IOPS就越高。

    storage pool （存储池）

    ZFS 使用存储池来作为底层存储提供者（VDEV）的抽象。这样可以把用户可见的文件系统和底层的物理磁盘
    布局分离开来。

    ZFS 数据集（Dataset）

    ZFS 数据集类似于传统的文件系统（译者注：或者说是目录），但是提供了更多的功能。ZFS的很多优势也是
    在这一层体现出来的。数据集支持 Copy on Write
    快照, 配额, 压缩和重复消除（de-duplication）.

    限制

    一个目录最多可包含 2^48个文件, 每个文件最大可以是16 exabytes. 一个存储池最大可包含256 zettabytes 、
    (2^78) 的空间, 可以条带化地分布于2^64 设备上. 单一主机最多可以创建2^64个存储池。这些限制可以说是相
    当大。

    命令

    存储池

    Actions: （存储池操作）

    • List （列举）
    • Status （查看状态）
    • Destroy （删除）
    • Get/Set properties （获取/设置属性）

    List zpools （列举存储池（也叫zpool））

    # 创建一个raidz类型的存储池(名称为bucket）
$ zpool create bucket raidz1 gpt/zfs0 gpt/zfs1 gpt/zfs2

# 列出所有存储池
$ zpool list
NAME    SIZE  ALLOC   FREE  EXPANDSZ   FRAG    CAP  DEDUP  HEALTH  ALTROOT
zroot   141G   106G  35.2G         -    43%    75%  1.00x  ONLINE  -

# 列出某一存储池的详细信息
$ zpool list -v zroot
NAME                                     SIZE  ALLOC   FREE  EXPANDSZ   FRAG    CAP  DEDUP HEALTH  ALTROOT
zroot                                    141G   106G  35.2G         -    43%    75%  1.00x ONLINE  -
  gptid/c92a5ccf-a5bb-11e4-a77d-001b2172c655   141G   106G  35.2G         -    43%    75%

    Status of zpools （存储池状态）

    # 获取全部zpool状态信息
$ zpool status
  pool: zroot
 state: ONLINE
  scan: scrub repaired 0 in 2h51m with 0 errors on Thu Oct  1 07:08:31 2015
config:

        NAME                                          STATE     READ WRITE CKSUM
        zroot                                         ONLINE       0     0     0
          gptid/c92a5ccf-a5bb-11e4-a77d-001b2172c655  ONLINE       0     0     0

errors: No known data errors

# 用scrub来更正存储池错误信息
$ zpool scrub zroot
$ zpool status -v zroot
  pool: zroot
 state: ONLINE
  scan: scrub in progress since Thu Oct 15 16:59:14 2015
        39.1M scanned out of 106G at 1.45M/s, 20h47m to go
        0 repaired, 0.04% done
config:

        NAME                                          STATE     READ WRITE CKSUM
        zroot                                         ONLINE       0     0     0
          gptid/c92a5ccf-a5bb-11e4-a77d-001b2172c655  ONLINE       0     0     0

errors: No known data errors

    Properties of zpools （存储池属性）

    
# 获取某一存储池的全部属性。属性可能是系统提供，也可能是用户设置
$ zpool get all zroot
NAME   PROPERTY                       VALUE                          SOURCE
zroot  size                           141G                           -
zroot  capacity                       75%                            -
zroot  altroot                        -                              default
zroot  health                         ONLINE                         -
...

# 设置存储池属性，下例这是设置comment(备注)属性
$ zpool set comment="Storage of mah stuff" zroot
$ zpool get comment
NAME   PROPERTY  VALUE                 SOURCE
tank   comment   -                     default
zroot  comment   Storage of mah stuff  local

    Remove zpool （删除存储池）

    $ zpool destroy test

    Datasets （数据集）

    Actions: （数据集相关操作）

    • Create （创建）
    • List （列举）
    • Rename （重命名）
    • Delete （删除）
    • Get/Set properties （获取/设置属性）

    Create datasets

    # 创建数据集
$ zfs create tank/root/data
$ mount | grep data
tank/root/data on /data (zfs, local, nfsv4acls)

# 创建子数据集
$ zfs create tank/root/data/stuff
$ mount | grep data
tank/root/data on /data (zfs, local, nfsv4acls)
tank/root/data/stuff on /data/stuff (zfs, local, nfsv4acls)


# 创建卷
$ zfs create -V zroot/win_vm
$ zfs list zroot/win_vm
NAME                 USED  AVAIL  REFER  MOUNTPOINT
tank/win_vm         4.13G  17.9G    64K  -

    List datasets （列举数据集）

    # 列出所有数据集
$ zfs list
NAME                                                                       USED  AVAIL  REFER  MOUNTPOINT
zroot                                                                      106G  30.8G   144K  none
zroot/ROOT                                                                18.5G  30.8G   144K  none
zroot/ROOT/10.1                                                              8K  30.8G  9.63G  /
zroot/ROOT/default                                                        18.5G  30.8G  11.2G  /
zroot/backup                                                              5.23G  30.8G   144K  none
zroot/home                                                                 288K  30.8G   144K  none
...

# 列举某一数据集的信息
$ zfs list zroot/home
NAME         USED  AVAIL  REFER  MOUNTPOINT
zroot/home   288K  30.8G   144K  none

# 列出快照
$ zfs list -t snapshot
zroot@daily-2015-10-15                                                                  0      -   144K  -
zroot/ROOT@daily-2015-10-15                                                             0      -   144K  -
zroot/ROOT/default@daily-2015-10-15                                                     0      -  24.2G  -
zroot/tmp@daily-2015-10-15                                                           124K      -   708M  -
zroot/usr@daily-2015-10-15                                                              0      -   144K  -
zroot/home@daily-2015-10-15                                                             0      -  11.9G  -
zroot/var@daily-2015-10-15                                                           704K      -  1.42G  -
zroot/var/log@daily-2015-10-15                                                       192K      -   828K  -
zroot/var/tmp@daily-2015-10-15                                                          0      -   152K  -

    Rename datasets （重命名数据集）

    $ zfs rename tank/root/home tank/root/old_home
$ zfs rename tank/root/new_home tank/root/home

    Delete dataset （删除数据集）

    # 数据集如果有快照则无法删除
zfs destroy tank/root/home

    Get / set properties of a dataset （获取/设置数据集属性）

    # 获取数据集全部属性
$ zfs get all  zroot/usr/home                                                                                              │157 # Create Volume
NAME            PROPERTY              VALUE                  SOURCE                                                                          │158 $ zfs create -V zroot/win_vm
zroot/home      type                  filesystem             -                                                                               │159 $ zfs list zroot/win_vm
zroot/home      creation              Mon Oct 20 14:44 2014  -                                                                               │160 NAME                 USED  AVAIL  REFER  MOUNTPOINT
zroot/home      used                  11.9G                  -                                                                               │161 tank/win_vm         4.13G  17.9G    64K  -
zroot/home      available             94.1G                  -                                                                               │162 ```
zroot/home      referenced            11.9G                  -                                                                               │163
zroot/home      mounted               yes                    -
...

# 获取数据集属性
$ zfs get compression zroot/usr/home
NAME            PROPERTY     VALUE     SOURCE
zroot/home      compression  off       default

# 设置数据集属性（下例为设置压缩属性compression）
$ zfs set compression=gzip-9 mypool/lamb

# 列举所有数据集的名称、配额和预留属性
$ zfs list -o name,quota,reservation
NAME                                                               QUOTA  RESERV
zroot                                                               none    none
zroot/ROOT                                                          none    none
zroot/ROOT/default                                                  none    none
zroot/tmp                                                           none    none
zroot/usr                                                           none    none
zroot/home                                                          none    none
zroot/var                                                           none    none
...

    Snapshots （快照）

    快照是ZFS 的一个非常重要的功能

    • 快照占用的空间等于它和原始数据的差异量
    • 创建时间以秒计
    • 恢复时间和写入速度相同
    • 易于自动化

    Actions: （快照相关操作）

    • Create （创建）
    • Delete （删除）
    • Rename （重命名）
    • Access snapshots （访问）
    • Send / Receive （发送/接收）
    • Clone （克隆。译者注：关于clone和快照的区别可参看这里）

    Create snapshots （创建快照）

    # 为单一数据集创建快照
zfs snapshot tank/home/sarlalian@now

# 为数据集及其子集创建快照
$ zfs snapshot -r tank/home@now
$ zfs list -t snapshot
NAME                       USED  AVAIL  REFER  MOUNTPOINT
tank/home@now                 0      -    26K  -
tank/home/sarlalian@now       0      -   259M  -
tank/home/alice@now           0      -   156M  -
tank/home/bob@now             0      -   156M  -
...

    Destroy snapshots （删除快照）

    # 如何删除快照
$ zfs destroy tank/home/sarlalian@now

# 删除某一数据集及其子集的快照
$ zfs destroy -r tank/home/sarlalian@now

    Renaming Snapshots （重命名）

    # 重命名快照
$ zfs rename tank/home/sarlalian@now tank/home/sarlalian@today
$ zfs rename tank/home/sarlalian@now today

# zfs rename -r tank/home@now @yesterday

    Accessing snapshots （访问快照）

    # cd进入一个快照目录
$ cd /home/.zfs/snapshot/

    Sending and Receiving

    # 备份快照到一个文件
$ zfs send tank/home/sarlalian@now | gzip > backup_file.gz

# 发送快照到另一个数据集
$ zfs send tank/home/sarlalian@now | zfs recv backups/home/sarlalian

# 发送快照到一个远程主机
$ zfs send tank/home/sarlalian@now | ssh root@backup_server 'zfs recv tank/home/sarlalian'

# 发送完整数据集及其快照到一个新主机
$ zfs send -v -R tank/home@now | ssh root@backup_server 'zfs recv tank/home'

    Cloneing Snapshots （克隆快照）

    # 克隆一个快照
$ zfs clone tank/home/sarlalian@now tank/home/sarlalian_new

# 提升克隆，让它不再依赖原始快照
$ zfs promote tank/home/sarlalian_new

    汇总

    下面这个脚本使用了FreeBSD, jails和ZFS，来自动在一个mysql群集的热备主机上为一个mysq staging数据库
    创建一份纯净的拷贝。

    #!/bin/sh

echo "==== Stopping the staging database server ===="
jail -r staging

echo "==== Cleaning up existing staging server and snapshot ===="
zfs destroy -r zroot/jails/staging
zfs destroy zroot/jails/slave@staging

echo "==== Quiescing the slave database ===="
echo "FLUSH TABLES WITH READ LOCK;" | /usr/local/bin/mysql -u root -pmyrootpassword -h slave

echo "==== Snapshotting the slave db filesystem as zroot/jails/slave@staging ===="
zfs snapshot zroot/jails/slave@staging

echo "==== Starting the slave database server ===="
jail -c slave

echo "==== Cloning the slave snapshot to the staging server ===="
zfs clone zroot/jails/slave@staging zroot/jails/staging

echo "==== Installing the staging mysql config ===="
mv /jails/staging/usr/local/etc/my.cnf /jails/staging/usr/local/etc/my.cnf.slave
cp /jails/staging/usr/local/etc/my.cnf.staging /jails/staging/usr/local/etc/my.cnf

echo "==== Setting up the staging rc.conf file ===="
mv /jails/staging/etc/rc.conf.local /jails/staging/etc/rc.conf.slave
mv /jails/staging/etc/rc.conf.staging /jails/staging/etc/rc.conf.local

echo "==== Starting the staging db server ===="
jail -c staging

echo "==== Makes the staging database not pull from the master ===="
echo "STOP SLAVE;" | /usr/local/bin/mysql -u root -pmyrootpassword -h staging
echo "RESET SLAVE;" | /usr/local/bin/mysql -u root -pmyrootpassword -h staging

    延伸阅读

    有建议？或者发现什么错误？在Github上开一个issue，或者发起pull request！

    原著sarlalian，并由0个好心人修改。
    © 2022 sarlalian
    Translated by: Alan Cheng
    本作品采用 CC BY-SA 3.0 协议进行许可。

    zfsvirtual工具存储入门
    本文系翻译，阅读原文
    https://learnxinyminutes.com/docs/zh-cn/zfs-cn/
    小X学技术
    6 声望5 粉丝
    « 上一篇
    Y 分钟速成 vim
    下一篇 »
    Y 分钟速成 Groovy

    引用和评论

    推荐阅读
    头像
    Y 分钟速成 Git

    小X学技术阅读 2k

    头像
    前端脚手架（简易版）搭建攻略

    小皇帝James阅读 1.5k

    头像
    什么是任天堂公司游戏模拟器的 NES 文件

    注销阅读 635

    头像
    前端小工具,直接本地脚本直接上传到oss

    汝何不上九霄赞 1阅读 525

    头像
    【漏洞利用】2024Hvv漏洞POC283 个合集分享

    0day漏洞文库阅读 271

    头像
    JTAG接口：电子产品开发和生产中的“万能钥匙”

    华秋DFM阅读 242

    头像
    【工具推荐】TomcatWeakPassChecker v2.2(最新版本) - Tomcat 漏洞一键漏洞利用getshell

    0day漏洞文库阅读 207

    0 条评论
    得票最新