基于bluestore的rocksdb的调优,测试ceph-4K-randwrite性能

0
调节bluestore_rocksdb参数,fio来测试ceph随机写的性能,期望进行优化。
上一篇文章中测试了在ceph环境下,通过gdbprof分析4k-randwrite的性能,可以看出rocksdb线程耗用资源较多,因为ceph的底层就是基于rocksdb进行存储的,因此尝试着去调节ceph中导出的rocksdb参数,来达到一个调优效果。

简单查看下集群是否正常

$ceph osd tree
图片描述
$ceph -s
图片描述

rocksdb导出参数

图片描述

接下来对参数进行说明:
"bluestore_rocksdb_options": "compression=kNoCompression,max_write_buffer_number=4,min_write_buffer_number_to_merge=1,recycle_log_file_num=4,write_buffer_size=268435456,writable_file_max_buffer_size=0,compaction_readahead_size=2097152"
Compression=kNoCompression:表示数据不进行压缩。对每个SST文件,数据块和索引块都会被单独压缩,默认是Snappy
write_buffer_size=268435456(2^28):memtable的最大size,如果超过这个值,RocksDB会将其变成immutable memtable,并使用另一个新的memtable。插入数据时RocksDB首先会将其放到memtable里,所以写入很快,当一个memtable full之后,RocksDB会将该memtable变成immutable,用另一个新的memtable来存储新的写入,immutable的memtable就被等待flush到level0
max_write_buffer_number=4:最大的memtable个数。如果active memtable都full了,并且active memtable+immutable memtable个数超过max_write_buffer_number,则RocksDB会停止写入,通常原因是写入太快而flush不及时造成的。
min_write_buffer_number_to_merge=1:在flush到level0之前,最少需要被merge的memtable个数,如min_write_buffer_number_to_merge =2,那么至少当有两个immutable的memtable时,RocksDB才会将这两个immutable memTable先merge,再flush到level0。Merge 的好处是,譬如在一个key在不同的memtable里都有修改,可以merge形成一次修改。min_write_buffer_number_to_merge太大会影响读取性能,因为Get会遍历所有的memtable来看该key是否存在。
compaction_readahead_size=2097152(2^21):预读大小,在进行compression时,执行更大的数据读取,
writable_file_max_buffer_size=0:可写文件的最大写缓存

修改rocksdb参数

首先分为服务端机器server_host和客户端机器client_host
修改server_host的/etc/ceph/ceph.conf中bluestore rocksdb项
$vim /etc/ceph/ceph.conf
添加以下参数配置

[osd]
bluestore rocksdb options = compression=kNoCompression,max_write_buffer_number=8,min_write_buffer_number_to_merge=4,recycle_log_file_num=4,write_buffer_size=356870912,writable_file_max_buffer_size=0,compaction_readahead_size=8388608
[osd.0]
[osd.1]
[osd.2]

wq保存退出

重启osd集群

systemctl restart ceph-osd@0.service
systemctl restart ceph-osd@1.service
systemctl restart ceph-osd@2.service
:osd一个一个的重启,不要快速重启三个,等一个osd重启并运行正常后(可用$ceph osd tree查看),再重启第二个,不然集群容易挂掉

查看rocksdb参数是否有变化

ceph daemon osd.0 config show | grep bluestore_rocksdb
ceph daemon osd.1 config show | grep bluestore_rocksdb
ceph daemon osd.2 config show | grep bluestore_rocksdb

FIO测试性能

(1)先创建image再进行4k-randwrite操作

**$rbd create --pool ymg --image img01 --size 40G**

(2)填充image

**$fio -direct=1 -iodepth=256 -ioengine=rbd -pool=ymg -rbdname=img01 -rw=write -bs=1M -size=40G -ramp_time=5 -group_reporting -name=full-fill**

(3)randwrite命令

**$fio -direct=1 -iodepth=256 -ioengine=rbd -pool=ymg -rbdname=img01 -rw=randwrite -bs=4K -runtime=300 -numjobs=1 -ramp_time=5 -group_reporting -name=parameter1**

对比实验及结果

【Parameter0实验-原始参数】

compression=kNoCompression
max_write_buffer_number=4
min_write_buffer_number_to_merge=1
recycle_log_file_num=4
write_buffer_size=268435456
writable_file_max_buffer_size=0
compaction_readahead_size=2097152
时间段:16:57:04~17:02:04
结果如下
图片描述
图片描述
图片描述
图片描述
图片描述

你可能感兴趣的

载入中...