一、分布式Minio快速入门
分布式Minio可以让你将多块硬盘（甚至在不同的机器上）组成一个对象存储服务。由于硬盘分布在不同的节点上，分布式Minio避免了单点故障。
1、分布式Minio有什么好处?
在大数据领域，通常的设计理念都是无中心和分布式。Minio分布式模式可以帮助你搭建一个高可用的对象存储服务，你可以使用这些存储设备，而不用考虑其真实物理位置。
- 数据保护
分布式Minio采用 erasure code（纠删码）来防范多个节点宕机和位衰减bit rot。
分布式Minio至少需要4个节点，使用分布式Minio自动引入了纠删码功能。
- 高可用
单机Minio服务存在单点故障，相反，如果是一个N节点的分布式Minio,只要有N/2节点在线，你的数据就是安全的。不过你需要至少有N/2+1个节点 Quorum 来创建新的对象。
例如，一个8节点的Minio集群，每个节点一块盘，就算4个节点宕机，这个集群仍然是可读的，不过你需要5个节点才能写数据。
- 限制
分布式Minio单租户存在最少4个盘最多16个盘的限制（受限于纠删码）。这种限制确保了Minio的简洁，同时仍拥有伸缩性。如果你需要搭建一个多租户环境，你可以轻松的使用编排工具（Kubernetes）来管理多个Minio实例。
注意，只要遵守分布式Minio的限制，你可以组合不同的节点和每个节点几块盘。比如，你可以使用2个节点，每个节点4块盘，也可以使用4个节点，每个节点两块盘，诸如此类。
- 一致性
Minio在分布式和单机模式下，所有读写操作都严格遵守read-after-write一致性模型。
二、Minio分布式集群搭建
生产环境建议最少4节点
实验环境为2台
10.13.136.208
10.13.136.209
1.minio wget安装
#两台机器操作相同
[root@p0-web37 data]# wget https://dl.minio.io/server/minio/release/linux-amd64/minio
[root@p0-web37 data]# chmod +x minio2.配置启动服务
- 启动脚本
#两台机器操作相同
[root@p0-web37 data]# mdkir -pv minio-data1 minio-data2
[root@p0-web37 data]# ls
mc minio minio-data1 minio-data2 miniologs minio-run.sh minio-service.sh
[root@p0-web37 data]# cat minio-run.sh
#!/bin/bash
export MINIO_ACCESS_KEY=Minio
export MINIO_SECRET_KEY=SCxxxxxxx
/data/minio server \
--address=0.0.0.0:9000 --console-address=0.0.0.0:9001 \
http://10.13.136.208/data/minio-data1 http://10.13.136.208/data/minio-data2 \
http://10.13.136.209/data/minio-data1 http://10.13.136.209/data/minio-data2 \
- service服务配置
#两台机器操作相同
[root@p0-web37 ~]# cat /usr/lib/systemd/system/minio.service
[Unit]
Description=Minio service
Documentation=https://docs.minio.io/
[Service]
WorkingDirectory=/data/
ExecStart=/data/minio-run.sh
Restart=on-failure
RestartSec=5
[Install]
WantedBy=multi-user.target
- 启动测试
#两台机器操作相同
[root@p0-web38 data]# systemctl daemon-reload
[root@p0-web37 data]# systemctl start minio
[root@p0-web37 data]# systemctl enable minio
Created symlink from /etc/systemd/system/multi-user.target.wants/minio.service to /usr/lib/systemd/system/minio.service.
[root@p0-web37 data]# systemctl status minio
● minio.service - Minio service
Loaded: loaded (/usr/lib/systemd/system/minio.service; enabled; vendor preset: disabled)
Active: active (running) since Mon 2021-10-11 18:41:09 CST; 15h ago
Docs: https://docs.minio.io/
Main PID: 10173 (minio-run.sh)
CGroup: /system.slice/minio.service
├─10173 /bin/bash /data/minio-run.sh
└─10174 /data/minio server http://10.133.136.208/data/minio-data1 http://10.133.136.208/data/minio-data2 http://10.133.136.209/data/minio-data1 http://10...
Oct 11 18:41:40 p0-tkhijbs-jcsszy-web37 minio-run.sh[10173]: DeploymentID: 12a29ac6-fc17-4d9e-a242-916683d4d661
Oct 11 18:41:40 p0-tkhijbs-jcsszy-web37 minio-run.sh[10173]: Error: disk not found: http://10.133.136.209:9000/data/minio-data1 (*errors.errorString)
Oct 11 18:41:40 p0-tkhijbs-jcsszy-web37 minio-run.sh[10173]: 2: cmd/erasure.go:175:cmd.getDisksInfo.func1()
Oct 11 18:41:40 p0-tkhijbs-jcsszy-web37 minio-run.sh[10173]: 1: internal/sync/errgroup/errgroup.go:123:errgroup.(*Group).Go.func1()
Oct 11 18:41:40 p0-tkhijbs-jcsszy-web37 minio-run.sh[10173]: Use `mc admin info` to look for latest server/disk info
Oct 11 18:41:40 p0-tkhijbs-jcsszy-web37 minio-run.sh[10173]: Status: 2 Online, 2 Offline.
Oct 11 18:41:40 p0-tkhijbs-jcsszy-web37 minio-run.sh[10173]: API: http://10.133.136.208:9000 http://127.0.0.1:9000
Oct 11 18:41:40 p0-tkhijbs-jcsszy-web37 minio-run.sh[10173]: Console: http://10.133.136.208:46665 http://127.0.0.1:46665
Oct 11 18:41:40 p0-tkhijbs-jcsszy-web37 minio-run.sh[10173]: Documentation: https://docs.min.io
Oct 11 18:41:40 p0-tkhijbs-jcsszy-web37 minio-run.sh[10173]: WARNING: Console endpoint is listening on a dynamic port (46665), please use --console-address ...ic port.
Hint: Some lines were ellipsized, use -l to show in full.
#10.133.136.208
[root@p0-web37 data]# netstat -tnlp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 6200/sshd
tcp 0 0 0.0.0.0:10050 0.0.0.0:* LISTEN 6852/zabbix_agentd
tcp6 0 0 :::22 :::* LISTEN 6200/sshd
tcp6 0 0 :::19100 :::* LISTEN 6049/node_exporter
tcp6 0 0 :::9000 :::* LISTEN 10174/minio
tcp6 0 0 :::46665 :::* LISTEN 10174/minio
#10.133.136.209
[root@p0-web38 ~]# netstat -tnlp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 0.0.0.0:10050 0.0.0.0:* LISTEN 6816/zabbix_agentd
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 6208/sshd
tcp6 0 0 :::34044 :::* LISTEN 7467/minio
tcp6 0 0 :::19100 :::* LISTEN 6082/node_exporter
tcp6 0 0 :::9000 :::* LISTEN 7467/minio
tcp6 0 0 :::22 :::* LISTEN 6208/sshd
#10.133.136.209
[root@p0-web37 data]# cd minio-data1/
[root@p0-web37 minio-data1]# ls
test
[root@-web37 minio-data1]# cd test/
[root@p0-web37 test]# ls
test-sean.txt
[root@-web37 test]# pwd
/data/minio-data1/test
[root@p0-web37 test]# ll /data/minio-data2/
.minio.sys/ test/
[root@p0-web37 test]# ll /data/minio-data2/test/
total 0
drwxr-xr-x 2 root root 21 Oct 12 10:41 test-sean.txt
#10.133.136.209
[root@p0-web38 ~]# ls
anaconda-ks.cfg
[root@p0-web38 ~]# cd /data/minio-data1/test/
[root@p0-web38 test]# ls
test-sean.txt
[root@p0-38 test]# ll /data/minio-data2/test/
total 0
drwxr-xr-x 2 root root 21 Oct 12 10:41 test-sean.txt
nginx conf
[root@t3-yykn-web01 wwwlogs]# cat /etc/nginx/conf.d/minio-test.txxxx.com.conf
server {
listen 80;
server_name minio-test.txxxx.com;
access_log /data/wwwlogs/minio-test.txxxx.com-access.log main;
error_log /data/wwwlogs/minio-test.txxxx.com-error.log error;
location / {
proxy_pass http://1xxxxx:9001;
proxy_redirect off;
proxy_set_header Host $http_host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_connect_timeout 90;
proxy_send_timeout 90;
proxy_read_timeout 90;
proxy_buffer_size 16k;
proxy_buffering on;
proxy_buffers 4 32k;
proxy_busy_buffers_size 64k;
proxy_max_temp_file_size 1024m;
}
}
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用。你还可以使用@来通知其他用户。