FastDFS安装详解

0
FastDFS 是一款开源的分布式文件系统(Distributed File System),能够提供小型文件的储存、备份和下载功能。以下是它的安装方式。
基于 6 台 CentOS 内外网连通的主机,CentOS 安装过程省略
主要 参考官方 Github Repo 的 Wiki 页面FastDFS 分布式文件系统(系列文章)
用 root 安装

编译环境

yum install git gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl-devel wget vim -y

磁盘目录

说明 位置
所有安装包 /usr/local/src
数据存储位置 /home/dfs/
这里我为了方便把日志什么的都放到了dfs
mkdir /home/dfs #创建数据存储目录
cd /usr/local/src #切换到安装目录准备下载安装包

安装 libfatscommon

libfatscommon 是 fastdfs 常用函数封装的库
git clone https://github.com/happyfish100/libfastcommon.git --depth 1
cd libfastcommon/
./make.sh && ./make.sh install #编译安装

安装 FastDFS

fastdfs 包含 tracker, storage 和 client 这三个角色,通过后期的 config 配置(storage还需要安装fastdfs-nginx-module)和运行,本主机就能成为 "tracker/storage/client"
cd /usr/local/src

git clone https://github.com/happyfish100/fastdfs.git --depth 1
cd fastdfs/
./make.sh && ./make.sh install #编译安装
#暂时直接复制到目标目录,没有其他修改,相关配置可以在跑通后详细阅读和修改
cp /usr/local/src/fastdfs/conf/http.conf /etc/fdfs/ #供nginx访问使用
cp /usr/local/src/fastdfs/conf/mime.types /etc/fdfs/ #供nginx访问使用
#配置文件准备(Notice: 根据本机的角色,按需复制粘贴配置文件!)
cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf
cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf
cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf #客户端文件,测试用

获取 fastdfs-nginx-module

此 module 用于避免上传完成后,且 group storage 同步文件完成前,客户端从正在同步的主机处下载文件导致的出错
cd /usr/local/src

git clone https://github.com/happyfish100/fastdfs-nginx-module.git --depth 1

cp /usr/local/src/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs

安装 nginx

  • tracker 和 storage 均需要安装 nginx
  • 对于 tracker, nginx 可以均衡负载到不同的 storage
  • 对于 storage, nginx 可以提供反向代理,从而访问数据存储位置的文件
  • 由于需要使用启用非默认 module , 故需要通过源码编译安装,不能使用 yum . 使用源码安装 nginx 的注意事项见《nginx - make install》
wget http://nginx.org/download/nginx-1.15.7.tar.gz #下载 nginx mainline 版本的压缩包
tar -zxvf nginx-1.15.4.tar.gz #解压
cd nginx-1.15.7/
#记得添加fastdfs-nginx-module模块
# nginx configure arguments 内容丰富、配置自由,详见《nginx - make install》
./configure \ 
    --prefix=/usr/local/nginx \ 
    --user=www-data \
    --group=www-data \
    --conf-path=/etc/nginx/nginx.conf \ 
    --add-module=/usr/local/src/fastdfs-nginx-module/src/ 
make && make install #编译安装
安装完成后,新增 www-data 用户组 和 www-data 用户
/usr/sbin/groupadd -f www-data
/usr/sbin/useradd -g www-data www-data

配置

  • 需要配置 nginx, tracker, storage 和 client
  • tracker 和 storage 需要搭配 nginx 使用,故在本教程中, nginx 的配置都是关于 tracker 和 storage 的,与 client 无关。
  • tracker, storage 和 client 都有自身的配置项,需要单独配置。
tracker
vim /etc/fdfs/tracker.conf
base_path=/home/yuqing/FastDFS
改为:
base_path=/home/dfs

#将 tracker 和 storage 的 http.server_port 统一改为80可以正常访问,但是否最优方案,还需要观察
http.server_port=8080
改为:
http.server_port=80
storage
vim /etc/fdfs/storage.conf
#当前主机是什么组,就写什么组
group_name=group1

base_path=/home/yuqing/FastDFS
改为:
base_path=/home/dfs

store_path0=/home/yuqing/FastDFS
改为:
store_path0=/home/dfs/fdfs_storage

#如果有多个挂载磁盘则定义多个 store_path ,如下
#store_path_count=..
以及:
#store_path1=.....
#store_path2=......

#配置 tracker 服务器:IP
tracker_server=192.168.56.11:22122
#如果有多个则配置多个tracker
tracker_server=192.168.56.12:22122

#配置http端口
http.server_port=80
client
vim /etc/fdfs/client.conf
base_path=/home/yuqing/fastdfs
改为:
base_path=/home/dfs

tracker_server=192.168.56.11:22122  # 服务器1
tracker_server=192.168.56.12:22122  # 服务器2
... #服务器n
mod_FastDFS
vim /etc/fdfs/mod_fastdfs.conf
base_path=/home/yuqing/fastdfs
改为:
base_path=/home/dfs

tracker_server=192.168.56.11:22122
tracker_server=192.168.56.12:22122
url_have_group_name=true        #url中包含group名称
store_path0=/home/dfs/fdfs_storage   #指定文件存储路径
nginx
vim /etc/nginx/nginx.conf
#storage群group1组
upstream storage_server_group1 {
        server 192.168.56.11:80 weight=10;
        server 192.168.56.21:80 weight=10;
        server 192.168.56.22:80 weight=10;
}
#storage群group2组
upstream storage_server_group2 {
        server 192.168.56.12:80 weight=10;
        server 192.168.56.31:80 weight=10;
        server 192.168.56.32:80 weight=10;
}

server {
    # 监听80端口
    listen 80;
    server_name 本机IP;
    
    #此处 /group1 和 /group2 都粘贴,用于 proxy_pass
    location /group1{
        proxy_redirect off;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_pass http://storage_server_group1;
    }
    
    location /group2{
        proxy_redirect off;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_pass http://storage_server_group2;
    }
    
    # 留意当前主机作为 storage 是 group1 还是 group2,然后修改 location /.../... 
    # M00是FastDFS自动生成编号,对应store_path0=/home/dfs/fdfs_storage,如果FastDFS定义store_path1,这里就是M01
    location /group1/M00/{
        root /home/dfs/fdfs_storage/data;
        ngx_fastdfs_module;
    }
}
检查 /usr/lib 有无 libfdfsclient.so
ll /usr/lib/libfdfsclient.so

如果没有就

cp /usr/lib64/libfdfsclient.so /usr/lib/

启动

关闭防火墙
生产环境中,我不建议关闭防火墙。只需要开放相关端口就可以正常运行。
systemctl stop firewalld.service #关闭
systemctl restart firewalld.service #重启
tracker
/etc/init.d/fdfs_trackerd start #启动tracker服务
/etc/init.d/fdfs_trackerd restart #重启动tracker服务
/etc/init.d/fdfs_trackerd stop #停止tracker服务
chkconfig fdfs_trackerd on #自启动tracker服务
storage
/etc/init.d/fdfs_storaged start #启动storage服务
/etc/init.d/fdfs_storaged restart #重动storage服务
/etc/init.d/fdfs_storaged stop #停止动storage服务
chkconfig fdfs_storaged on #自启动storage服务
检测集群
/usr/bin/fdfs_monitor /etc/fdfs/storage.conf
# 会显示有几台 tracker, 几个 group, 几个 storage 等详细信息
nginx
/usr/local/nginx/sbin/nginx #启动nginx
/usr/local/nginx/sbin/nginx -s reload #重启nginx
/usr/local/nginx/sbin/nginx -s stop #停止nginx

测试

client 使用 fdfs 命令上传
fdfs_upload_file /etc/fdfs/client.conf /path/to/a_file
上传完成后,获取 如 /group1/M00/00/00/xxxxxxxxxxxxx 的路径,说明上传成功
client 使用 fdfs 命令下载
fdfs_download_file /etc/fdfs/client.conf /group1/M00/00/00/xxxxxxxxxxxxx
如果下载成功会有相应提示
client 使用 wget 下载
wget http://ip//group1/M00/00/00/xxxxxxxxxxxxx
如果配置完全正确,那么使用集群中任意主机的IP都能够下载文件。
如果下载成功,会有相应提示。

Done!

你可能感兴趣的

载入中...