fastdfs搭建

FastDFS开源地址:https://github.com/happyfish100

fastdfs系统角色介绍:(相关信息来源于网络)

      Tracker Server:主要做调度工作,起到均衡的作用;负责管理所有的 storage server和 group,每个 storage 在启动后会连接 Tracker,告知自己所属 group 等信息,并保持周期性心跳。

  Storage Server:主要提供容量和备份服务;以 group 为单位,每个 group 内可以有多台 storage server,数据互为备份。

  fastdfs搭建

存储系统由一个或多个卷组成,卷与卷之间的文件是相互独立的,所有卷的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成,一个卷下的存储服务器中的文件都是相同的,卷中的多台存储服务器起到了冗余备份和负载均衡的作用。

在卷中增加服务器时,同步已有的文件由系统自动完成,同步完成后,系统自动将新增服务器切换到线上提供服务。当存储空间不足或即将耗尽时,可以动态添加卷。只需要增加一台或多台服务器,并将它们配置为一个新的卷,这样就扩大了存储系统的容量。

Storage Server会定期的向Tracker Server发送自己的存储信息。当Tracker Server Cluster中的Tracker Server不止一个时,各个Tracker之间的关系是对等的,所以客户端上传时可以选择任意一个Tracker。

当Tracker收到客户端上传文件的请求时,会为该文件分配一个可以存储文件的group,当选定了group后就要决定给客户端分配group中的哪一个storage server。当分配好storage server后,客户端向storage发送写文件请求,storage将会为文件分配一个数据存储目录。然后为文件分配一个fileid,最后根据以上的信息生成文件名存储文件。

文件上传过程:

fastdfs搭建

文件同步

写文件时,客户端将文件写至group内一个storage server即认为写文件成功,storage server写完文件后,会由后台线程将文件同步至同group内其他的storage server

每个storage写文件后,同时会写一份binlog,binlog里不包含文件数据,只包含文件名等元信息,这份binlog用于后台同步,storage会记录向group内其他storage同步的进度,以便重启后能接上次的进度继续同步;进度以时间戳的方式进行记录,所以最好能保证集群内所有server的时钟保持同步。

storage的同步进度会作为元数据的一部分汇报到tracker上,tracke在选择读storage的时候会以同步进度作为参考。

文件下载过程:

fastdfs搭建

在downloadfile时客户端可以选择任意tracker server。tracker发送download请求给某个tracker,必须带上文件名信息,tracke从文件名中解析出文件的group、大小、创建时间等信息,然后为该请求选择一个storage用来服务读请求。

fastdfs搭建:

在github上下载  libfastcommon-master.zip ,libfastcommon是从 FastDFS 和 FastDHT 中提取出来的公共 C 函数库

fastdfs搭建

下载完解压之后

fastdfs搭建

./make.sh 

./make.sh install

libfastcommon.so 安装到了/usr/lib64/libfastcommon.so,但是FastDFS主程序设置的lib目录是/usr/local/lib,所以需要创建软链接。

ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so
ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so
ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so 

下载安装fastdfs

fastdfs搭建

下载解压之后

fastdfs搭建

 ./make.sh 

./make.sh install

安装之后的服务脚本

/etc/init.d/fdfs_storaged
/etc/init.d/fdfs_tracker

配置文件

fastdfs搭建

/usr/bin目录下的命令工具

fastdfs搭建

 FastDFS 服务脚本设置的 bin 目录是 /usr/local/bin, 但实际命令安装在 /usr/bin/ 下。

查看这两个脚本

fastdfs搭建

fastdfs搭建

fastdfs搭建

创建软连接

ln -s /usr/bin/fdfs_trackerd   /usr/local/bin
ln -s /usr/bin/fdfs_storaged   /usr/local/bin
ln -s /usr/bin/stop.sh         /usr/local/bin
ln -s /usr/bin/restart.sh      /usr/local/bin

配置tracker

fastdfs搭建

修改tracker.conf

更改一下数据和log的文件存放目录,创建好文件夹

fastdfs搭建

修改一下http端口

fastdfs搭建

默认端口

fastdfs搭建

启动tracker,并查看进程

fastdfs搭建

查看端口占用

fastdfs搭建

生成相应的文件夹

fastdfs搭建

关闭tracker

fastdfs搭建

配置storage

备份并修改配置

fastdfs搭建

fastdfs搭建

fastdfs搭建

fastdfs搭建

fastdfs搭建

注意:上面不能写localhost,或者127.0.0.1,启动时报错。

fastdfs搭建

fastdfs搭建

创建好base_path 和storage_path0

fastdfs搭建

启动storage,必须先启动tracker

fastdfs搭建

fastdfs搭建

fastdfs搭建

启动成功

查看storeage和tracker情况    /usr/bin/fdfs_monitor /etc/fdfs/storage.conf

fastdfs搭建

fastdfs搭建

在base_path 和storage_path0也创建了相应的文件夹和目录结构

测试上传文件

cp client.conf.sample client.conf

vim client.conf

fastdfs搭建

/usr/bin/fdfs_upload_file /etc/fdfs/client.conf tupian.jpg 

fastdfs搭建

fastdfs搭建
配置nginx

安装nginx这里略过

安装fastdfs-nginx-module模块

 FastDFS 通过 Tracker 服务器,将文件放在 Storage 服务器存储, 但是同组存储服务器之间需要进行文件复制, 有同步延迟的问题。

  假设 Tracker 服务器将文件上传到了 192.168.51.128,上传成功后文件 ID已经返回给客户端。

  此时 FastDFS 存储集群机制会将这个文件同步到同组存储 192.168.51.129,在文件还没有复制完成的情况下,客户端如果用这个文件 ID 在 192.168.51.129 上取文件,就会出现文件无法访问的错误。

  而 fastdfs-nginx-module 可以重定向文件链接到源服务器取文件,避免客户端由于复制延迟导致的文件无法访问错误。

下载解压

fastdfs搭建

fastdfs搭建

重新进入nginx的解压目录,

./configure --add-module=/home/suoer/installpkg/fastdfs-nginx-module-master/

 make && make install

查看

fastdfs搭建

将fastdfs-nginx-module-master/src下的mod_fastdfs.conf文件复制到/etc/fdfs下

cp mod_fastdfs.conf /etc/fdfs     修改

fastdfs搭建

fastdfs搭建

fastdfs搭建

将fastdfs解压目录下的conf文件夹下的东西复制到/etc/fdfs

fastdfs搭建

修改nginx的配置文件

添加

location ~/group([0-9])/M00 {
           ngx_fastdfs_module;
        }

fastdfs搭建

listen 80 端口值是要与 /etc/fdfs/storage.conf 中的 http.server_port=80 (前面改成80了)相对应。如果改成其它端口,则需要统一,同时在防火墙中打开该端口。

  location 的配置,如果有多个group则配置location ~/group([0-9])/M00 ,没有则不用配group。

重启nginx

fastdfs搭建

如果发现访问nginx出现permission denied,修改nignx的配置文件

fastdfs搭建

浏览器访问:

http://192.168.147.131/group1/M00/00/00/wKiTg1uKhwiAAuaWAAJYz7Rg1aA038.jpg

fastdfs搭建

fastdfs搭建