分布式文件系统-FastDFS

1.什么是分布式文件系统

●随着文件数据的越来越多,通过tomcat或nginx虚拟化的静态资源文件在单一的一个服务器节点内是存不下的，如果用多个节点来存储也可以，但是不利于管理和维护，所以我们需要一个系统来管理多台计算机节点上的文件数据，这就是分布式文件系统。
●分布式文件系统是一个允许文件通过网络在多台节点上分享的文件系统，多台计算机节点共同组成一个整体，为更多的用户提供分享文件和存储空间。比如常见的网盘，本质就是一个分布式的文件存储系统。虽然我们是一个分布式的文件系统，但是对用户来说是透明的，用户使用的时候，就像是访问本地磁盘一样。
●分布式文件系统可以提供冗余备份，所以容错能力很高。系统中有某些节点宕机，但是整体文件服务不会停止，还是能够为用户提供服务，整体还是运作的，数据也不会丢失。
●分布式文件系统的可扩展性强，增加或减少节点都很简单，不会影响线上服务,增加完毕后会发布到线上,加入到集群中为用户提供服务。
●分布式文件系统可以提供负载均衡能力，在读取文件副本的时候可以由多个节点共同提供服务，而且可以通过横向扩展来确保性能的提升与负载。

2.为什么要使用分布式文件系统

使用分布式文件系统可以解决如下几点问题:
1.海量文件数据存储
2.文件数据高可用(冗余备份)
3.读写性能和负载均衡
以上3点都是我们之前使用tomcat或nginx所不能够实现的，这也是我们为什么要使用分布式文件系统的原因

3.FastDFS与HDFS

说到分布式文件存储，肯定会有人想到HDFS,他们两者主要定位和应用场景是不一样的。
1. Hadoop中的文件系统HDFS主要解决并行计算中分布式存储数据的问题。其单个数据文件通常很大，采用了分块(切分)存储的方式，所以是大数据大文件存储来使用的场景。
2. FastDFS主要用于互联网网站，为文件上传和下载提供在线服务。所以在负载均衡、动态打容等方面都支持得比较好，FastDFS不会对文件进行分快存储。FastDFS用于存储中小文件都是不错的，比如用户头像啊，一些较小的音视频文件啊等等都行。

4.FastDFS简介

●FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理，功能包括:文件存储、文件同步文件访问(文件上传、文件下载)等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。
●FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。
●FastDFS服务端有两个角色:跟踪器(tracker) 和存储节点(storage)。跟踪器主要做调度工作， 在访问上起负载均衡的作用。
●存储节点存储文件，完成文件管理的所有功能:就是这样的存储、同步和提供存取接口，FastDFS同时对文件的metadata进行管理。所谓文件的mete data就是文件的相关属性,以键值对(keyvalue) 方式表示，如:width=1024,其中的key为width,value为1024。 文件metadata是文件属性列表,可以包含多个键值对。
●跟踪器和存储节点都可以由一台或多台服务器构成。跟踪器和存储节点中的服务器均可以随时增加或下线而不会影响线上服务。其中跟踪器中的所有服务器都是对等的，可以根据服务器的压力情况随时增加或减少。
●为了支持大容量，存储节点(服务器)采用了分卷(或分组)的组织方式。存储系统由一个或多个卷组成，卷与卷之间的文件是相互独立的，所有卷的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成，一个卷下的存储服务器中的文件都是相同的，卷中的多台存储服务器起到了冗余备份和负载均衡的作用。
●在卷中增加服务器时，同步已有的文件由系统自动完成，同步完成后，系统自动将新增服务器切换到线上提供服务。
●当存储空间不足或即将耗尽时，可以动态添加卷。只需要增加一台或多台服务器，并将它们配置为一个新的卷，这样就扩大了存储系统的容量。
●FastDFS中的文件标识分为两个部分:卷名和文件名，二者缺不可。

常见术语
●tracker:追踪者服务器，主要用于协调调度，可以起到负载均衡的作用，记录storage的相关状态信息。
●storage:存储服务器，用于保存文件以及文件的元数据信息。
●group:组，同组节点提供冗余备份，不同组用于扩容。
●matadata:文件的元数据信息，比如长宽信息，图片后缀，视频的帧数等。

5.FastDFS架构

（1）整体架构

说明：
Tracker负债均衡；
GroupA与GroupB内容不同，提高存储容量；
Node1、Node2与Node3内容相同，可以负债均衡，备份作用；
先查看集群状态，再上传文件；
Tracker与storage之间有心跳存在，storage向Tracker发送心跳，所以应该先启动Tracker再启动storage。

（2）FastDFS上传过程

（3）FastDFS下载过程

6.搭建FastDFS环境准备

（1）FastDFS作者官网：https://github.com/happyfish100/fastdfs/wiki
（2）准备4个安装包和2台虚拟机

服务器节点1：192.168.1.155
服务器节点2：192.168.1.156
（3）将压缩包上传至tracker节点的/home/software/FastDFS下

（4）安装C语言环境

（5）安装libevent环境包

（6）解压libfastcommon-1.0.42.tar.gz

（7）进入libfastcommon-1.0.42中，执行./make.sh命令并install

（8）解压fastdfs-6.04.tar.gz

（9）进入fastdfs-6.04中查看make.sh文件，执行./make.sh，并install

可以看到，安装之后内容所释放的路径如下

（10）进入fastdfs-6.04的config目录，将配置文件复制到/etc/fdfs/下

（11）在另一台节点storage服务器，重复以上的步骤

7.配置tracker服务

（1）在服务节点1:196.168.1.155上修改tracker.conf配置文件

修改内容如下，其他保持不变

创建相应的文件夹

（2）启动tracker服务，并查看是否启动成功

8.配置storage服务

（1）在服务节点2:196.168.1.156上修改storage.conf配置文件

修改内容如下，其他内容保持不变

创建相应的文件路径

（2）启动storage服务，并查看是否启动成功

（3）修改客户端client.conf配置文件

修改内容如下，其他保持不变

创建相应的文件路径

（4）测试图片的上传
复制图片地址

下载图片

执行上传脚本命令

上传成功，则返回文件上传后的路径信息

查看上传的文件

9.配置Nginx-FastDFS实现文件服务器

（1）在storage服务器上配置Nginx-FastDFS，解压文件

（2）修改配置文件storage的config文件

修改内容如下，其他保持不变

（3）安装nginx
下载安装nginx所需基本环境文件

解压

创建nginx文件

将FastDFS-Nginx模块加载到nginx中，追加一行

执行make与install

（4）修改mod_fastdfs.conf文件，该文件是与nginx协调所需要的文件
移动mod_fastdfs.conf文件

修改内容如下，其他保持不变

（5）修改nginx.conf配置文件

修改内容如下，其他保持不变

（6）启动nginx

重新启动命令是

（7）测试在浏览器上查看图片