分布式文件服务器fastDFS
-
什么是fastDFS?
FastDFS 是用 c 语言编写的一款开源的分布式文件系统。FastDFS 为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用 FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。
FastDFS 架构包括 Tracker server 和 Storage server。客户端请求 Tracker server 进行文件上传、下载,通过 Tracker server 调度最终由 Storage server 完成文件上传和下载。
Tracker server 作用是负载均衡和调度,通过 Tracker server 在文件上传时可以根据一些策略找到 Storage server 提供文件上传服务。可以将 tracker 称为追踪服务器或调度服务器。
Storage server 作用是文件存储,客户端上传的文件最终存储在 Storage 服务器上,Storageserver 没有实现自己的文件系统而是利用操作系统 的文件系统来管理文件。可以将storage称为存储服务器。
服务端两个角色:
Tracker:管理集群,tracker 也可以实现集群。每个 tracker 节点地位平等。收集 Storage 集群的状态。
Storage:实际保存文件 Storage 分为多个组,每个组之间保存的文件是不同的。每个组内部可以有多个成员,组成员内部保存的内容是一样的,组成员的地位是一致的,没有主从的概念。 -
最简单的 FastDFS 架构
-
fastDFS运行原理和流程:
fastDFS运行原理和流程:
a) fastDFS分为三部分:
客户端: 我们的品优购项目就是客户端
storage存储端: 存储端存储具体的文件内容
tracker管理端: 管理端负责管理存储端的机器的IP和端口以及状态并且分负载均衡的功能
b) storage存储端启动, 启动后到tracker管理端中注册, 告诉管理端自己的ip地址和端口号以及状态.
c) 我们如果想要存储文件, 需要先连接tracker管理端, 管理端给我们返回一个存储端的IP地址和端口号,
我们拿着这个IP和端口进行到storage存储端进行存储, 存储后会返回一个文件路径和文件名.
并且存储端会对文件名自动重命名, 防止文件重名
优点:
a) 存储端一台主机一台备机, 我们平时往主机中存储, 主机会将数据同步到备机, 主机和备机中存储的内容
一模一样, 这叫做冗余存储起到了容灾的效果.
b) 主机和备机之间有心跳检测机制, 一旦主机宕机, 被替代主机工作, 有高可用的特性
c) 主机和备机为一组, 理论上可以无限扩展, 所以理论上存储端集群中存储容量是无限大的, 扩展性好.
d) 管理端有负载均衡的特性, 会在高并发的时候, 均匀分配请求到每一台存储端服务器上, 所以我们
的fastDFS有负载均衡特性, 可以承载高并发存储任务.
缺点:
结构复杂, 需要的服务器很多, 在实际线上环境中成本比较高.