从vps web服务器将1TB文件夹和文件传输到AWS S3

Question

我需要将我们所有的文件（包含文件夹结构）传输到AWS S3。我已经研究了很多关于这是如何完成的。

大部分提到的地方是s3fs。但看起来这是有点老。我曾尝试将s3fs安装到我现有的CentOS 6 Web服务器上。但它卡在$ make命令。 （是的，有Makefile.in）

和as per this answer AWS S3 Transfer Acceleration是下一个更好的选择。但是，我仍然需要编写一个PHP脚本（我的应用程序是PHP）来将所有文件夹和文件传输到S3。它与S3中的文件保存方式（API putObject）相同，但速度更快。如果我错了，请纠正我。

有没有其他更好的解决方案（我更喜欢FTP）将1TB文件与CentOS 6服务器上的文件夹传输到AWS S3？有什么方法可以在EC2中使用FTP客户端将CentOS 6以外的文件传输到AWS S3？

Answer 1

使用AWS Command-Line Interface (CLI)的aws s3 sync命令。

这将保留您的目录结构，并可以在断开连接的情况下重新启动。每个执行只会复制新的，更改或丢失的文件。

请注意，1TB是大量数据，可以复制significant time。

另一种方法是使用AWS Snowball，这是AWS可以向您发送的设备。它可以容纳50TB或80TB的数据。只需将您的数据复制到设备，然后将其发回AWS，他们就会将数据复制到Amazon S3。