将大量数据同步到s3(aws)
问题描述:
我需要将2.5TB的数据从文件系统同步到AWS中的s3。将大量数据同步到s3(aws)
我将使用AWS CLI命令:
“AWS S3同步S3:// MyBucket”
此命令将当前文件夹同步到S3桶被称为MyBucket。
我的问题是:
1)是否有可能做到这一点一气呵成,不超时?
2)我期望考虑数据量的限制/问题是什么?
答
A假设你在谈论单个文件或几个非常大的文件?如果是这样的话:
1)是的,文件将上传一小部分,所以你不必担心这种事情。 2)需要很长时间,这是不可避免的。如果给定文件部分的上传失败次数过多,则上传将被中止。