Amazon S3下载有时会失败吗?

问题描述:

我们只是在我们的软件增加了一个autoupdater并得到了一些bug报告说 的自动更新将无法正常完成,因为下载的文件的SHA1校验码不匹配。我们托管在亚马逊S3 ...Amazon S3下载有时会失败吗?

这无论是什么毛病我的代码或有毛病S3。

我重读我的代码是否有可疑的东西,并写了一个简单的脚本,下载并检查下载文件的校验和,并在同时,确实获得了一些错误一次(1出40昨天)。今天看起来没问题。

您是否遇到过这种问题?有没有某种解决方法?

额外信息:测试在日本跑了。

除了几个星期前的停机时间。没有人听说过。
考虑到一次失败的原因,他们做得很好是因为服务器错误在整个云中级联。他们对此很开放,只要他们发现了解决它。(在周末会发生,IIRC)

所以他们很可靠。我的建议是仔细检查你的代码。如果它仍然是一个问题,请将它提交给亚马逊支持。

我同意,四检查你的代码将是一个好主意。我并不是说它不可能发生,但我不相信我曾经见过它,现在我已经使用S3了很多了。但是,我有一些管理异常/连接中断的情况出现了几次,最终导致与我期望的结果不符。

我会很惊讶,如果他们真的发送错误数据的,但一如既往,一切皆有可能。

不止发送不良数据,我想我得到了一个ERROR403。如果我只是再试一次,通常就没关系。

我同意:我看到很多关于人们在谈论亚马逊被完全宕机的报道,但没有人谈论“有时我的访问被拒绝”的错误,所以我猜可能在我这边有错误。我只是在亚马逊上设置日志。

无论如何谢谢!我会按照你的建议,停止指责“另一个人”。

我偶尔会发现意外的404错误,它包含GETs对象,这些对象是前一个LIST的一部分,但是对于新的bucket和其他misc。错误(例如:我的访问ID和密钥上的403),但没有什么灾难性的。

我的代码运行服务器端,所以我把一些可靠的错误处理和日志记录。我认为这是明智的做法随时你有一台服务器在网络上与另一台服务器通信。 :P

亚马逊的S3在上传或下载过程中偶尔会失败并出现错误 - 通常是“500:内部服务器”错误。错误率通常很低,但如果服务处于高负载状态,则会出现问题。错误率从不为0%,所以即使在最好的时候偶尔的请求也会失败。

您是否正在检查autoupdater中的HTTP响应代码?否则,在执行校验和之前,应检查下载是否成功(HTTP 200)。理想情况下,您的应用程序应重试失败的下载,因为瞬态错误是客户需要处理的S3不可避免的“功能”。

值得注意的是,如果您的客户端出现500错误,您可能在S3服务器日志中看不到任何这些证据。这些错误似乎发生在请求到达服务的日志记录组件之前。

在下载过程中从未听说过任何问题。这很奇怪。上传时,我收到500个内部服务器错误消息。这就是为什么我有一个守护进程可以在用户做其他事情时上传。

它似乎没有什么东西在你的代码,也许真的是有与S3出了问题(或S3->日本)

你可以尝试发射了一个EC2服务器,只需运行从那里测试(流量不会花费任何钱,所以尽可能使用!),看看你是否有错误。如果你这样做,那么你是运气不好,S3不适合你:)

祝你好运!

好吧,现在这已经有点老了,但仅供参考。我刚刚从一台EC2服务器上运行数据迁移到s3。我每10分钟左右就会收到500次错误,代表错误率约为PUT的1%。所以,是的,S3确实有500个错误的问题。

尽管GET的方式没有做太多,所以无法评论