Python urllib2.HTTP错误：HTTP错误503：服务在有效网站上不可用

Question

我一直在使用亚马逊的产品广告API来生成包含给定书籍价格的网址。我已经生成一个网址如下：

http://www.amazon.com/gp/offer-listing/0415376327%3FSubscriptionId%3DAKIAJZY2VTI5JQ66K7QQ%26tag%3Damaztest04-20%26linkCode%3Dxm2%26camp%3D2025%26creative%3D386001%26creativeASIN%3D0415376327

当我点击链接或粘贴地址栏，网页加载罚款上的链接。然而，当我执行下面的代码我得到一个错误：

url = "http://rads.*.com/amzn/click/0415376327" 
html_contents = urllib2.urlopen(url) 

的错误是urllib2.HTTPError：HTTP错误503：服务不可用。首先，我不明白为什么我会在网页成功加载后出现此错误。

另外，我注意到另一个奇怪的行为是下面的代码有时做，有时不给指出错误：

html_contents = urllib2.urlopen("http://rads.*.com/amzn/click/0415376327") 

我完全失去了对如何出现这种情况。有没有解决或解决这个问题？我的目标是阅读url的html内容。

编辑

我不知道为什么存在栈溢出，改变了我的代码来改变我的代码rads.*我上面列出的亚马逊链接。无论如何，忽略rads.*链接并在引号之间使用上面的链接。

Answer 1

这是因为亚马逊不允许自动访问他们的数据，所以他们拒绝您的请求，因为它不是来自适当的浏览器。如果你看看503响应的内容，它说：

To discuss automated access to Amazon data please contact [email protected] For information about migrating to our APIs refer to our Marketplace APIs at https://developer.amazonservices.com/ref=rm_5_sv , or our Product Advertising API at https://affiliate-program.amazon.com/gp/advertising/api/detail/main.html/ref=rm_5_ac for advertising use cases.

这是因为User-Agent对Python的urllib是如此显然不是一个浏览器。你总是可以假冒User-Agent，但这不是很好（或道德）的做法。

另一个答案中提到，requests库非常适合Python中的HTTP访问。

Answer 2

亚马逊正在拒绝urllib2的默认User-Agent。一种解决方法是使用请求模块

import requests 
page = requests.get("http://rads.*.com/amzn/click/0415376327") 
html_contents = page.text 

如果你坚持使用urllib2的，这是一个标题怎样可以伪造做到这一点：

import urllib2 
opener = urllib2.build_opener() 
opener.addheaders = [('User-agent', 'Mozilla/5.0')] 
response = opener.open('http://www.amazon.com/gp/offer-listing/0415376327%3FSubscriptionId%3DAKIAJZY2VTI5JQ66K7QQ%26tag%3Damaztest04-20%26linkCode%3Dxm2%26camp%3D2025%26creative%3D386001%26creativeASIN%3D0415376327') 
html_contents = response.read() 

不要担心计算器编辑URL 。他们解释说他们正在做这个here。