【Python】爬虫有关urllib2.HTTPError: HTTP Error 500: Internal Server Error的问题
博主也是最近初步接触爬虫的，起初天天用爬虫来抓取电影网站的连接，主要用的是urlib，然而今天正要对另一个网站下手时，发现用urlib去抓取源码时返回空，于是初步推算应该是请求被拒绝或者阻止了，于是改用urlib2但是返回的结果却是以下信息
urllib2.HTTPError: HTTP Error 500: Internal Server Error不得不说看到报错还是开心的，至少比返回空值好很多，然后通过网上研究，证实最初推测正确，就是访问被阻止了，那么知道问题了，接下来就是解决问题了，通过网上资料我们可以知道，通过编写伪装的方式来访问，于是就有了以下代码
#-*- coding:UTF-8 -*-
import urllib2
headers = {
'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'
}
req = urllib2.Request("http//",headers=headers)
response = urllib2.urlopen(req)
the_page = response.read()
print the_page
之后就可以成功获取源码啦，博主又可以美滋滋的撸连接了
- 本文固定链接: http://boeek.cn/?post=147
- 转载请注明: : APan 2018年2月11日 于 APan的博客 发表