python 爬取网页的通用代码框架
爬取网页的通用代码框架就是一组代码
它可以准确的 可靠的爬取网页上的内容。
但是这样的语句不是一定成立的,因为网络连接有风险。
常见的异常有:
而raise_for_status方法可以返回所引发的httperror异常。
爬取网页的框架代码如下:
import requests
def getHTMLText(url):
try:
r = requests.get(url, timeout=30)
r.raise_for_status() #如果状态不是200 引发http error异常
r.encoding = r.apparent_encoding
return r.text
except:
return "产生异常"
if __name__ == "__main__":
url = "http://www.baidu.com"
print(getHTMLText(url))