爬虫-初次接触
#get()是获取网页最常见的方式
import requests
from bs4 import BeautifulSoup
####################################第一步######################################
#在调用requests.get()函数之后,返回的网页内容会保存为一个Response对象
#get()函数的参数URL链接必须采用HTTP或HTTPS方式访问
response = requests.get("http://www.baidu.com")
print(type(response)) #通过type()来查看返回response对象的类别
#结果:<class 'requests.models.Response'>
#返回的状态码,200:连接成功,404:连接失败
status_code = response.status_code
print(status_code)
#返回的内容
text = response.text
print(text)
#HTTP响应内容的编码方式
encoding = response.encoding
print(encoding)
#修改编码方式为utf-8
encoding1 = response.encoding = 'utf-8'
print(encoding1)
#更改完成之后,返回内容中的中文字符就可以正常显示了
text1 = response.text
print(text1)
####################################第二步######################################
#写一个读取网页内容的函数
def getHtmlText(url):
try:
r = requests.get(url, timeout = 30)
r.raise_for_status() #返回的状态码不是200的时候,引发异常;只要在收到响应的时候调用这个方法,就可以避开状态码200以外的各种意外情况
r.encoding = 'utf-8'
return r.text
except:
return ""
#测试
url = "http://www.baidu.com"
print("函数测试输出:\n",getHtmlText(url))
#分析网页内容提取有用的数据到恰当的数据结构中
#以下是对大学排名的例子,url:http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html
#观察源码发现我们想要的数据在<tr>下的<td>标签中的
all = []
def List(soup):
data = soup.find_all('tr')
for tr in data:
ltd = tr.find_all('td')
if len(ltd)==0: #这里是因为源码中还有其他的tr标签,但是没有td标签,所以可以筛选一下
continue
part = []
for td in ltd:
part.append(td.string)
all.append(part)
#输出
def printList(num):
print("{1:^2}{2:{0}^10}{3:{0}^5}{4:{0}^4}{5:{0}^10}".format(chr(12288),"排名","学校名称","省市","总分","就业率"))
for i in range(num):
u = all[i]
print("{1:^4}{2:{0}^10}{3:{0}^4}{4:{0}^8}{5:{0}^10}".format(chr(12288),u[0],u[1],u[2],u[3],u[5]))
#主函数测试
def main(num):
url = "http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html"
html = getHtmlText(url)
soup = BeautifulSoup(html, "html.parser")
List(soup)
printList(num)
main(10)
观察网页的源码:
最后爬取的结果: