python网络爬虫与信息提取实例

中国大学排名定向爬虫

功能描述
输入：大学排名URL链接
输出：大学排名信息的屏幕输出（排名，大学名称，总分）
技术路线：requests‐bs4
定向爬虫：仅对输入URL进行爬取，不扩展爬取
程序的结构设计
步骤1：从网络上获取大学排名网页内容
步骤2：提取网页内容中信息到合适的数据结构
步骤3：利用数据结构展示并输出结果
利用列表存储二维数据

代码如下

import requests
from bs4 import BeautifulSoup# 引入解析模块BS4
import bs4
#自定义函数，从网络上获取大学排名网页内容
def getHTMLText(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()#判断状态码是否为200，产生异常信息
        r.encoding = r.apparent_encoding#调整合适的编码信息
        return r.text#返回已爬取网页内容
    except:
        return ""#状态码异常不爬取
#自定义函数，提取网页内容信息到合适的数据结构（列表）
def fillUnivList(ulist, html):
    soup = BeautifulSoup(html, "html.parser")#采用html解析器
    for tr in soup.find('tbody').children:#找到所有tbody标签信息获取所有大学相关信息,利用bs4库的children遍历
        if isinstance(tr, bs4.element.Tag):#在tbody标签中找到tr标签获取每一个大学的信息
            tds = tr('td')#在tr标签中利用列表存储每个td标签的相关字段
            ulist.append([tds[0].string, tds[1].string, tds[2].string, tds[3].string])        
#利用数据结构展示并输出
def printUnivList(ulist, num):
    provinces = input("请输入你要爬取的大学排名的省份：")
    tplt = "{0:^4}\t{1:{4}^12}\t{2:^8}\t{3:^6}"#输出模版
    print(tplt.format("排名","学校名称","省市","总分",chr(12288)))#采用中文空格填充
    for i in range(num):
        u=ulist[i]
        if u[2] == provinces:#只输出对应省份的学校
            print(tplt.format(u[0],u[1],u[2],u[3],chr(12288)))
    
def main():
    uinfo = []
    url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html'
    html = getHTMLText(url)
    fillUnivList(uinfo, html)
    printUnivList(uinfo, 549) # 最多549 univs
main()

实现效果