Python爬虫——用xpath做一个简单爬虫

1.效果图

.
2.包图网链接https://ibaotu.com/shipin/7-0-0-0-0-1.html

3.进入网页后按F12打开开发者工具，用鼠标样的按钮定位到指定位置
Python爬虫——用xpath做一个简单爬虫
4.上图中有所有我们要的数据，标题（大气震撼党政党建图文片头AE模板）和视频链接( //video-qn.ibaotu.com/18/06/49/508888piCHsa.mp4_10s.mp4) ，就开始写代码了，首先先导入包

import requests
from lxml import etree
import os

5.请求包图网拿到整体数据

#1.请求包图网拿到整体数据
response = requests.get("https://ibaotu.com/shipin/7-0-0-0-0-1.html")

6.抽取视频标题、视频链接

#2.抽取 视频标题、视频链接
html = etree.HTML(response.text)
tit_list = html.xpath('//span[@class="video-title"]/text()')#获取视频标题
src_list = html.xpath('//div[@class="video-play"]/video/@src')#获取视频链接

7.下载并保存视频

for tit,src in zip(tit_list,src_list):
    #3.下载视频
    response = requests.get("http:" + src)
    #给视频链接头加上http头,http快但是不一定安全,https安全但是慢

    #4.保存视频
    if os.path.exists("video") == False:#判断是否有video这个文件夹
        os.mkdir("video")#没有的话创建video文件夹
    fileName = "video\\" + tit + ".mp4"
    #保存在video文件夹下，用自己的标题命名，文件格式是mp4,有特殊字符的话需要用\来注释它，\是特殊字符所以这里要用2个\\
    print("正在保存视频文件: " +fileName)#打印出来正在保存哪个文件
    with open (fileName,"wb") as f:#将视频写入fileName命名的文件中
       f.write(response.content)

8.这样就保存当前页面的这一页所有视频，效果图如下:
Python爬虫——用xpath做一个简单爬虫
9.要是想爬取多页视频的话看下切换页面网址会发生怎么样的变化

10.这里只是网址末尾的数字变化了，只要在最外面加个for循环就行，下面是完整代码：

import requests
from lxml import etree
import os

for i in range(3):#共有223页，所以range里面填<=224的都行
    #1.请求包图网拿到整体数据
    response = requests.get("https://ibaotu.com/shipin/7-0-0-0-0-%s.html" %str(i))

    #2.抽取 视频标题、视频链接
    html = etree.HTML(response.text)
    tit_list = html.xpath('//span[@class="video-title"]/text()')#获取视频标题
    src_list = html.xpath('//div[@class="video-play"]/video/@src')#获取视频链接
    for tit,src in zip(tit_list,src_list):
        #3.下载视频
        response = requests.get("http:" + src)#给视频链接头加上http头
                                                # http快但是不一定安全
                                                #https安全但是慢

        #4.保存视频
        if os.path.exists("video") == False:#判断是否有video这个文件夹
            os.mkdir("video")#没有的话创建video文件夹
        fileName = "video\\" + tit + ".mp4"#保存在video文件夹下，用自己的标题命名，文件格式是mp4
                                            #有特殊字符的话需要用\来注释它，\是特殊字符所以这里要用2个\\
        print("正在保存视频文件: " +fileName)#打印出来正在保存哪个文件
        with open (fileName,"wb") as f:#将视频写入fileName命名的文件中
           f.write(response.content)

Python爬虫——用xpath做一个简单爬虫

Python爬虫——用xpath做一个简单爬虫

相关推荐