动漫迷的福利!Python小白也可以学会的爬虫教程

前言

有一段没用 python 了,我也不知道自己为什么对 python 越来越淡,可能自己还是比较喜欢 android ,毕竟自己第一次接触编程就是 android,为了android学java,然后接触的python,这次也是因为android,我要用一次python来帮我爬数据,可能很烂,见谅 Orz

正文

目标网站divinl

首先看看这网站是怎样加载数据的;

打开网站后发现底部有下一页的按钮,ok,爬这个网站就很简单了;

动漫迷的福利!Python小白也可以学会的爬虫教程

日文的

我们目标是获取每张图片的高清的源地址,并且下载图片到桌面;

先随便打开一张图片看看详细;

emmm,只有一张

动漫迷的福利!Python小白也可以学会的爬虫教程

你的名字

看起来还挺清晰的,单击新窗口打开图片,还可以

动漫迷的福利!Python小白也可以学会的爬虫教程

大图

然后下载图片,说实话,这图片很小,我很担心不是高清原图(管他的);

动漫迷的福利!Python小白也可以学会的爬虫教程

比较小

PS:一定要禁用广告拦截插件,不然加载不出图,我就在这被坑T_T;

动漫迷的福利!Python小白也可以学会的爬虫教程

禁用过滤广告插件

接着分析我们从何入手

1、先去主页面获取每个图片的详细页面的链接

这链接还是比较好获取的,直接 F12 审核元素,或者右键查看代码,手机上chrome和firefox在url前面加上 "view-source"

动漫迷的福利!Python小白也可以学会的爬虫教程

链接

2、从详细页面获取图片大图地址

随便打开一个图片详细页面如图:

动漫迷的福利!Python小白也可以学会的爬虫教程

详细页面

接着按 F12 审核元素,我们需要定位该图片的链接,首先单击左上角的这玩意儿,像一个鼠标的图标:

动漫迷的福利!Python小白也可以学会的爬虫教程

左上角,一个鼠标的图标

接着只需要单击网页上的图片就能定位到代码了:

动漫迷的福利!Python小白也可以学会的爬虫教程

代码

3、用大图地址下载该图片

这个很简单,看代码

代码(纯手打,没有一点复制粘贴)

先安装 Requests 和 BeautifulSoup 库

 

动漫迷的福利!Python小白也可以学会的爬虫教程

接着在详细网页里获取那个看似高清的图片的不确定是否为真实图片链接并下载(/滑稽)

 

动漫迷的福利!Python小白也可以学会的爬虫教程

动漫迷的福利!Python小白也可以学会的爬虫教程

下载完成

主要代码

动漫迷的福利!Python小白也可以学会的爬虫教程

完成,贴上所有代码

 

动漫迷的福利!Python小白也可以学会的爬虫教程

 

动漫迷的福利!Python小白也可以学会的爬虫教程

 

动漫迷的福利!Python小白也可以学会的爬虫教程

我有一个微信公众号,经常会分享一些python技术相关的干货;如果你喜欢我的分享,可以用微信搜索“python语言学习” 
关注,欢迎大家加入千人交流答疑裙:699+749+852