利用python抓取网页图片
近期在家想看华为官方的【IP,图话技术,微图】系列文档,奈何家里是长宽,基本打不开页面,刷新多次,心力憔悴。
▎下图感受下:
突然想起上次华为云大会送了台云服务器,一直被我用来做linux实验机。于是,突发奇想,利用python下载图片,然后利用工具传递到本地阅读,权当练手了。
▎网页代码样例:
查看网页源代码,可以找到图片所在的网址,加上网站前缀就是真正的图片目标地址。
在linux系统中,直接wget就能下载这些图片,验证图片地址的真实性。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
|
[[email protected] tmp] # wget http://support.huawei.com/huaweiconnect/data/attachment/forum/201705/03/20170503211729148001.png
--2017-09-02 12:48:40-- http: //support .huawei.com /huaweiconnect/data/attachment/forum/201705/03/20170503211729148001 .png
Resolving support.huawei.com (support.huawei.com)... 221.193.246.61, 121.18.169.18, 101.28.252.205 Connecting to support.huawei.com (support.huawei.com)|221.193.246.61|:80... connected. HTTP request sent, awaiting response... 200 OK Length: 495335 (484K) [image /png ]
Saving to: ‘20170503211729148001.png’ 100%[=============================================================>] 495,335 1.98MB /s in 0.2s
2017-09-02 12:48:41 (1.98 MB /s ) - ‘20170503211729148001.png’ saved [495335 /495335 ]
[[email protected] tmp] # ls
20170503211729148001.png downpic.py mysql.sock test .py zrlog.sql
db01.sql hsperfdata_root mysql.sql test .sql
|
▎抓取代码:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
|
#/usr/bin/env python import requests,bs4,time
headers = { 'User-Agent' : 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:24.0) Gecko/20100101 Firefox/24.0' }
url = 'http://support.huawei.com/huaweiconnect/enterprise/thread-400343.html'
urlhtml = requests.get(url,headers = headers)
urlhtml.raise_for_status() pichtml = bs4.BeautifulSoup(urlhtml.text[:], 'html.parser' )
piclink = pichtml.select( 'p span img[src]' )
if __name__ = = '__main__' :
piclist = []
for i in range ( len (piclink)):
picdic = piclink[i].attrs
newpicdic = 'http://support.huawei.com' + picdic[ 'src' ]
newpic = requests.get(newpicdic)
picname = str (time.strftime( "%Y%m%d00" ,time.localtime(time.time()))) + str (i) + '.png'
with open (picname, 'wb' ) as file :
file .write(newpic.content)
|
代码部分的解析,可以参见学习笔记,也可以参照往期利用python处理网页信息一文。
▎执行脚本:
1
2
3
4
5
6
7
8
9
10
|
[[email protected] tmp] # python3 downpic.py
[[email protected] tmp] # ls -lhrt *.png
-rw-r--r--. 1 root root 484K Sep 2 12:50 20170902000.png -rw-r--r--. 1 root root 241K Sep 2 12:50 20170902001.png -rw-r--r--. 1 root root 542K Sep 2 12:50 20170902002.png -rw-r--r--. 1 root root 607K Sep 2 12:50 20170902003.png -rw-r--r--. 1 root root 500K Sep 2 12:50 20170902004.png -rw-r--r--. 1 root root 146K Sep 2 12:50 20170902005.png -rw-r--r--. 1 root root 381K Sep 2 12:50 20170902006.png -rw-r--r--. 1 root root 463K Sep 2 12:51 20170902007.png |
可以看到,图片已经下载到了linux系统中,然后通过远程软件传输到本地查看。
▎效果如下:
好了,练手完,接下来,博主就可以安心的打磨网络知识了。。。
本文转自Grodd51CTO博客,原文链接:http://blog.51cto.com/juispan/1962116,如需转载请自行联系原作者