批量下载数据集
在一个网页上下载如图所示的分散的文件,此网站最起码有好几百个这样的文件,如果通过单击方式,得点几百次呢!
python2代码循环下载,试了一下,此代码只适合http协议的,如果是ftp协议就不好使了。
import re
import sys
import urllib
def getHtml(url):
page = urllib.urlopen(url)
html = page.read()
return html
def down_file(url):
file_name = url.split('/')[-1]
print file_name
u = urllib.urlopen(url)
f = open(file_name, 'wb')
meta = u.info()
file_size = int(meta.getheaders("Content-Length")[0])
file_size_dl = 0
block_sz = 8192
while True:
buffer = u.read(block_sz)
if not buffer:
break
file_size_dl += len(buffer)
f.write(buffer)
f.close()
def getFile(html):
compile_rule=re.compile(r'<a.*?href=".+".*?>(.*).tar.gz</a>')
url_list=re.findall(compile_rule, html)
str = r'.tar.gz'
for one in url_list:
url = "http://mirrors.ustc.edu.cn/gnome/desktop/2.91/2.91.2/sources/" +one+str
print url
down_file(url)
return url_list
html = getHtml("http://mirrors.ustc.edu.cn/gnome/desktop/2.91/2.91.2/sources/")
print getFile(html)
ftp协议的咋办?我的方法是通过linux命令进行操作。因为我所要学习hadoop的项目,需要温度数据集。
于是,执行命令wget -D --accept-regex=REGEX -P data -r -c ftp://ftp.ncdc.noaa.gov/pub/data/noaa/2017/5*,结果出现wget: unable to resolve host address情况,简而言之,就是访不进外网,ping www.baidu.com也ping 不通
后来通过大佬博客才解决了棘手的问题。现在终于可以批量下载了,美滋滋。
上一篇:多元线性回归分析练习题
下一篇:数据挖掘之缺失值插补实验