蟒蛇 - urllib.request.urlretrieve抛出意外的异常未知的URL类型:“”
问题描述:
我试图用urllib.request.retrieve()蟒蛇 - urllib.request.urlretrieve抛出意外的异常未知的URL类型:“”
我使用Python 3下载文件和下载是成功的,但我不知道为什么会抛出异常。
由于某种原因,它会引发异常。
这是主要的文件:
import os
import urllib.request
zip_file_open = open("urls.txt")
if not os.path.exists('zip'):
os.makedirs('zip')
num=1
true = True
b = true
for i in zip_file_open.read().splitlines():
try:
print(str(i))
#response = urllib.request.urlopen(str(i))
#print(response)
#html = response.read()
urllib.request.urlretrieve(i, "zip/code"+str(num)+".zip")
if(b):
num+=1
b=False
else:
b=true
except Exception as e:
print("Exception: "+str(e))
if(b):
num+=1
b=False
else:
b=true
这是urls.txt:
http://media.wiley.com/product_ancillary/50/11188580/DOWNLOAD/c01_code.zip
http://media.wiley.com/product_ancillary/50/11188580/DOWNLOAD/c02_code.zip
........
http://media.wiley.com/product_ancillary/50/11188580/DOWNLOAD/c25_code.zip
http://media.wiley.com/product_ancillary/50/11188580/DOWNLOAD/c26_code.zip
这里是我创建的txt文件:
f = open("urls.txt","w")
k = """http://media.wiley.com/product_ancillary/50/11188580/DOWNLOAD/c"""
k1 = """_code.zip"""
import os
for i in range(26):
if(i<9):
f.write(k+str(0)+str(i+1)+k1+os.linesep)
else:
f.write(k+str(i+1)+k1+os.linesep)
f.close()
这里是输出
http://media.wiley.com/product_ancillary/50/11188580/DOWNLOAD/c01_code.zip
Exception2: unknown url type: ''
http://media.wiley.com/product_ancillary/50/11188580/DOWNLOAD/c02_code.zip
Exception3: unknown url type: ''
http://media.wiley.com/product_ancillary/50/11188580/DOWNLOAD/c03_code.zip
Exception3: HTTP Error 404: Not Found
........
Exception26: unknown url type: ''
http://media.wiley.com/product_ancillary/50/11188580/DOWNLOAD/c26_code.zip
Exception27: unknown url type: ''
我没有包含所有的输出行,因为它们是相同的。该代码是功能性的,但我想知道我们是否可以删除该异常。
答
它看起来像你的文件中有一些空行,所以urllib
抛出一个ValueError
异常,当你试图获取''
,这显然不是一个URL。
如果您在循环中添加条件以检查空字符串,则可以修复此错误。
for i in zip_file_open.read().splitlines():
if not i.strip():
continue
...
但是这不会对非空字符串不是URL,例如'not a url'
工作。
更好的方法是用urlparse
检查url方案。
for i in zip_file_open.read().splitlines():
if not urllib.parse.urlparse(i).scheme:
continue
...