Scrapy不抓取url中的百分比符号
问题描述:
尝试使用Scrapy刮取图像链接。Scrapy不抓取url中的百分比符号
这是我刮的链接。
http://www.cars4sale.com/carimages/20TH%FEB%032.JPG
这是它如何被保存在JSON文件。请注意,百分号已被替换为空格。
http://www.cars4sale.com/carimages/20TH FEB 032.JPG
所以,当我显示这个链接,我得到一个404错误,因为该链接是错误的。
我该如何让Scrapy刮去百分比符号?
答
可以使用
urllib.quote(urlWithSpaceInIt)
你不必做任何事情来的scrapy东西。在去之前只需引用网址。
答
好的,感谢您的评论,但我没有足够的经验来解决任何建议的方式,但他们帮助我得到最终的代码,为我工作。
这也证明,有20%,我没有注意到之前。
以下是我在JavaScript中为URL添加了%20。
IMG SRC = “+数据[I] .img.replace(/ | /克, ”%20“)
我不知道关于scrapy,但我想到代替” 与 “%”(空格) “(百分比)在ifnal网址将为你做的工作 –